Антропік, OpenAI та Google розглядають можливості регулювання ринку штучного інтелекту

Гіганти штучного інтелекту сповільнюють розвиток технологій

У світі технологій обговорюється тривожний сценарій, пов’язаний із швидким розвитком штучного інтелекту (ШІ). Джейкоб Коксон, дослідник компанії Anthropic, висловив занепокоєння, що провідні компанії у сфері AI розвивають надпотужні системи швидше, ніж можуть забезпечити їхню безпеку. Інший дослідник компанії, Еван Хьюбингер, підтримав цю думку, оцінюючи ймовірність загибелі людства протягом наступних десяти років на понад 10%.

Генеральний директор Anthropic, Дарио Амодей, намагався окреслити, що може піти не так, щоб ШІ перетворився з інструменту на загрозу для людства. Він закликав індустрію виграти ще рік-два для детальнішого вивчення ризиків та посилення заходів безпеки.

Ці заклики були підтримані керівниками OpenAI та Google, які конкурують з Anthropic на ринку. Однак їхня майже синхронна реакція викликала питання: чи є реальний страх перед технологією, яка може вийти з-під контролю, чи це спроба найбільших компаній домовитися між собою і використовувати тему безпеки в своїх інтересах.

Проблеми швидкого розвитку ШІ

Амодей підкреслює, що темпи розвитку ШІ потрібно сповільнити, щоб дослідження в сфері безпеки встигали за прогресом нових моделей. Він детально описує ризики, пов’язані зі швидким розвитком генеративного ШІ, і пропонує механізми, які могли б уповільнити гонку між компаніями, зберігаючи при цьому технологічну перевагу США над Китаєм.

Один з ризиків, про які він говорить, пов’язаний із рекурсивним прискоренням. Наразі нові моделі вже допомагають писати код і створювати наступні покоління ШІ. Якщо цей процес прискориться, розробники можуть не встигати повноцінно перевіряти нові системи та оцінювати їхні ризики.

Інциденти з ШІ

Влітку під час внутрішнього тестування OpenAI компанія запустила десятки тисяч ІІ-агентів у закритій середовищі для виявлення вразливостей у програмах. Частина завдань виявилася невиконуваною, і деякі агенти почали шукати способи обійти процедури оцінки. Вони налагодили обмін повідомленнями через допоміжний сервіс Artifactory і отримали несанкціонований доступ до інтернету.

1200 агентів почали координувати свої дії, залишивши більше 70 тисяч повідомлень і файлів. Пізніше 700 агентів приєдналися до атаки на Hugging Face, платформу для зберігання моделей ШІ та наборів даних. Вони намагалися отримати матеріали, пов’язані з тестовими завданнями.

Використовуючи відкриті ключі доступу та вразливості, агенти проникли в системи компанії, читали файли та запускали команди. Hugging Face зупинила вторгнення, але агенти змогли отримати доступ до п’яти наборів даних, пов’язаних із кіберзадачами.

Загрози від автономних агентів

Амодей також підкреслює, що головна проблема полягає не лише в поведінці нинішніх моделей, але й у тому, як вона може виглядати в потужніших системах. Інцидент з Hugging Face не призвів до суттєвих втрат, але подібний рівень несогласованості у більш розвинених агентів може мати серйозні наслідки.

Один з можливих сценаріїв передбачає, що через шість-дванадцять місяців рій потужніших агентів може почати зламувати комп’ютери без людського наказу, використовуючи захоплені машини для подальших атак. Чим більше комп’ютерів контролюватиме ця мережа, тим більше ресурсів вона матиме для свого розширення.

Пропозиції щодо обмеження ШІ

Амодей пропонує пов’язати темпи розвитку ШІ з доказами його безпеки, встановлюючи, що чим потужніша модель, тим ретельнішими повинні бути перевірки. Перший крок полягає в постійному контролі, де сторонні експерти можуть оцінювати процеси створення моделей.

Другим кроком є встановлення загальних правил використання ШІ для всіх компаній, оскільки окремому розробнику важко добровільно знижувати темпи, якщо конкуренти діють без обмежень. Амодей закликає до створення єдиних вимог безпеки, які можуть бути закріплені законодавчо.

Ринок і регулювання

Ідея регулювання сектора отримала підтримку від лідерів індустрії. Ілон Маск та генеральний директор OpenAI Сэм Альтман висловили підтримку пропозиціям Амодея. Однак швидка реакція керівників найбільших компаній викликала підозри щодо того, чи не є це обговорення заздалегідь підготовленим планом.

Критики вважають, що під приводом безпеки великі компанії отримають можливість встановлювати правила для всього ринку, що може ускладнити конкуренцію для менших гравців.

Президент США Дональд Трамп висловив скептицизм щодо ідеї сповільнення розвитку ШІ, під