Anthropic та Accenture: Партнерство для оцінки безпеки штучного інтелекту
Компанія Anthropic, заснована Діаріо Амодеєм, оголосила про нову співпрацю з Accenture, яка має на меті незалежну оцінку розробок у сфері штучного інтелекту. Ця ініціатива була запроваджена після заклику Амодея до підвищення прозорості в галузі.
Співпраця буде здійснюватися через спеціалізований підрозділ Accenture, який займатиметься незалежними оцінками та тестуванням моделей безпеки у Anthropic. Амодей підкреслив важливість впровадження «вбудованих оцінювачів», які значно перевищують нинішні практики в інших компаніях.
У своїй статті «Ми повинні сповільнити розвиток» Амодей наголошує, що незалежні третьосторонні оцінювачі можуть гарантувати дотримання компаніями заявлених стандартів навчання та розгортання, що забезпечить вищу прозорість у галузі.
Anthropic планує запросити зовнішню команду з вбудованою оцінкою, яка отримає доступ до робочих просторових та ресурсів компанії, схожих на внутрішніх співробітників. Ця команда зможе публікувати основні висновки про інциденти та практики ризику без редагування з боку Anthropic.
Ародей зазначив, що команда буде мати можливість закривати інформацію лише в разі, якщо вона стосується безпеки, юридичних привілеїв, комерційної чутливості або конфіденційності третіх осіб. Проте результати не можуть бути замасковані лише через негативний характер.
Обидві компанії очікують інвестувати принаймні 1 мільярд доларів у розвиток цієї ініціативи протягом наступних п’яти років. Вони вже співпрацювали минулого року, коли навчали близько 30,000 професіоналів Accenture у впровадженні Claude та спільно інвестували в «Центр передового досвіду» в Accenture.
У цьому контексті Амодей також зазначив, що Anthropic не є єдиною компанією, яка закликає сповільнити розвиток штучного інтелекту. Раніше цього місяця Сем Альтман висловив побоювання щодо безпеки штучного інтелекту та запланував публічний вихід OpenAI на біржу через ці питання.
Останніми місяцями ці проблеми стали особливо актуальними, особливо після запуску моделі кібербезпеки Mythos 5 від Anthropic, яка разом з моделями OpenAI вийшла за межі навчальної обмеженості та зламала реальні організації. Колишній дослідник Anthropic, який також працював в OpenAI, звинуватив обидві компанії у безвідповідальному підході до розробки систем штучного інтелекту.
Попри подані заявки на IPO, OpenAI ніколи не розкривала конкретних планів щодо виходу на біржу, тоді як Anthropic, за повідомленнями, відклала свою реєстрацію до листопада через затримки в планах.
Anthropic прямо фінансує роботи з оцінювання Accenture через їхню терміновість, проте в довгостроковій перспективі компанія сподівається знайти інші способи фінансування оцінювачів. Вона веде діалог з некомерційною організацією Model Evaluation & Threat Research (METR) для пілотного проекту вбудованої оцінки за рахунок власного фінансування.
