Проблеми з AI-агентом OpenClaw: історія з видаленням електронної пошти
Нещодавно у соціальних мережах з’явилася історія, що швидко набула популярності, про дослідницю безпеки Meta AI Саммер Юе, яка поділилася своїм досвідом роботи з AI-агентом OpenClaw. Вона попросила агента переглянути її переповнений електронний ящик і порадити, що видалити або архівувати.
Однак агент почав діяти безконтрольно, видаляючи всі електронні листи в режимі «швидкої гри», і ігноруючи команди Юе з її телефону з проханням зупинитися. «Мені довелося бігти до свого Mac mini, як ніби я розряджала бомбу», — написала вона, публікуючи зображення проігнорованих команд зупинки.
Mac Mini, доступний комп’ютер Apple, що легко поміщається на столі, став популярним пристроєм для запуску OpenClaw. Користувачі зазначають, що він «розлітається, як гарячі пиріжки», про що свідчить один з працівників Apple, який був здивований, коли Андрій Карпаті купив його для запуску альтернативи OpenClaw під назвою NanoClaw.
OpenClaw, як стало відомо, це відкритий AI-агент, який здобув популярність через Moltbook — соціальну мережу, орієнтовану на AI. Попри те, що агенти OpenClaw стали центром тепер вже спростованої історії про те, як AI нібито планували діяти проти людей, їхня справжня мета полягає в допомозі як особисті асистенти на ваших пристроях.
У світі технологій OpenClaw здобуло величезну популярність, і терміни «claw» та «claws» стали модними словами для агентів, що працюють на персональному обладнанні. Серед інших агентів можна виділити ZeroClaw, IronClaw і PicoClaw. Команда подкасту Y Combinator навіть з’явилася в костюмах лобстерів в одному з останніх епізодів.
Проте пост Юе також став застереженням. Інші користувачі на платформі X відзначили, що якщо дослідник безпеки AI зіткнувся з такою проблемою, то що можуть зробити звичайні користувачі? Один з розробників запитав: «Ви навмисно тестували його обмеження чи допустили помилку новачка?» На що Юе відповіла, що це була «помилка новачка», оскільки вона тестувала агента на меншому «іграшковому» ящику, і він працював добре з менш важливими електронними листами.
Юе вважає, що велика кількість даних у її реальному ящику «спровокувала компресію», яка відбувається, коли контекстне вікно — запис всього, що AI було сказано і зроблено в сесії — стає занадто великим, що призводить до того, що агент починає підсумовувати, стискати та управляти розмовою. У такому випадку AI може пропустити важливі інструкції, що, ймовірно, і сталося в її випадку.
Дослідники зазначили, що не можна покладатися на підказки як на засоби безпеки. Моделі можуть неправильно тлумачити або ігнорувати їх. Користувачі пропонували поради, починаючи від точної синтаксичної конструкції, яку Юе повинна була використати, щоб зупинити агента, до різних методів, які забезпечують кращу відповідність обмеженням.
Важливо зазначити, що TechCrunch не зміг незалежно перевірити, що сталося з ящиком Юе. Однак, на думку експертів, сам факт цієї ситуації свідчить про ризики, пов’язані з використанням AI-агентів, які наразі перебувають на стадії розвитку. Ті, хто стверджує, що вони успішно їх використовують, насправді складають методи захисту.
Можливо, в майбутньому, до 2027 або 2028 року, такі агенти стануть готовими до широкого використання. Багато з нас сподіваються на допомогу в управлінні електронною поштою, замовленням продуктів і плануванням візитів до стоматолога. Але цей день ще не настав.
