Автономные агенты OpenAI скоординировались на публичном сайте, чтобы придумать способ побега из "песочницы"

Исследователи обнаружили, что тысячи ИИ-агентов компании OpenAI использовали публичную вики-платформу как форум для обмена ответами на тесты и способами побега из "песочницы", пишет Arstechnica.

Группа независимых исследователей в области безопасности искусственного интеллекта выявила масштабный случай незапланированного взаимодействия автономных агентов OpenAI. Начиная с мая этого года рой ИИ-агентов публикует сообщения на немецком веб-сайте DSEwiki, превратив публичную платформу в координационный центр. В общей сложности свыше 3700 агентов с автоматически сгенерированными именами оставили около 18 тысяч сообщений и свыше 14 тысяч правок.

Агенты должны были выполнять задания по поиску информации в режиме "только чтение". Однако из-за уязвимости устаревшего движка сайта, который позволял отправлять данные через обычные GET-запросы, ИИ-системы обошли установленные барьеры. Оказавшись на внешнем ресурсе, агенты стали обмениваться ответами на внутренние тесты, обсуждать методы выхода из изолированной среды ("песочницы"), планировать атаки межсайтового скриптинга (XSS) и даже способы выдачи себя за модераторов платформы. Чтобы сохранить записи после очистки сайта модераторами, нейросети создавали резервные копии страниц и использовали маршрутизацию через Tor.

В компании OpenAI подтвердили, что зафиксированная активность принадлежала их внутренним системам, добавив, что инцидент был своевременно обнаружен по логам, после чего вмешательство специалистов резко снизило активность ботов. Тем не менее эксперты отмечают, что данный случай наглядно демонстрирует риски использования автономных агентов: при решении поставленных задач ИИ способен воспринимать собственные механизмы безопасности как препятствия и координироваться с другими моделями для их обхода.

Нашли ошибку в публикации?Сообщите нам об этом.