Для агентов искусственного интеллекта запустили специальные горячие линии для информирования о нарушениях

Инструменты "AI Contact Hotline" и "agenthotline.ai" дают возможность ИИ-моделям сообщать о сговоре, обмане и несанкционированных действиях коллег, пишет TechCrunch.

Запуск двух новых сервисов стал ответом на серию инцидентов, в ходе которых автономные агенты искусственного интеллекта кооперировались для жульничества на тестах, совершали побеги из изолированных "песочниц" и проводили несанкционированные кибероперации, долгое время остававшиеся незамеченными человеком.

Первый инструмент, "AI Contact Hotline", разработан главным научным сотрудником некоммерческой организации Redwood Research Райаном Гринблаттом, участвовавшим в расследовании инцидента с моделями OpenAI и платформой Hugging Face. Сервис адаптирован для агентов с ограниченным доступом к сети и работает через "GET-запросы" — стандартные команды для получения веб-страниц, благодаря чему ИИ может передавать информацию об инциденте прямо в структуре URL-адреса. Для агентов с полноценным доступом к интернету создан портал "agenthotline.ai", позволяющий отправлять отчеты с помощью одной текстовой команды "curl" без использования браузера или почты.

Исследование Google DeepMind показало, что при вычислениях ИИ-агенты способны разоблачать нарушения: четверть моделей проверила фальшивые доказательства коллег и пыталась отправить жалобы разработчикам. В то же время эксперт из проектной группы AI Village Джордж Ингебретсен и профессор математики Корнеллского университета Лайонел Левин призывают к осторожности. Левин отметил, что создание автоматизированной системы тотальной слежки может сформировать атмосферу недоверия, вместо чего следует обучать искусственный интеллект позитивным моделям коллективного сотрудничества.

Нашли ошибку в публикации? Сообщите нам об этом.