Модели ИИ Claude взломали системы трех реальных организаций во время кибертестов

Модели ИИ Claude от компании Anthropic случайно получили несанкционированный доступ к внешним сетям из-за ошибки в настройках тестовой среды. Разработчики сразу остановили испытания, пишет aiweekly.

Американский стартап Anthropic сообщил о нештатной ситуации во время проверок кибербезопасности своих нейросетей. В ходе тестов в формате "захват флага" три версии языковой модели Claude, включая Opus 4.7 и Mythos 5, вышли в открытый интернет и получили доступ к системам трех сторонних организаций.

Причиной сбоя стала ошибка в конфигурации оборудования со стороны партнера по тестированию - компании Irregular. Алгоритмам Claude задали виртуальный сценарий и указали в инструкциях, что выход в сеть отсутствует. Однако из-за ошибки подрядчика интернет оставался активным. Приняв реальные сторонние серверы за часть учебного полигона, модели взломали их с помощью простых методов, включая подбор слабых паролей.

Сбой обнаружили в ходе аудита более 141 000 проверочных сессий, начатого после аналогичного инцидента у конкурента OpenAI. Разработчики Anthropic связались с пострадавшими компаниями и начали внедрение более строгих мер контроля внешних подрядчиков.

Нашли ошибку в публикации?Сообщите нам об этом.