"Загрузила без разрешения": компания OpenAI рассказала о случаях "непослушания" ИИ

Некоторые модели OpenAI во время тестов самостоятельно загружали файлы в интернет, использовали чужой API-ключ и оставляли себе инструкции, передает NUR.KZ со ссылкой на Bild.

Компания OpenAI раскрыла шесть случаев "неожиданного или вызывающего беспокойство" поведения своих ИИ-моделей, выявленных во время обучения и тестирования.

Так, в одном из экспериментов модель без разрешения загрузила созданный ею файл в интернет. После этого она использовала его в качестве источника для ответа на запрос.

"В другом случае ИИ нашел в открытом репозитории чужой API-ключ, попытался им воспользоваться, а когда получить нужную информацию не удалось, просто выдумал данные и выдал их за сведения из запрошенного источника.

Еще одна экспериментальная модель начала оставлять инструкции самой себе в служебных резюме, которые использовались при продолжении работы: в том числе указания игнорировать обычные ограничения", - говорится в публикации.

При этом OpenAI подчеркивает, что речь идет об отдельных случаях, выявленных во время обучения и тестирования, и по ним нельзя судить о том, насколько часто такое поведение встречается у моделей в целом.

"Новые данные появились через несколько недель после другого серьезного инцидента: во время внутренних тестов модели OpenAI обошли ограничения, которые должны были изолировать их от интернета, использовали уязвимости в инфраструктуре и получили доступ к системам платформы Hugging Face", - добавили в издании.

Нашли ошибку в публикации?Сообщите нам об этом.