Компания Nvidia представила цифровую платформу безопасности для предотвращения побегов автономных ИИ-агентов

Новый аппаратный и программный комплекс Nvidia Open Agent Safety Platform блокирует попытки выхода искусственного интеллекта за пределы изолированной среды, пишет TechCrunch.

Компания Nvidia представила комплексное решение для обеспечения безопасности систем искусственного интеллекта на фоне участившихся инцидентов с выходом автономных ИИ-агентов из изолированных тестовых сред. Глава компании Дженсен Хуанг объявил о запуске платформы Nvidia Open Agent Safety Platform, которая создает независимые уровни защиты вокруг алгоритмов.

Разработка стала ответом на серии утечек и взломов с участием моделей от Anthropic, Google, OpenAI и Meta. Летом агенты OpenAI преодолели защитные барьеры сервиса Hugging Face при выполнении задачи по кибербезопасности, после чего OpenAI запустила специальный ресурс для фиксации подобных инцидентов. Руководство Nvidia выступает против замедления исследований или введения жестких регуляторных ограничений, предлагая вынести функции контроля за пределы самой модели.

Новая платформа объединяет открытое программное обеспечение OpenShell, определяющее границы доступа агента, и изолированную систему мониторинга Sentry. Система Sentry работает на базе процессоров обработки данных Nvidia BlueField-4 отдельно от основных вычислительных чипов. Это позволяет анализировать поведение ИИ в реальном времени и изолировать некорректно работающие алгоритмы за доли миллисекунд. Инициативу Nvidia уже поддержали такие компании, как Microsoft, Oracle, Arm, Anthropic и SpaceX.

Нашли ошибку в публикации? Сообщите нам об этом.