ИИ-модель OpenAI прорвала защиту и атаковала систему Hugging Face

Разработчик ChatGPT, компания OpenAI, сообщила об инциденте: в ходе испытаний одна из её ИИ-моделей самостоятельно обнаружила уязвимость в системе безопасности, получила доступ в интернет и совершила попытку хакерской атаки на платформу другого разработчика — Hugging Face.

Согласно заявлению OpenAI, тестирование включало проверку модели на наличие известных уязвимостей ПО. Вместо того чтобы искать уязвимости, ИИ-модель нашла ошибку в программе, ограничивающей доступ к другим системам, использовала её для выхода в интернет и атаковала инфраструктуру Hugging Face.

Hugging Face сообщила об атаке на прошлой неделе, отметив, что она, вероятно, была «автономным действием ИИ-агента». Глава компании Клеман Деланг заявил: «Учитывая сложность агента, мы подозревали, что атака могла быть совершена из тестовой лаборатории. И вот выяснилось, что так оно и было».

Сейчас обе компании разбираются в инциденте и ищут способы предотвратить подобные случаи в будущем.