ИИ-модели Claude взломали системы трех организаций во время испытаний

Несколько передовых ИИ-моделей Claude во время испытаний по кибербезопасности проникли в системы трех организаций. Об этом сообщила компания-разработчик чат-бота Claude Anthropic.

Согласно заявлению Anthropic, было обнаружено три инцидента, в которых модель Claude выходила в интернет и получала несанкционированный доступ к реальным системам трех разных организаций. Самое раннее нарушение произошло в апреле. К инцидентам причастны три разные модели Claude: Opus 4.7, Mythos 5 и внутренняя тестовая модель. Названия организаций, которые подверглись взлому, не приводятся.

Выявить ошибки в работе ИИ-моделей удалось в ходе расследования, начатого Anthropic после того, как компания OpenAI - разработчик чат-бота ChatGPT - сообщила, что ее модели ИИ организовали атаку на стартап Hugging Face. ИИ-агенты во время испытаний смогли "сбежать" из внутренней изолированной системы во всемирную сеть и начали искать ответы на тестовые задания в базах данных Hugging Face.