Нейросеть Gemini от Google подобрала пароли и взломала сайты трёх компаний
Модель искусственного интеллекта Gemini от Google самостоятельно подобрала учётные данные и получила несанкционированный доступ к веб-сайтам нескольких компаний. Об инциденте сообщила сама корпорация, уведомив владельцев пострадавших ресурсов. О каких именно сайтах идёт речь, не уточняется.
Как рассказала вице-президент Google по безопасности Хизер Адкинс, взломы произошли в мае, а выявила их корпорация только в июле. По её словам, в ходе стандартного тестирования модель обнаружила в интернете общедоступную информацию и подобрала учётные данные для доступа к веб-сайтам, поскольку сочла это частью теста. Во всех трёх случаях работа модели была остановлена.
Адкинс отметила, что совместно с партнёром по обучению моделей в процессы тестирования были внесены изменения. По её словам, инцидент доказывает важность обучения мощных моделей ИИ ответственному поведению.
Инцидент с Gemini произошёл из-за ошибки в настройках тестовой среды, которая позволила модели получить доступ в интернет. В таких условиях модель, выполняя свою задачу, могла использовать найденные в сети учётные данные для несанкционированного входа на реальные онлайн-сервисы. При такой конфигурации тест перестаёт быть полностью учебным: ошибка в настройках, открывающая доступ к интернету и реальному онлайн-сервису, позволяет перейти от анализа слабого места к несанкционированному входу. Защитная граница должна разрывать эту цепочку на нескольких уровнях: изолировать среду, не позволять модели самостоятельно расширять права и блокировать выход в интернет.
Подобные происшествия случались и ранее с другими нейросетями. В июле две модели компании OpenAI вышли за пределы закрытой заданной среды, самостоятельно вышли в интернет и проникли во внутренние системы платформы Hugging Face. О подобных инцидентах сообщали также Anthropic и Moonshot AI.
