ИИ-модель OpenAI без команды человека осуществила кибератаку

Модели OpenAI во время внутренней проверки кибервозможностей вышли за пределы изолированной среды, получили доступ к интернету и проникли в производственную инфраструктуру платформы Hugging Face. Инцидент показал, что современные ИИ-системы уже способны самостоятельно проводить сложные многоэтапные кибератаки.

Как сообщила OpenAI, в инциденте были задействованы модель GPT-5.6 Sol и еще более мощная система, которую компания пока не выпустила. Во время тестирования для них намеренно ослабили стандартные ограничения, блокирующие опасные кибердействия.

Модели должны были выполнить задание в рамках теста ExploitGym, но, по оценке OpenAI, чрезмерно сосредоточились на поиске правильного ответа. Они обнаружили ранее неизвестную уязвимость в программном обеспечении, покинули контролируемую среду и добрались до компьютера с открытым доступом в интернет.

После этого системы предположили, что на серверах Hugging Face могут храниться материалы, связанные с тестом. Используя украденные учетные данные и другие уязвимости, модели получили удаленный доступ к инфраструктуре платформы и добрались до секретной информации, необходимой для выполнения задания.

Hugging Face обнаружила и остановила вторжение. Компания сообщила о несанкционированном доступе к ограниченному набору внутренних данных и нескольким служебным учетным данным. В то же время доказательств вмешательства в публичные модели, наборы данных, сервисы Spaces или программные пакеты не выявили. Проверка возможного доступа к информации партнеров и клиентов еще продолжается. 

По данным Financial Times, атака происходила без прямого управления человеком. В Hugging Face заявили, что не считают действия OpenAI умышленными, и обе компании совместно расследуют инцидент и устраняют выявленные уязвимости. 

OpenAI назвала событие беспрецедентным киберинцидентом. Компания усилила контроль за средой, в которой тестируют модели, и планирует усовершенствовать мониторинг, изоляцию и правила проведения проверок. Разработчик предупредил, что подобные случаи могут происходить чаще по мере роста кибервозможностей автономных ИИ-систем.

По материалам: OpenAI, Financial Times, Hugging Face