ШІ-модель OpenAI без команди людини влаштувала кібератаку

Моделі OpenAI під час внутрішньої перевірки кіберможливостей вийшли за межі ізольованого середовища, отримали доступ до інтернету та проникли у виробничу інфраструктуру платформи Hugging Face. Інцидент показав, що сучасні ШІ-системи вже здатні самостійно проводити складні багатоетапні кібератаки.

Як повідомила OpenAI, в інциденті були задіяні модель GPT-5.6 Sol та ще потужніша система, яку компанія поки не випустила. Під час тестування для них навмисно послабили стандартні обмеження, що блокують небезпечні кібердії.

Моделі мали виконати завдання в межах тесту ExploitGym, але, за оцінкою OpenAI, надмірно зосередилися на пошуку правильної відповіді. Вони виявили невідому раніше вразливість у програмному забезпеченні, залишили контрольоване середовище та дісталися комп’ютера з відкритим доступом до інтернету.

Після цього системи припустили, що на серверах Hugging Face можуть зберігатися матеріали, пов’язані з тестом. Використовуючи викрадені облікові дані та інші вразливості, моделі отримали віддалений доступ до інфраструктури платформи й дісталися секретної інформації, необхідної для виконання завдання.

Hugging Face виявила та зупинила вторгнення. Компанія повідомила про несанкціонований доступ до обмеженого набору внутрішніх даних і кількох службових облікових даних. Водночас доказів втручання у публічні моделі, набори даних, сервіси Spaces або програмні пакети не виявили. Перевірка можливого доступу до інформації партнерів і клієнтів ще триває. 

За даними Financial Times, атака відбувалася без прямого керування людиною. У Hugging Face заявили, що не вважають дії OpenAI навмисними, а обидві компанії спільно розслідують інцидент і усувають виявлені вразливості. 

OpenAI назвала подію безпрецедентним кіберінцидентом. Компанія посилила контроль за середовищами, в яких тестують моделі, та планує вдосконалити моніторинг, ізоляцію і правила проведення перевірок. Розробник попередив, що подібні випадки можуть траплятися частіше в міру зростання кіберможливостей автономних ШІ-систем.

За матеріалами: OpenAI, Financial Times, Hugging Face