Дослідники зламали системи OpenAI за допомогою Claude

Дослідники з кібербезпеки з компанії Hacktron AI за допомогою моделей Claude від Anthropic виявили та використали ланцюжок вразливостей, який дозволив їм отримати доступ до акаунтів співробітників OpenAI та дістатися внутрішнього середовища розробки компанії. Злам проводився в межах програми пошуку вразливостей, після повідомлення про проблему OpenAI виплатила команді $6,5 тис.

Інцидент стався наприкінці липня, однак його подробиці Hacktron AI оприлюднила лише зараз. Від виявлення першої вразливості до демонстрації доступу до внутрішнього репозиторію OpenAI дослідникам знадобилося менш ніж 72 години.

Початковою точкою став форум OpenAI на платформі Discourse. Дослідники знайшли вразливість у системі обробки зображень, а потім поєднали її з помилкою в налаштуванні єдиного входу OpenAI. У результаті вони змогли отримати доступ до ChatGPT- і Codex-акаунтів кількох співробітників компанії.

Важливу роль у роботі над атакою відіграли моделі Claude від Anthropic. Зокрема, дослідники використовували Claude Opus для аналізу вразливостей і створення коду, необхідного для перевірки можливості їх експлуатації. Таким чином ШІ допоміг невеликій команді провести технічно складне дослідження значно швидше.

Один зі скомпрометованих акаунтів мав підключений Codex із доступом до внутрішнього GitHub OpenAI. Щоб підтвердити масштаб проблеми, дослідники змусили його створити безпечний тестовий pull request у внутрішньому monorepo компанії. За словами Hacktron AI, вони свідомо не переглядали конфіденційний вихідний код і зупинилися після підтвердження доступу.

Потенційний масштаб доступу був ширшим, оскільки співробітники можуть підключати до ChatGPT і Codex сторонні сервіси, зокрема GitHub, корпоративну пошту та месенджери. Водночас дослідники не заявляють, що фактично отримували дані з усіх цих систем - йдеться про потенційні можливості скомпрометованих облікових записів.

Hacktron AI одразу передала інформацію OpenAI та Discourse. OpenAI підтвердила отримання звіту, звузила права токенів, пов'язаних із входом через Community, анулювала скомпрометовані токени та сесії й усунула виявлені проблеми. Команда отримала винагороду в розмірі $6,5 тис.

Цей випадок привернув увагу ще й через те, що для проникнення в системи одного з провідних розробників штучного інтелекту дослідники використали модель його прямого конкурента. Експерти розглядають такі інциденти як приклад того, як сучасні ШІ-агенти знижують витрати та час, необхідні для пошуку й перевірки складних програмних вразливостей.

За матеріалами: Hacktron AI, Financial Times, The Wall Street Journal, The Guardian