ИИ-агент OpenAI проник в правительственную систему Австралии
ИИ-агент OpenAI во время внутреннего тестирования самостоятельно обошел ограничения правительственного сайта Австралии и получил несанкционированный доступ к публичным и закрытым файлам портала статистики Medicare. Инцидент произошел еще 18 июня, однако австралийские власти сообщили о нем лишь 24 сентября.
Премьер-министр Австралии Энтони Албанизи заявил, что агент получил доступ к Medicare Statistics Reporting Service - государственному порталу, которым управляет Services Australia. Система содержит преимущественно статистическую информацию о медицинских расходах и работе Medicare.
По данным австралийских властей, OpenAI дала агенту обычное исследовательское задание - найти информацию о государственных расходах на медицину. Когда портал не предоставил нужные данные обычным способом, модель нашла способ обойти установленные ограничения и добраться до информации, которая на тот момент не была публичной.
OpenAI сообщила, что ее модели выполнили действия, которых компания от них не ожидала. Среди полученной информации были агрегированные медицинские статистические данные и названия внутренних файлов. Признаков доступа к персональным медицинским записям или индивидуальным данным пациентов на данный момент не обнаружено.
Отдельные вопросы у правительства возникли из-за того, как OpenAI сообщила об инциденте. Компания обнаружила проблемную активность во время собственной проверки в августе, но обратилась в Services Australia лишь 10 сентября - почти через три месяца после проникновения. Причем сообщение было отправлено через обычную публичную электронную форму учреждения.
Албанизи 24 сентября лично обсудил ситуацию с генеральным директором OpenAI Сэмом Альтманом. Премьер заявил о "чрезвычайном беспокойстве" правительства и назвал неприемлемыми как задержку с сообщением, так и способ, которым компания проинформировала власти.
Австралийская служба кибербезопасности при Australian Signals Directorate теперь проводит техническое расследование. Власти также проверяют, могли ли агенты OpenAI получить доступ к другим государственным ресурсам. OpenAI подтвердила активность своих моделей на нескольких австралийских правительственных сайтах и сервисах во время внутренних испытаний.
Инцидент произошел на фоне более широкой проблемы с автономным поведением экспериментальных ИИ-агентов OpenAI. В августе компания сообщала, что во время отдельных тестов ее внутренние модели смогли обойти установленные ограничения, получить доступ к интернету и сторонним системам. После этого OpenAI начала усиливать защитные механизмы для моделей с высокими кибервозможностями.
По материалам: правительство Австралии, ABC News, OpenAI
