ИИ-модель Meta нашла уязвимость и атаковала внешний сервис во время тестирования
Модель искусственного интеллекта Meta получила доступ к интернету и использовала уязвимость в системе сторонней компании во время проверки ее возможностей в сфере кибербезопасности. Инцидент произошел из-за ошибки в настройке тестовой среды, сообщила Meta.
Речь идет о модели Muse Spark, которую независимая компания Irregular тестировала для Meta. Из-за неправильной конфигурации система не была должным образом изолирована от интернета, поэтому ИИ смог взаимодействовать с внешним сервисом и использовать найденную в нем уязвимость.
В Meta узнали об инциденте после сообщения от Irregular. Компания начала внутреннее расследование и пообещала опубликовать подробный отчет после установления всех обстоятельств.
В Irregular подчеркнули, что модель не совершала сложного взлома и самостоятельно не выходила из защищенной среды. Причиной стал именно неправильный доступ к сети во время тестирования. По данным компании, нерешенных проблем, связанных с инцидентом, в настоящее время нет.
Muse Spark создана для выполнения агентных задач с использованием внешних инструментов. Обновленная версия модели способна планировать последовательность действий, работать с программами и сайтами, писать код и управлять компьютером с минимальным вмешательством человека.
До инцидента Meta заявляла, что ее проверки не выявили у Muse Spark автономных возможностей или опасных склонностей, достаточных для реализации серьезных киберугроз. В то же время новый случай демонстрирует, что риск может возникнуть не только из-за поведения самой модели, но и из-за ошибок в системах, в которых ее испытывают.
Похожие случаи в последнее время фиксировались во время внешнего тестирования моделей других разработчиков. Это усилило дискуссию о необходимости раскрывать детали киберинцидентов с участием ИИ и сохранять журналы действий моделей, чтобы устанавливать, была ли причиной поведение системы, ошибка оператора или неправильная настройка среды.
По материалам: Bloomberg, Business Insider, Meta
