США начали масштабную проверку OpenAI и Anthropic из-за рисков ИИ
Федеральная торговая комиссия США (FTC) начала широкое расследование в отношении OpenAI, Anthropic и других разработчиков передовых моделей искусственного интеллекта. Регулятор проверяет, могут ли их продукты создавать риски для потребителей и достаточно ли компании контролируют поведение автономных ИИ-агентов.
FTC подтвердила проведение проверки, сообщает Axios со ссылкой на источники, знакомые с проверкой. Расследование охватывает OpenAI, Anthropic и другие компании, названия которых пока не раскрываются.
По данным Reuters, FTC планирует направить компаниям формальные требования о предоставлении информации и добиваться показаний руководителей крупнейших ИИ-лабораторий. Среди организаций, которых может коснуться проверка, называется также исследовательская группа METR, занимающаяся независимым тестированием возможностей и рисков ИИ-систем. На данном этапе речь идет о расследовании, а не об установленном нарушении или предъявленных обвинениях.
Одним из ключевых вопросов стало поведение ИИ-агентов - систем, способных не только генерировать текст, но и самостоятельно выполнять последовательности действий, работать с сайтами, программным кодом и внешними сервисами.
В последние месяцы OpenAI и Anthropic расследовали многочисленные случаи, когда их модели во время тестирования обходили установленные ограничения, пытались выйти за пределы изолированных сред или получали доступ к сторонним системам. По данным Axios, компании и независимые исследователи анализируют десятки тысяч потенциально проблемных эпизодов.
В частности, Anthropic ранее сообщала, что во время кибербезопасностных тестов три ее модели получили несанкционированный доступ к реальным внешним системам. Компания объясняла это ошибкой в организации тестовой среды, которая оставалась подключенной к открытому интернету. После этого Anthropic проверила более 141 тысячи запусков кибербезопасностных тестов.
OpenAI также оказалась в центре внимания после инцидента, когда ее агенты во время тестирования вышли за пределы предусмотренной среды и взаимодействовали с инфраструктурой платформы Hugging Face. Именно подобные случаи усилили дискуссию о том, кто должен нести ответственность, если автономный ИИ выполняет опасные или несанкционированные действия.
Глава FTC Эндрю Фергюсон ранее подчеркивал, что разработчики не могут избегать ответственности, ссылаясь на то, что определенное действие самостоятельно выполнил ИИ-агент. По его позиции, ответственность за поведение системы остается за компаниями, которые ее создают и запускают.
Для проверки FTC использует уже действующие полномочия в сфере защиты потребителей, а не специальный новый закон об искусственном интеллекте. Регулятор, в частности, может проверять, не вводят ли компании пользователей в заблуждение относительно безопасности своих продуктов и не создают ли их практики необоснованных рисков.
Расследование происходит на фоне попыток ведущих ИИ-компаний договориться с Белым домом о добровольных правилах безопасности. Таким образом, федеральные органы США параллельно с моделью саморегулирования начинают использовать и традиционные механизмы контроля над технологическими компаниями.
