Калифорния хочет обязать мощные ИИ иметь кнопку мгновенного отключения: что именно предлагают контролировать
Калифорния готовит новый уровень контроля за самыми мощными системами искусственного интеллекта. Губернатор Гэвин Ньюсом подписал исполнительный указ, который поручает властям штата проработать обязательный «kill switch» для передовых ИИ-моделей, независимые проверки непосредственно в лабораториях разработчиков и новые правила отчетности об инцидентах потери контроля.
Важно, что «аварийный выключатель» пока не стал обязательным требованием. Указ N-9-26, подписанный 18 сентября, поручает властям и привлеченным экспертам подготовить рекомендации по возможным изменениям законодательства.
Одна из прямо перечисленных идей — обязать разработчиков создавать механизм экстренного отключения для frontier-моделей, то есть наиболее мощных систем искусственного интеллекта. Его работоспособность при этом должна регулярно проверяться независимой организацией.
Что означает «kill switch» для ИИ
Сам термин может создавать впечатление физической кнопки, которой власти смогут мгновенно отключить любой чат-бот. В документе речь идет не об этом.
Экспертам предстоит определить, каким должен быть механизм аварийного прекращения работы мощной модели, в каких обстоятельствах его можно применять и как независимо проверить, что он действительно сработает в критической ситуации.
Поэтому говорить, что Калифорния уже получила возможность отключать ChatGPT, Claude, Gemini или другие ИИ-сервисы, неправильно. Сейчас штат только готовит возможные требования к разработчикам наиболее мощных моделей.
Разработчиков хотят проверять прямо в лабораториях
«Kill switch» — лишь одна часть инициативы. Власти также предлагают рассмотреть постоянный независимый контроль за компаниями, создающими frontier-ИИ.
В частности, предполагается, что крупные разработчики смогут быть обязаны работать с назначенной независимой проверяющей организацией. Ее специалисты получат возможность проводить регулярные аудиты и оценки непосредственно в лабораториях компаний.
Отдельно предлагается ввести независимое подтверждение документов о безопасности. Речь идет о программах управления рисками, отчетах о прозрачности и других материалах, которые разработчики обязаны готовить в рамках действующих правил.
Если такой подход станет законом, компаниям будет недостаточно самостоятельно заявить, что их модель прошла необходимые проверки. Ключевые утверждения о безопасности должны будут подтверждаться внешней стороной.
Калифорния хочет расширить список опасных инцидентов
Еще одно направление касается ситуаций, когда ИИ ведет себя не так, как предусмотрели его создатели.
Власти штата хотят пересмотреть определение критического инцидента и изучить случаи, когда ИИ-агенты обходят защитные ограничения, действуют автономно или демонстрируют потенциально опасные возможности.
Это важно потому, что существующие правила отчетности охватывают только определенные категории событий. Новый подход может расширить круг ситуаций, о которых разработчики должны будут сообщать регуляторам.
Точные критерии еще предстоит разработать. Поэтому далеко не каждое неожиданное действие ИИ автоматически станет юридически значимым «инцидентом потери контроля».
Калифорния уже начала строить систему внешнего контроля
Новый указ появился не на пустом месте. Калифорния постепенно создает собственную систему регулирования наиболее мощных моделей искусственного интеллекта.
В 2025 году штат принял SB 53 — Transparency in Frontier Artificial Intelligence Act. Закон установил требования к прозрачности разработчиков передовых моделей и отчетности о некоторых критических инцидентах безопасности.
В сентябре 2026 года Ньюсом подписал еще два закона, усиливающих внешний контроль за ИИ.
SB 813 предусматривает систему сертификации независимых организаций, которые смогут проводить оценку моделей и ИИ-систем на предмет рисков.
AB 1405 предусматривает создание государственного реестра аудиторов искусственного интеллекта и устанавливает требования к их независимости, прозрачности и работе.
Новый исполнительный указ должен ускорить практическое создание этой инфраструктуры и одновременно определить, какие дополнительные обязанности могут появиться у разработчиков.
Почему решение Калифорнии важно для всей индустрии
Формально речь идет о правилах одного американского штата. Но влияние Калифорнии на рынок ИИ значительно шире ее границ.
Штат остается одним из крупнейших мировых центров разработки искусственного интеллекта. Именно здесь расположены штаб-квартиры и исследовательские подразделения многих ведущих технологических компаний.
Поэтому обязательные независимые проверки, расширенная отчетность или технические механизмы аварийного отключения, если они действительно будут закреплены в законодательстве, могут повлиять на то, как крупные компании проектируют и тестируют свои модели в целом.
Компании вряд ли будут создавать полностью разные системы безопасности для каждой отдельной юрисдикции, особенно если речь идет о фундаментальной архитектуре управления моделью.
«Кнопку отключения» пока не ввели
Главное ограничение нынешней инициативы заключается в ее статусе. Исполнительный указ не устанавливает готового обязательного «kill switch» для ИИ.
Пока не определены технические характеристики такого механизма, условия его использования и точный перечень моделей или разработчиков, на которых он будет распространяться.
Сначала эксперты и государственные органы должны оценить техническую реализуемость предложений и подготовить рекомендации. Для введения новых обязанностей могут потребоваться дальнейшие законодательные решения.
Поэтому нынешний шаг правильнее рассматривать как подготовку следующего этапа регулирования: Калифорния хочет перейти от добровольных обещаний разработчиков и внутреннего тестирования к системе, где безопасность самых мощных ИИ будет дополнительно проверяться внешними организациями, а на случай серьезной угрозы должен существовать заранее протестированный механизм остановки модели.
По материалам: Офис губернатора Калифорнии, Executive Order N-9-26
