Каліфорнія хоче зобов'язати потужні ШІ мати кнопку миттєвого відключення: що саме пропонують контролювати

Каліфорнія готує новий рівень контролю за найпотужнішими системами штучного інтелекту. Губернатор Гевін Ньюсом підписав виконавчий указ, який доручає владі штату опрацювати обов'язковий «kill switch» для передових ШІ-моделей, незалежні перевірки безпосередньо в лабораторіях розробників та нові правила звітності про інциденти втрати контролю.

Важливо, що «аварійний вимикач» поки що не став обов'язковою вимогою. Указ N-9-26, підписаний 18 вересня, доручає владі та залученим експертам підготувати рекомендації щодо можливих змін законодавства.

Одна з прямо перелічених ідей — зобов'язати розробників створювати механізм екстреного відключення для frontier-моделей, тобто найпотужніших систем штучного інтелекту. Його працездатність при цьому має регулярно перевірятися незалежною організацією.

Що означає «kill switch» для ШІ

Сам термін може створювати враження фізичної кнопки, якою влада зможе миттєво відключити будь-який чат-бот. У документі йдеться не про це.

Експертам належить визначити, яким має бути механізм аварійного припинення роботи потужної моделі, в яких обставинах його можна застосовувати і як незалежно перевірити, що він дійсно спрацює в критичній ситуації.

Тому говорити, що Каліфорнія вже отримала можливість відключати ChatGPT, Claude, Gemini чи інші ШІ-сервіси, неправильно. Зараз штат тільки готує можливі вимоги до розробників найпотужніших моделей.

Розробників хочуть перевіряти прямо в лабораторіях

«Kill switch» — лише одна частина ініціативи. Влада також пропонує розглянути постійний незалежний контроль за компаніями, що створюють frontier-ШІ.

Зокрема, передбачається, що великі розробники зможуть бути зобов'язані працювати з призначеною незалежною перевіряючою організацією. Її фахівці отримають можливість проводити регулярні аудити та оцінки безпосередньо в лабораторіях компаній.

Окремо пропонується запровадити незалежне підтвердження документів про безпеку. Йдеться про програми управління ризиками, звіти про прозорість та інші матеріали, які розробники зобов'язані готувати в рамках чинних правил.

Якщо такий підхід стане законом, компаніям буде недостатньо самостійно заявити, що їх модель пройшла необхідні перевірки. Ключові твердження про безпеку мають підтверджуватися зовнішньою стороною.

Каліфорнія хоче розширити список небезпечних інцидентів

Ще один напрям стосується ситуацій, коли ШІ поводиться не так, як передбачили його творці.

Влада штату хоче переглянути визначення критичного інциденту та вивчити випадки, коли ШІ-агенти обходять захисні обмеження, діють автономно або демонструють потенційно небезпечні можливості.

Це важливо тому, що існуючі правила звітності охоплюють лише певні категорії подій. Новий підхід може розширити коло ситуацій, про які розробники повинні будуть повідомляти регуляторам.

Точні критерії ще належить розробити. Тому далеко не кожна несподівана дія ШІ автоматично стане юридично значущим «інцидентом втрати контролю».

Каліфорнія вже почала будувати систему зовнішнього контролю

Новий указ з'явився не на порожньому місці. Каліфорнія поступово створює власну систему регулювання найпотужніших моделей штучного інтелекту.

У 2025 році штат прийняв SB 53 — Transparency in Frontier Artificial Intelligence Act. Закон встановив вимоги до прозорості розробників передових моделей та звітності про деякі критичні інциденти безпеки.

У вересні 2026 року Ньюсом підписав ще два закони, що посилюють зовнішній контроль за ШІ.

SB 813 передбачає систему сертифікації незалежних організацій, які зможуть проводити оцінку моделей та ШІ-систем на предмет ризиків.

AB 1405 передбачає створення державного реєстру аудиторів штучного інтелекту та встановлює вимоги до їх незалежності, прозорості та роботи.

Новий виконавчий указ має прискорити практичне створення цієї інфраструктури і водночас визначити, які додаткові обов'язки можуть з'явитися у розробників.

Чому рішення Каліфорнії важливе для всієї індустрії

Формально йдеться про правила одного американського штату. Але вплив Каліфорнії на ринок ШІ значно ширший за її кордони.

Штат залишається одним із найбільших світових центрів розробки штучного інтелекту. Саме тут розташовані штаб-квартири та дослідницькі підрозділи багатьох провідних технологічних компаній.

Тому обов'язкові незалежні перевірки, розширена звітність або технічні механізми аварійного відключення, якщо вони дійсно будуть закріплені в законодавстві, можуть вплинути на те, як великі компанії проєктують і тестують свої моделі загалом.

Компанії навряд чи створюватимуть повністю різні системи безпеки для кожної окремої юрисдикції, особливо якщо йдеться про фундаментальну архітектуру управління моделлю.

«Кнопку відключення» поки не ввели

Головне обмеження нинішньої ініціативи полягає в її статусі. Виконавчий указ не встановлює готового обов'язкового «kill switch» для ШІ.

Поки не визначені технічні характеристики такого механізму, умови його використання і точний перелік моделей або розробників, на яких він поширюватиметься.

Спочатку експерти та державні органи мають оцінити технічну реалізованість пропозицій і підготувати рекомендації. Для введення нових обов'язків можуть знадобитися подальші законодавчі рішення.

Тому нинішній крок правильніше розглядати як підготовку наступного етапу регулювання: Каліфорнія хоче перейти від добровільних обіцянок розробників і внутрішнього тестування до системи, де безпека найпотужніших ШІ буде додатково перевірятися зовнішніми організаціями, а на випадок серйозної загрози має існувати заздалегідь протестований механізм зупинки моделі.

За матеріалами: Офіс губернатора Каліфорнії, Executive Order N-9-26