Хінтон і Бенджіо попередили уряди про можливий "вибух інтелекту" ШІ
Понад 20 провідних дослідників і керівників компаній у сфері штучного інтелекту попередили уряди про можливість так званого «вибуху інтелекту» — ситуації, за якої ШІ почне настільки швидко прискорювати власну розробку, що технологічний прогрес, який зазвичай займає роки, зможе відбуватися за місяці або навіть швидше.
Серед авторів нової доповіді — лауреат Нобелівської премії Джеффрі Хінтон, один із піонерів сучасного ШІ Йошуа Бенджіо, співзасновник Anthropic Джек Кларк і головний науковий співробітник OpenAI Якуб Пахоцький. Про це пише The Guardian.
Доповідь отримала назву «Що, якщо автоматизація досліджень і розробок ШІ викличе вибух інтелекту». Автори розглядають сценарій, за якого штучний інтелект досягне рівня провідних фахівців у дослідженнях самого ШІ та зможе самостійно виконувати дедалі більшу частину роботи зі створення наступних поколінь моделей.
Ключовий механізм такого прискорення називають рекурсивним самовдосконаленням. Потужніша модель допомагає розробляти ще досконалішу систему, та, своєю чергою, ще сильніше прискорює дослідження — і цей процес починає посилювати сам себе.
За оцінкою авторів, якщо ШІ досягне експертного рівня в дослідженнях і розробках, одна компанія теоретично зможе одночасно задіяти обчислювальний еквівалент роботи мільйонів висококваліфікованих дослідників. Саме автоматизацію досліджень у галузі самого штучного інтелекту вони вважають найбільш імовірним джерелом потенційного «вибуху інтелекту».
Дослідники підкреслюють, що такий сценарій поки не є встановленим фактом. Однак попередні дані, на їхню думку, показують, що стрімке прискорення розвитку ШІ за рахунок програмного забезпечення вже не можна виключати.
Автори звертають увагу, що штучний інтелект уже бере участь у розробці власного програмного забезпечення. Anthropic стверджує, що ШІ зараз генерує близько 80% коду всередині компанії, а OpenAI застосовує автономних ШІ-агентів, зокрема під час підготовки та навчання нових моделей.
При цьому поточний приріст продуктивності ще не досяг рівня, необхідного для запуску самопідтримуваного прискорення. Але дослідники вважають, що нові системи можуть наближатися до цього порогу. У доповіді допускається, що проєкти в галузі досліджень і розробок, на які людським командам знадобилися б місяці, можуть бути повністю автоматизовані ШІ вже до 2028 року.
Автори попереджають про втрату контролю та нові загрози
У доповіді йдеться, що різке прискорення розвитку ШІ здатне принести великі наукові та медичні відкриття, але водночас створити нові ризики. Наприклад, розвиток технологій біологічної зброї або кібератак може відбуватися швидше, ніж держави та компанії встигнуть створити захист.
Ще один ризик пов'язаний із поступовим виключенням людей із процесу розробки. Що більшу частину досліджень виконуватимуть автономні системи, то менше можливостей у фахівців залишиться для безпосереднього контролю над тим, як створюються та змінюються нові покоління моделей.
Окремо автори попереджають про геополітичні наслідки. Держава або компанія, які отримали навіть невелику перевагу в найпотужніших системах ШІ, теоретично зможуть швидко перетворити її на значно більшу технологічну, економічну або військову перевагу.
При цьому самі дослідники відзначають високу невизначеність таких сценаріїв. Технологічний прогрес може сповільнитися через обмеження обчислювальної інфраструктури, дефіцит спеціалізованих матеріалів, необхідність будувати нові дата-центри та дотримуватися державного регулювання. Потужніший ШІ також може прискорювати не лише створення нових ризиків, а й розробку способів захисту від них.
Урядам пропонують готувати екстрені плани
Автори доповіді вважають, що чекати появи надпотужних систем перед початком регулювання небезпечно, оскільки після початку різкого прискорення можливостей ШІ часу для ухвалення рішень може практично не залишитися.
Вони пропонують зобов'язати провідні ШІ-компанії регулярно розкривати інформацію про прогрес в автоматизації досліджень і допускати незалежних аудиторів. Ще одна пропозиція — заздалегідь визначити механізми, що дають змогу сповільнити розробку, якщо можливості систем почнуть зростати надто швидко.
Дослідники також пропонують взаємодіяти з операторами дата-центрів, щоб за потреби можна було оперативно зупинити певні проєкти з розробки ШІ. Автоматизовані дослідницькі системи, на їхню думку, слід максимально ізолювати від зовнішніх мереж, якщо існує ризик виходу з-під людського контролю.
Крім того, державам рекомендують розробити плани екстреного реагування на різні сценарії швидкого розвитку ШІ та заздалегідь визначити, які заходи мають автоматично набувати чинності після досягнення системами певного рівня можливостей.
Заклики до жорсткішого контролю лунають на тлі тривалої дискусії всередині самої технологічної галузі. У лютому було опубліковано Міжнародну доповідь з безпеки ШІ за 2026 рік, підготовлену понад 100 експертами під керівництвом Бенджіо. У ній також зазначалося, що думки фахівців щодо ймовірності втрати контролю над потужними системами суттєво розходяться, однак деякі потенційні наслідки можуть бути вкрай серйозними.
У новій доповіді Хінтон, Бенджіо та інші автори не стверджують, що «вибух інтелекту» неминучий. Їхня основна теза полягає в тому, що уряди мають заздалегідь готуватися до такого сценарію, оскільки в разі його реалізації розвиток подій може виявитися набагато швидшим за звичайні політичні та законодавчі процеси.
