Хинтон и Бенжио предупредили правительства о возможном "взрыве интеллекта" ИИ
Более 20 ведущих исследователей и руководителей компаний в сфере искусственного интеллекта предупредили правительства о возможности так называемого «взрыва интеллекта» — ситуации, при которой ИИ начнет настолько быстро ускорять собственную разработку, что технологический прогресс, обычно занимающий годы, сможет происходить за месяцы или даже быстрее.
Среди авторов нового доклада — лауреат Нобелевской премии Джеффри Хинтон, один из пионеров современного ИИ Йошуа Бенжио, соучредитель Anthropic Джек Кларк и главный научный сотрудник OpenAI Якуб Пахоцкий. Об этом пишет The Guardian.
Доклад получил название «Что, если автоматизация исследований и разработок ИИ вызовет взрыв интеллекта». Авторы рассматривают сценарий, при котором искусственный интеллект достигнет уровня ведущих специалистов в исследованиях самого ИИ и сможет самостоятельно выполнять все большую часть работы по созданию следующих поколений моделей.
Ключевой механизм такого ускорения называют рекурсивным самоулучшением. Более мощная модель помогает разрабатывать еще более совершенную систему, та, в свою очередь, еще сильнее ускоряет исследования — и этот процесс начинает усиливать сам себя.
По оценке авторов, если ИИ достигнет экспертного уровня в исследованиях и разработках, одна компания теоретически сможет одновременно задействовать вычислительный эквивалент работы миллионов высококвалифицированных исследователей. Именно автоматизацию исследований в области самого искусственного интеллекта они считают наиболее вероятным источником потенциального «взрыва интеллекта».
Исследователи подчеркивают, что такой сценарий пока не является установленным фактом. Однако предварительные данные, по их мнению, показывают, что стремительное ускорение развития ИИ за счет программного обеспечения уже нельзя исключать.
Авторы обращают внимание, что искусственный интеллект уже участвует в разработке собственного программного обеспечения. Anthropic утверждает, что ИИ сейчас генерирует около 80% кода внутри компании, а OpenAI применяет автономных ИИ-агентов, в частности при подготовке и обучении новых моделей.
При этом текущий прирост производительности еще не достиг уровня, необходимого для запуска самоподдерживающегося ускорения. Но исследователи считают, что новые системы могут приближаться к этому порогу. В докладе допускается, что проекты в области исследований и разработок, на которые человеческим командам потребовались бы месяцы, могут быть полностью автоматизированы ИИ уже к 2028 году.
Авторы предупреждают о потере контроля и новых угрозах
В докладе говорится, что резкое ускорение развития ИИ способно принести крупные научные и медицинские открытия, но одновременно создать новые риски. Например, развитие технологий биологического оружия или кибератак может происходить быстрее, чем государства и компании успеют создавать защиту.
Еще один риск связан с постепенным исключением людей из процесса разработки. Чем большую часть исследований будут выполнять автономные системы, тем меньше возможностей у специалистов останется для непосредственного контроля над тем, как создаются и изменяются новые поколения моделей.
Отдельно авторы предупреждают о геополитических последствиях. Государство или компания, получившие даже небольшое преимущество в наиболее мощных системах ИИ, теоретически смогут быстро превратить его в гораздо более значительное технологическое, экономическое или военное превосходство.
При этом сами исследователи отмечают высокую неопределенность таких сценариев. Технологический прогресс может замедлиться из-за ограничений вычислительной инфраструктуры, дефицита специализированных материалов, необходимости строить новые дата-центры и соблюдать государственное регулирование. Более мощный ИИ также может ускорять не только создание новых рисков, но и разработку способов защиты от них.
Правительствам предлагают готовить экстренные планы
Авторы доклада считают, что ждать появления сверхмощных систем перед началом регулирования опасно, поскольку после начала резкого ускорения возможностей ИИ времени для принятия решений может практически не остаться.
Они предлагают обязать ведущие ИИ-компании регулярно раскрывать информацию о прогрессе в автоматизации исследований и допускать независимых аудиторов. Еще одно предложение — заранее определить механизмы, позволяющие замедлить разработку, если возможности систем начнут расти слишком быстро.
Исследователи также предлагают взаимодействовать с операторами дата-центров, чтобы при необходимости можно было оперативно остановить определенные проекты по разработке ИИ. Автоматизированные исследовательские системы, по их мнению, следует максимально изолировать от внешних сетей, если существует риск выхода из-под человеческого контроля.
Кроме того, государствам рекомендуют разработать планы экстренного реагирования на различные сценарии быстрого развития ИИ и заранее определить, какие меры должны автоматически вступать в силу при достижении системами определенного уровня возможностей.
Призывы к более жесткому контролю звучат на фоне продолжающейся дискуссии внутри самой технологической отрасли. В феврале был опубликован Международный доклад по безопасности ИИ за 2026 год, подготовленный более чем 100 экспертами под руководством Бенжио. В нем также отмечалось, что мнения специалистов о вероятности потери контроля над мощными системами существенно расходятся, однако некоторые потенциальные последствия могут быть крайне серьезными.
В новом докладе Хинтон, Бенжио и другие авторы не утверждают, что «взрыв интеллекта» неизбежен. Их основной тезис заключается в том, что правительства должны заранее готовиться к такому сценарию, поскольку в случае его реализации развитие событий может оказаться намного быстрее обычных политических и законодательных процессов.
