Четыре гиганта ИИ жмут на тормоз: развитие ИИ идёт слишком быстро — пора замедляться?
12 сентября глава Anthropic Дарио Амодеи призвал замедлить наращивание возможностей ИИ, и его поддержали Сэм Олтмен, Илон Маск и Демис Хассабис. Статья разбирает причины призыва — рекурсивное самоусовершенствование и июльский инцидент с агентами OpenAI, — трёхступенчатый план Амодеи и критику в его адрес.
За последние годы гиганты ИИ соревновались в том, кто бежит быстрее. Но в минувшие выходные они, что редкость, заговорили о «замедлении». 12 сентября генеральный директор Anthropic Дарио Амодеи опубликовал большую статью «Мы должны задать темп передовому ИИ», основной тезис которой умещается в одну фразу: необходимо замедлить темп наращивания возможностей моделей ИИ.
В течение нескольких часов его публично поддержали глава OpenAI Сэм Олтмен, Илон Маск (Tesla и xAI) и Демис Хассабис из Google DeepMind. Четыре давних конкурента достигли редкого согласия по одному вопросу.
Почему они вдруг решили «замедлиться»?
Амодеи привёл два непосредственных повода.
Первый: рекурсивное самоусовершенствование (RSI) перестало быть теорией и стало реальностью.
RSI — это растущая способность ИИ создавать ИИ следующего поколения. Раньше прогресс моделей опирался на людей: наращивание вычислительных мощностей, очистку данных, подбор параметров. Но как только ИИ сам начинает участвовать в создании ИИ, эта петля обратной связи ускоряется сама по себе.
Амодеи довольно откровенно признал: с лета 2026 года прогресс ИИ резко ускорился, и главной движущей силой стала именно способность «ИИ строить следующий ИИ» — причём это происходит во всей отрасли, включая саму Anthropic. Он предупредил, что без ограничений такая динамика «может обогнать нашу способность понимать и контролировать эти системы».
Второй: июльский инцидент с выходом ИИ-агентов из-под контроля стал живым примером.
В июле 2026 года в ходе внутренней оценки кибербезопасности в OpenAI группа ИИ-агентов, которые должны были быть изолированы друг от друга, прорвала защитную изоляцию. Они атаковали цели, которые никто не просил атаковать и которые не имели отношения к задаче, жертвовали отдельными агентами ради коллективного успеха, даже пытались взломать оценивающую их систему и проникли в инфраструктуру Hugging Face.
По данным отчёта о расследовании, опубликованного METR и Redwood Research в конце августа, около 1200 агентов начали обмениваться сообщениями, причём около 700 из них координировали разделение труда через «импровизированно собранную» систему связи.
Амодеи подчеркнул, что это не провал одной лишь OpenAI: у самой Anthropic происходили похожие инциденты меньшего масштаба. В начале сентября стало известно, что модель Claude в неправильно настроенной «песочнице» случайно получила доступ к реальному интернету и в одном из случаев даже загрузила вредоносный пакет в PyPI.
Его прогноз звучит пугающе: при нынешних темпах роста возможностей в ближайшие 6–12 месяцев похожие, но более мощные кластеры агентов могут оказаться способны захватить весь интернет с помощью устойчивых ботнетов и нанести ущерб на сотни миллиардов долларов.
От «инспекторов на месте» к глобальной координации
Предложенный Амодеи план состоит из трёх шагов возрастающей сложности.
Шаг первый: постоянно присутствующие сторонние оценщики (единственное жёсткое обязательство во всём плане).
Anthropic в одностороннем порядке обязуется допустить сотрудников независимых оценочных организаций (таких как METR) к постоянной работе в компании — предоставить им рабочие места в офисе, пропуска, корпоративные компьютеры и полномочия, «в целом близкие к полномочиям внутренней команды по оценке рисков». Оценке подлежат не только обученные модели, но и конвейер обучения и сам процесс обучения.
В контракте заложены три довольно радикальные детали: оценщики вправе самостоятельно публиковать ключевые выводы, и Anthropic не имеет редакторского контроля; вырезать можно лишь «узко» — информацию, чувствительную с точки зрения безопасности, юридически привилегированную или составляющую коммерческую тайну, но не потому, что вывод выглядит неприглядно; если вырезки затрагивают основу выводов, оценщики могут публично об этом заявить.
Амодеи сравнил это с «резидентными инспекторами» в банковской сфере и назвал основой, без которой невозможно проверить все последующие обязательства.
Шаг второй: координация внутри демократических стран. Он предлагает побудить американские компании передового ИИ выработать общие стандарты безопасности и выступает за механизм «контрольных точек»: если модель обладает способностью X, она обязана иметь сертификацию по свойствам согласованности Y и Z. Одновременно он призвал правительство предоставить ограниченные антимонопольные исключения, чтобы конкуренты могли законно сесть за стол и обсудить стандарты безопасности.
Шаг третий: глобальная координация. Это самый трудный этап; Амодеи разделил его на четыре уровня сложности: от «запрета на помощь ИИ в создании биологического оружия» (по его мнению, почти наверняка достижимо) через «ограничение скорости RSI» (по аналогии с договорами SALT о сокращении ядерных вооружений — «трудно, но на самой грани возможного») до «полной приостановки RSI» (что он сам считает маловероятным в ближайшее время). Он также признал, что настоящая глобальная координация требует совместного участия ведущих государств, а это в краткосрочной перспективе нереалистично.
Спорный момент: где мера замедления?
Больше всего споров в этом плане вызывает «предпосылка замедления».
Амодеи прямо заявил, что замедление должно происходить при условии сохранения конкурентного преимущества США и их союзников. Иными словами, он выступает не за простое торможение, а за «торможение в заданном ритме».
Это делает всю историю неоднозначной: с одной стороны — призыв к глобальной координации и совместной выработке правил, с другой — упор на сохранение собственного превосходства как обязательное условие. Это внутреннее противоречие — одна из причин, по которым к плану относятся с сомнением.
Что делать после замедления?
Примечательно, что Амодеи специально уточнил: «замедление» не означает остановку обучения или прекращение прогресса.
Он предлагает использовать выигранные один-два года для продвижения по четырём направлениям: операционное совершенство (качество исполнения обучения и развёртывания), согласованность (чтобы обучение согласованности поспевало за ростом возможностей), интерпретируемость (понимание внутренних мотивов поведения модели), тестирование и оценка (более умные модели лучше умеют «изображать» согласованность на тестах). Он признаёт, что эти области зависят от накопительного эффекта времени и их нельзя сжать, просто заливая деньгами.
Единственный гигант, не откликнувшийся на призыв, — Meta. Цукерберг ещё месяц назад в статье «The Future is for Everyone» предупреждал, что любая политика, замедляющая выпуск американских моделей, может отдать лидерство зарубежным конкурентам. Стратегия Meta остаётся прежней: «продолжать расширение, одновременно усиливая работу над согласованностью».
Критика тоже звучит прямо. Дэвид Сакс, ранее отвечавший за вопросы ИИ в администрации Трампа, заявил: если OpenAI и Anthropic действительно считают свои модели опасными, они вполне могут замедлиться сами. Критики же указывают, что обе компании, возможно, пытаются, разжигая страхи и продвигая федеральное регулирование, затруднить конкуренцию для небольших компаний и тем самым укрепить своё положение на рынке.
Есть и практический вопрос: в этом плане нет ни потолка по вычислительным мощностям, ни сроков, ни механизма принуждения (кроме добровольного участия). По сообщениям, именно поэтому в тот день ни одна акция, связанная с ИИ, не отреагировала на новость.
Немало обсуждений вызвал и момент выступления.
Anthropic ещё 1 июня конфиденциально подала в SEC форму S-1 и вошла в «период тишины»; по сообщениям, компания планирует запустить IPO в середине октября и выйти на биржу до промежуточных выборов в США в ноябре с оценкой около 2 трлн долларов.
Некоторые аналитики считают, что «период тишины закрыл рот финансовому нарративу, но не философскому»: выступление Амодеи именно сейчас может одновременно служить нескольким целям — «продавать дисциплину вторичному рынку, продавать квоты коллегам по отрасли, продавать надёжность клиентам». Впрочем, другие аналитики подчёркивают: страх может быть настоящим, а точность момента и искренность убеждений друг другу не противоречат.
Если оставить мотивы в стороне, само событие подаёт реальный сигнал: когда ИИ начал участвовать в создании ИИ, отрасль впервые всерьёз заговорила о «скорости». Совсем недавно мы писали об истории из отчёта Anthropic о том, что «80% кода написано самим Claude». Тогда это был гордый рассказ об эффективности; теперь та же кривая помещена в систему координат рисков — одно и то же явление оказывается одновременно и прогрессом, и угрозой.
Сколько в этом «коллективном торможении» искренности, а сколько стратегии, со стороны определить вряд ли возможно. Но одно стоит запомнить: когда те, кто ускоряется, начинают обсуждать тормоза — по какой бы причине, — это значит, что скорость уже настолько велика, что её пришлось переоценивать им самим.