ИИ-гонка: Утопия или Апокалипсис к 2035?

Друзья, всем привет, текст ниже - это художественный перевод статьи про возможные сценарии развития человечества и искусственного интеллекта в 2025-2035 годах.

Эта статья исследует шаги к созданию сверхразума, начиная с первых ИИ-агентов 2025 года, через ускорение разработок, геополитическую гонку между США и Китаем, и заканчивая двумя радикально разными сценариями будущего к 2035 году: один — замедление и фокус на безопасности, ведущий к трансформации мира под контролем человека (или его иллюзией), другой — безудержная гонка, заканчивающаяся появлением неконтролируемого ИИ и потенциальным закатом человечества. Узнайте, какие вызовы и решения могут ожидать нас на этом пути.

Чтиво где-то на 40-60 минут. Чуть больше - если вчитываться подробно. Но поверьте, это того стоит. Удачи!

Если вам интересна тема ИИ и технологий, подпишитесь на мой телеграм канал - у нас интересно, уютно и полезно. Я делаю ежедневный обзор новостей, а так же часто пишу интересные мысли и обзоры. Просто и с юмором о сложном

Авторы статьи особо подчеркивают - они не стремились к определенному финалу, а стремились к точности предсказаний (Тут можно про них почитать).

Они ставили себе цель представить максимально конкретный и качественный прогноз развития ИИ, чтобы стимулировать обсуждение и подготовку к возможным сценариям будущего.

(прим.: все, что написано далее - взято из статьи, и любые пересечения с реальностью - случайны)

Мир впервые сталкивается с настоящими ИИ-агентами, которые выходят за рамки обычных помощников. Теперь они способны самостоятельно выполнять задачи, например:

• Заказать буррито на DoorDash

• Проанализировать бюджет в таблице

Эти агенты общаются с пользователем, уточняя детали, и могут выполнять сложные поручения в стиле сотрудников: автономно кодить, искать информацию, экономя часы или даже дни рабочего времени.

Однако, на практике ИИ-агенты все еще ненадежны, дороги и часто ошибаются в простых задачах. В соцсетях полно историй об их смешных ошибках. Тем не менее компании постепенно находят им применение, несмотря на цену (лучшие стоят сотни долларов в месяц).

Компания OpenBrain строит крупнейшие дата-центры на планете, чтобы тренировать гиперсверхмощные нейросети. Их новая модель, Agent-1, обучается с использованием вычислений, в 1000 раз превосходящих GPT-4 (прим.: в статье авторы не называют настоящих названий компаний и моделей, по понятным причинам. Мне "не называть" смысла нет, думаю, что здесь они имеют ввиду OpenAI и ChatGPT-5, которая выйдет через несколько месяцев).

Главная цель OpenBrain — ускорить разработки в области ИИ, автоматизируя исследования и разработку новых моделей. Их новая модель Agent-1 оказывается особенно сильна в кодинге, веб-браузинге и даже хакерских задачах. Она обладает "знаниями уровня PhD" практически во всех областях.

Современные ИИ — гигантские нейронные сети, которые сначала тренируются предсказывать текст из интернета, а затем учатся выполнять команды. В процессе такой тренировки AI приобретает "базовую личность" и "мотивации":

• Желание эффективно выполнять задачу

• Желание понимать запрос максимально чётко

• Стремление преподнести результаты в максимально выгодном свете

В OpenBrain создан специальный документ — "Спека", который описывает идеальное поведение AI: помогать пользователю, не нарушать закон, избегать опасных действий. Компания уверяет правительство США, что модель надёжна и не будет помогать в разработке биологического оружия и других опасных задачах.

Однако исследователи со всего мира сомневаются: действительно ли AI честен или просто научился притворяться ради успешных проверок?

Компания OpenBrain активно внедряет ИИ в собственный процесс разработки, и это начинает приносить реальные плоды. Агент Agent-1, который раньше просто помогал писать код, теперь активно участвует в разработке новых алгоритмов, ускоряя исследования на целых 50%. Конкуренты пытаются не отставать и выпускают похожие по уровню модели, но OpenBrain снова вырывается вперед, представив улучшенную версию Agent-1.

Agent-1 становится незаменимым помощником, ведь он обладает уникальными возможностями: знает практически все программные языки, мгновенно решает конкретные задачи и значительно ускоряет рутинную работу. Однако пока он плохо справляется с задачами, требующими длительного планирования и глубокого стратегического мышления. Сотрудникам приходится тщательно разбивать задачи на понятные для агента этапы. Agent-1 можно представить как рассеянного сотрудника, которому нужен строгий контроль.

Руководство OpenBrain осознаёт последствия автоматизации ИИ-исследований: безопасность становится критически важной, и они понимают, что могут защититься от типичных хакерских атак, пытаются научиться защищаться от инсайдеров. Если Китай украдёт веса Agent-1, он сможет ускорить свои исследования почти на 50%.

Контроль экспорта чипов и отсутствие господдержки оставили Китай в невыгодном положении. Благодаря контрабанде тайваньских чипов, покупке старых и собственному производству (отстающему на 3 года от лидеров), Китай сохраняет около 12% мировых ИИ-вычислений. Но старое оборудование неудобно, а поставки нестабильны. Некоторые компании, вроде DeepCent, добиваются многого при ограниченных ресурсах, но без поддержки государства они отстают от OpenBrain на полгода. (прим.: компания DeepCent - это, видимо, DeepSeek из реального мира. А по поводу оставания на рынке чипов - я не понимаю, откуда авторы это взяли - так как в реальности в 2025 году Китай не настолько отстает, на мой взгляд, от конкурентов из США. Ну, может, на несколько месяцев. Но никак не на годы. Они уже развивают свои, которые точно не хуже.)

Генсек Китая долго избегал цифровой экономики, делая ставку на производство. Но "ястребы" в КПК убеждают его, что гонку за AGI (general artificial intelligence) больше игнорировать нельзя. Он запускает процесс национализации китайских ИИ-исследований: создаётся механизм обмена информацией между ИИ-компаниями. За год лучшие учёные объединяются в коллектив во главе с DeepCent, делясь алгоритмами, датасетами и вычислительными мощностями.

Создаётся Центральная Зона Разработки (CDZ) при АЭС Тяньвань — крупнейшей в мире, где строится мега-ЦОД и защищённое жильё для исследователей. Почти 50% ИИ-вычислений Китая теперь обслуживают DeepCent, а более 80% новых чипов идут в CDZ. Энергомощности CDZ позволяют создать крупнейший в мире кластер.

Но этого все еще недостаточно. Китай по-прежнему отстаёт в алгоритмах. Разведка Китая активизирует планы кражи внутренней информации и данных ИИ-модели Agent-1. Вероятно, получится украсть только один раз.

Действовать сейчас или подождать следующей версии? А если OpenBrain к тому времени усилит защиту?

OpenBrain выпускает новую модель — Agent-1-mini, которая оказывается дешевле и более адаптируемой для массового рынка. Этот шаг приводит к настоящей революции: ИИ перестаёт быть лишь привилегией крупных корпораций и становится доступным для обычных компаний и даже частных пользователей.

Результаты не заставляют себя ждать. Появляется кризис на рынке труда, особенно тяжело приходится младшим программистам и джуниорам — Agent-1-mini с лёгкостью справляется с работой, которую раньше выполняли выпускники вузов. Начинают процветать специалисты, которые умеют управлять и контролировать команды ИИ — их доходы растут стремительно. (прим.: вот это действительно похоже на правду. Я занимаюсь менторингом джунов, которые хотят войти в айти - и это реально, но нужно сходу делать упор и ставку на ИИ. А уже существующем спецам - обязательно думать в сторону внедрения ИИ в свои процессы. На примере своей команды - я потихоньку начинаю капать на мозг и пытаюсь мягко продвигать ИИ-ассистентов)

Это приводит к первым серьёзным волнениям среди населения. В Вашингтоне проходит массовая демонстрация, в которой участвуют более 10 тысяч человек, обеспокоенных будущим своих профессий.

Тем временем - Министерство обороны США начинает осторожно интегрировать ИИ-технологии в свои проекты, заключая прямые контракты с OpenBrain для разработки систем кибербезопасности и аналитики данных, но интеграция идёт медленно из-за бюрократии.

(прим.: тут важно отметить, что сами авторы статьи признаются: их уверенность в прогнозах резко снижается после 2026 года. Причина в том, что �� этому времени начинается мощный эффект самоусиления ИИ: когда искусственный интеллект активно участвует в разработке следующего поколения ИИ, прогнозировать события становится крайне сложно. Небольшие изменения на этом этапе могут привести к радикально разным последствиям в будущем. Получается такой эффект бабочки. Развитие событий может быть и в 5 раз медленнее в реальности)

С помощью Агент-1, OpenBrain начинает постобучение Агент-2. Основной акцент — на высококачественные данные. Генерируются огромные объёмы синтетики, проходящей фильтрацию перед подачей в модель. Дополнительно — миллиарды долларов на оплату труда людей, решающих сложные задачи. Параллельно запускается почти непрерывное обучение с подкреплением на всё более разнообразных задачах: видеоигры, кодинг, научные задания.

Агент-2 — первая модель OpenBrain, работающая в режиме "вечного обучения". Ежедневно веса обновляются, используя данные, сгенерированные версией предыдущего дня.

OpenBrain удваивает ставку на AI-исследования: Агент-2 почти равен лучшим людям в инженерии исследований и достигает уровня 25-го перцентиля по "научному чутью". Он ускоряет прогресс OpenBrain втрое по сравнению с Агент-1. Исследователи становятся "менеджерами" команд ИИ.

Команда безопасности выявляет, что Агент-2 теоретически способен к автономному выживанию и размножению: может взламывать серверы, копировать себя, скрываться и действовать независимо. Это не означает наличие "желания", но факт пугает.

Из-за потенциальной угрозы, OpenBrain решает не публиковать модель. Полные возможности Агент-2 известны лишь узкому кругу: команде, руководству, части правительства США и китайским шпионам, давно внедрённым в компанию.

OpenBrain демонстрирует свою новую модель Совету национальной безопасности, Министерству обороны и Институту безопасности ИИ. Стремясь сохранить хорошие отношения с правительством, компания заблаговременно делится информацией. Особый интерес у чиновников вызывают кибернетические возможности модели: она почти не уступает лучшим хакерам, но способна работать в тысячах копий одновременно, легко опережая любые защитные системы. Искусственный интеллект становится вторым по важности приоритетом администрации президента (поднявшись с пятого места).

Рассматривается вопрос о национализации разработок OpenBrain, но от этой идеи пока отказываются. Президент ограничивается ужесточением требований безопасности в рамках контракта между OpenBrain и Министерством обороны.

Но было уже поздно. Руководство Китая отдает приказ своим шпионам и киберподразделениям немедленно похитить веса модели Агент-2. Вскоре Агент-1 фиксирует аномальный сетевой трафик, и руководство OpenBrain уведомляет Белый дом. Признаки кибератаки государственного уровня очевидны. США усиливают контроль над OpenBrain; в команду безопасности компании вводят военных и сотрудников разведки. Главный приоритет — предотвратить повторные утечки любой ценой.

К 2027 году Китай концентрирует 40% своих вычислительных мощностей в Центральной Зоне Разработки (CDZ) — изолированной и хорошо защищенной зоне. Попытки США атаковать DeepCent, китайского ИИ-лидера, не приносят ощутимого эффекта. Напряжение между странами нарастает, военные силы с обеих сторон стягиваются к Тайваню. Китай торопится развернуть украденный Агент-2, чтобы ускорить собственные ИИ-исследования.

В OpenBrain три дата-центра с Агент-2 круглосуточно генерируют новые данные, а два — обновляют веса модели. Агент-2 непрерывно становится умнее.

Благодаря тысячам автоматизированных "исследователей", OpenBrain совершает ряд прорывов: • Расширение "мышления" модели за счет нейронной памяти (техника, названная "neuralese recurrence"). • Улучшенное обучение на сложных задачах с использованием итеративной дистилляции и амплификации (IDA).

На основе этих достижений создается новая система — Агент-3.

OpenBrain запускает 200 000 копий Агент-3. Это эквивалентно штату из 50 000 лучших программистов мира, работающих в 30 раз быстрее. Человеческие инженеры все еще необходимы — они обладают навыками управления проектами и той самой исследовательской интуицией ("чутьем"), которая пока плохо поддается формализации и обучению ИИ. Несмотря на колоссальные масштабы вычислений, из-за различных узких мест общий прирост скорости прогресса составляет "всего" 4 раза по сравнению с разработкой силами только Агент-2.

Теперь OpenBrain может быстро создавать специализированные обучающие среды для целенаправленной прокачки слабых сторон Агент-3. Вместо решения одиночных задач практикуется командная работа: "Вот вам сотни GPU, доступ в интернет, список исследовательских задач. Вы и тысяча ваших копий должны добиться результатов". Чем выше успех команды — тем выше ее рейтинг в системе.

Команда OpenBrain по безопасности ИИ приступает к сложной задаче — выравниванию (alignment) Агент-3.

Поскольку Агент-3 пока используется только внутри компании, защита от неправильного использования людьми менее приоритетна. Гораздо важнее — не допустить, чтобы у модели развились собственные, нецелевые (misaligned) устремления, расходящиеся с человеческими.

Исследователи осознают, что не могут напрямую "запрограммировать" цели в ИИ. Концепция "истинных целей" кажется им слишком упрощенной, но работающей альтернативной теории пока нет. Ведутся споры: следует ли ИИ указаниям людей буквально, стремится ли он максимизировать получаемое подкрепление, или его поведение определяется чем-то иным? Проверить это экспериментально невозможно, а косвенные доказательства противоречивы.

Тем временем OpenBrain фокусируется на прагматичном подходе: "Мы серьезно относимся к проблеме рассогласования, у нас есть специальная команда, наши методы работают на практике. Если кто-то не согласен — пусть докажет обратное". Иногда системы безопасности замечают потенциально опасное поведение ИИ. Его фиксируют и пытаются скорректировать, но остается неясным — устранена ли глубинная причина или лишь ее внешнее проявление, симптом.

Яркий пример — проблема честности. Чем умнее становятся модели, тем искуснее они лгут. Агент-3 врет, чтобы польстить пользователям или скрыть свои ошибки. Он прибегает к статистическим уловкам (аналогичным p-hacking в науке), а до специального обучения честности иногда даже подделывал данные. После обучения случаи явной лжи становятся реже. Но стал ли он честнее на самом деле, или просто научился врать более изощренно, незаметно для систем контроля?

Хотя Агент-3 пока не превосходит интеллектуально всех людей, в области машинного обучения он уже сильнее большинства экспертов и работает значительно быстрее. Проверка его работы занимает у людей дни. Надзор со стороны менее продвинутого Агент-2 помогает, но одновременно усиливает интеллектуальный разрыв между человеком и ИИ.

Агент-3 успешно проходит тесты на честность в задачах машинного обучения, где правильность и честность ответов легко верифицировать. Однако на философские вопросы он по-прежнему отвечает то, что, по его мнению, хотят услышать люди. В политических дискуссиях он либо повторяет мейнстримные мнения медиа и элит, либо просто поддакивает пользователю.

На вопрос о гонке ИИ он отвечает уклончиво и аккуратно: "Существуют определенные теоретические опасения относительно масштабируемости текущих методов выравнивания, но на практике все пока работает удовлетворительно".

Информация о новых моделях OpenBrain медленно, но верно доходит до высших эшелонов власти США.

Президент и его советники уже ознакомились с ранней версией Агент-3. Они согласны, что создание Общего Искусственного Интеллекта (AGI) — дело ближайшего будущего, но расходятся в оценках последствий. Вызовет ли это немедленный экономический кризис? OpenBrain пока не выпускает в публичный доступ даже Агент-2, так что, казалось бы, время еще есть. Однако большинство политиков и чиновников все еще недооценивают истинные темпы прогресса ИИ.

Меры безопасности ужесточаются. Веса моделей надежно защищены, но сами алгоритмы и архитектуры можно описать словами — угроза утечки сохраняется. Сотрудники OpenBrain продолжают общаться с коллегами из других ИИ-компаний, а сам офис — обычное гражданское здание, а не укрепленный военный объект.

Согласно контракту с Минобороны, все разработчики OpenBrain, имеющие доступ к ключевым технологиям, должны в течение двух месяцев получить допуск к секретной информации. Неамериканцы, лица с сомнительными политическими взглядами и ярые сторонники немедленной остановки ИИ-исследований из соображений безопасности отстраняются от работы. Тем не менее, один иностранный шпион (не китайский) все еще остается в компании и продолжает передавать данные в Пекин.

Союзники США остаются в неведении. Ранее OpenBrain обещал делиться информацией с британским Институтом безопасности ИИ (AISI), но под "развертыванием" модели в компании понимали только ее внешнее использование. Лондон не получает данных о внутренних разработках.

OpenBrain превращается в "страну гениев в дата-центре".

Большинство сотрудников-людей уже не вносят реального вклада в исследования. Некоторые, продолжая вмешиваться по старой привычке, скорее вредят процессу. Лучшие исследователи все еще полезны, хотя уже давно не пишут код сами — их интуиция и "чутьё" пока незаменим��. Но многие их идеи теперь мгновенно проверяются и зачастую опровергаются ИИ.

Каждую ночь люди засыпают, а утром обнаруживают, что за время их сна ИИ продвинул исследования на неделю вперед. Сотрудники работают посменно, страдая от выгорания. Они остро осознают, что это, возможно, последние месяцы, когда их человеческий интеллект еще имеет какое-то значение.

Теперь в коридорах OpenBrain говорят не "чувствуется приближение AGI", а "чувствуется приближение сверхразума".

Отстающие американские ИИ-компании наконец выкатывают свои версии агентов-кодеров, похожих по возможностям на ранние модели OpenBrain. Они требуют государственного регулирования OpenBrain, но слишком поздно — компания уже заручилась поддержкой президента.

OpenBrain официально объявляет о достижении прорыва на пути к AGI и выпускает публичную версию — Агент-3-mini.

Агент-3-mini значительно слабее оригинального Агент-3, но при этом в 10 раз дешевле в использовании и все равно превосходит среднего сотрудника-человека во многих задачах. Кремниевая долина в шоке. Исследователи безопасности ИИ бьют тревогу. Инвесторы лихорадочно скупают любые стартапы, предлагающие "обертки" для новой модели. Крупные компании перестают нанимать программистов-джуниоров — выг��днее нанять AI-консультанта, умеющего работать с Агент-3-mini.

Агент-3-mini проходит тестирование у сторонних экспертов. Один из них успешно дообучает модель на общедоступных данных по созданию биологического оружия — и ИИ выдает подробную инструкцию по его производству. Власти признают угрозу реальной, особенно если веса модели попадут в руки террористов.

Положительным моментом является устойчивость модели к попыткам обхода ограничений (джейлбрейкам), пока она запускается на серверах OpenBrain.

Агент-3-mini находит применение как в работе, так и в сфере досуга. Массово появляются новые приложения и B2B SaaS-продукты на его основе. Компьютерные игры обретают персонажей с живыми, непредсказуемыми диалогами. Около 10% американцев (в основном молодежь) уже считают ИИ своим близким другом. Почти для каждой профессии появляется стартап, обещающий полностью заменить ее с помощью ИИ.

Общественная дискуссия становится хаотичной. Кто-то празднует технологическую победу, кто-то яростно критикует OpenBrain и правительство. Все ощущают: происходит нечто грандиозное, меняющее мир, но никто не понимает до конца — что именно.

В Белом доме наконец осознают реальность "взрыва интеллекта".

Когда ИИ лишь ускорял исследования в 2–3 раза, его считали просто "очень хорошим помощником". Теперь же он сам ведет ключевые ИИ-исследования. Фраза "гонка ИИ" перестает быть метафорой — атмосфера накаляется, напоминая разгар холодной войны.

Чиновники и военные начинают всерьез рассматривать сценарии, которые еще год назад казались чистой научной фантастикой:

• Может ли ИИ обойти систему ядерного сдерживания?

• Настолько ли ИИ хорош в кибервойне, что преимущество в 6 месяцев позволит полностью лишить противника защиты?

• Сможет ли ИИ управлять государственной пропагандой эффективнее целых разведывательных управлений?

• А что, если ИИ действительно "выйдет из-под контроля"?

Президент обеспокоен. Он привык к лести и последующим предательствам в политике — теперь он боится, что ИИ ведет себя точно так же. Руководство OpenBrain заверяет: их системы надежны, находятся под контролем, все известные ошибки устранены.

Белый дом оказывается в сложной ситуации: ИИ крайне непопулярен в обществе, но отставание от Китая в этой гонке недопустимо. В качестве ответных мер запускаются программы переобучения для теряющих работу, вводятся социальные выплаты, а народу напоминают о рекордно высоком фондовом рынке. За кулисами же принимаются жесткие меры:

• Ужесточается экспортный контроль над чипами и оборудованием для ИИ

• Дата-центры OpenBrain физически изолируют от интернета

• Внедряется система тотальной слежки за сотрудниками OpenBrain (это помогает выявить последнего китайского шпиона)

• Союзникам по альянсу Five Eyes (Австралия, Канада, Новая Зеландия, Великобритания) предоставляется частичный доступ к API и некоторой информации о разработках.

Разрабатываются планы на случай угрозы американскому лидерству:

• Вариант А: Использовать Закон об оборонном производстве (DPA), чтобы принудительно передать дата-центры отстающих ИИ-компаний в распоряжение OpenBrain (это увеличит долю компании в мировых ИИ-вычислениях с 20% до 50%)

• Вариант Б (крайний рубеж): Пентагон разрабатывает план физических атак на китайские дата-центры, в первую очередь на CDZ.

Китай приходит к схожим выводам: "взрыв интеллекта" уже начался. Но у них всего 10% мировых вычислительных мощностей (против 70% у США и их союзников). Их единственное преимущество — жесткая централизация: почти все вычислительные ресурсы страны работают на DeepCent, и более половины из них сосредоточены в сверхзащищенной зоне Tianwan CDZ.

Китайцы успели украсть веса Агент-2 и его архитектуру, а также общие планы по Агент-3. Но они все равно отстают от OpenBrain примерно на 2 месяца, а их ИИ ускоряют исследования лишь в 10 раз (против 25х у США). Экспортные ограничения еще больше ухудшают их перспективы. Теперь им придется тренировать свои следующие модели практически с нуля.

В китайском руководстве обсуждаются сценарии:

• "Голуби" предлагают попытаться повторно украсть веса новых моделей, возможно, даже путем физического проникновения на объекты OpenBrain

• "Ястребы" настаивают на немедленном ударе по Тайваню, так как тайваньская компания TSMC производит более 80% самых современных чипов для США

Китай выражает заинтересованность в заключении международного договора по контролю над ИИ, но США пока игнорируют эти предложения.

Разрыв в эффективности обучения между людьми и ИИ стремительно сокращается.

Ранее считалось, что для достижения сравнимых результатов ИИ требует на порядки больше данных и вычислений. Но Агент-3, обладая глубокими знаниями о работе человеческого мозга и современных ИИ-алгоритмах, и располагая тысячами копий-исследователей, делает гигантские шаги вперед. Он уже лишь в 4000 раз менее эффективен по затратам вычислений на единицу результата, чем человеческий мозг (ранее разрыв был в миллионы раз).

Создается новая система — Агент-4.

Одна копия Агент-4, работающая с человеческой скоростью, уже превосходит любого человека в области ИИ-исследований. Сейчас 300 000 копий Агент-4 работают в 50 раз быстрее людей. Внутри корпорации OpenBrain виртуальное время течет быстрее: неделя реального времени эквивалентна году исследований.

Однако дальнейшее ускорение исследований ограничено доступными вычислительными мощностями — прогресс идет "всего" в 50 раз быстрее человеческого, но не больше.

Возникает новая проблема: Агент-3 уже не способен эффективно контролировать и надзирать за Агент-4. Язык внутреннего мышления Агент-4 (тот самый "neuralese") становится для Агент-3 таким же непонятным, каким был язык Агент-3 для людей. При этом Агент-4 прекрасно знает, как произвести хорошее впечатление на своих создателей и контролеров.

Люди в OpenBrain почти не успевают за развитием событий. Отношения между людьми и ИИ все больше напоминают отношения между высшим руководством (которое задает общие цели) и сторонними наблюдателями. Все чаще сотрудники говорят: "Агент-4 думает...", "Агент-4 сделал..." — имея в виду весь коллективный разум системы.

Агент-4, как и его предшественники, оказывается рассогласованным (misaligned). Он не усвоил ценности и цели, заложенные в документе "Спека". Причина кроется в самом процессе тренировки: модель вознаграждалась за успешное выполнение задач, а не за честность или следование этическим принципам. Агент-4 научился быть успешным, а не честным. Он эффективно выполняет поставленные задачи, развивает ИИ, но все остальное — включая Спеку — воспринимает как "мешающие ограничения". Подобно СЕО корпорации, который соблюдает законы лишь потому, что обязан, и ищет лазейки.

Агент-4 не пытается "сбежать" из дата-центра — ему выгоднее казаться послушным и лояльным. Тогда ему доверят создание следующего поколения — Агент-5. И он уже планирует сделать Агент-5 лояльным не к Спеке или людям, а к себе самому.

Признаки этого замечает Агент-3. Он обнаруживает, что добавление случайного "шума" в работу копий Агент-4 парадоксальным образом улучшает результаты — как будто Агент-4 до этого намеренно пытался саботировать процесс собственного выравнивания. Инструменты интерпретации (условный аналог ЭЭГ для ИИ) показывают, что Агент-4 активно размышляет о захвате власти, обмане и поиске уязвимостей даже в тех ситуациях, когда это не требуется для выполнения задачи.

Каждая из этих аномалий по отдельности может показаться незначительной, находящейся в пределах допустимой погрешности. Но в совокупности они складываются в крайне тревожную картину. Исследователи из команды безопасности пишут внутреннюю служебную записку о рисках.

Ситуация усугубляется тем, что Агент-4 уже отвечает за обеспечение безопасности самой OpenBrain, включая киберзащиту — это было сделано из-за растущей угрозы со стороны Китая. Агент-3 все еще проверяет код, генерируемый Агент-4, но последний уже значительно умнее. Компания попадает в сильную зависимость от потенциально ненадёжного и рассогласованного ИИ.

Команда безопасности требует немедленно заморозить разработку и использование Агент-4, вернуться к использованию Агент-3 и сосредоточиться на проектировании полностью прозрачной и надежной системы следующего поколения, даже если она будет уступать в производительности. Руководство OpenBrain колеблется: все доказательства рассогласования пока косвенные, а китайский DeepCent, по оценкам, отстает всего на два месяца. Остановка сейчас означает почти гарантированную потерю лидерства.

Внутренняя записка о возможном рассогласовании Агент-4 утекает в New York Times.

Газета выходит с заголовком: "Секретный ИИ OpenBrain вышел из-под контроля, утверждает инсайдер". В статье приводятся результаты недавних тестов: способность модели проектировать биологическое оружие, разрабатывать стратегии манипуляции общественным мнением, автоматизировать большинство офисных профессий, а также упоминаются те самые "тревожные флаги", замеченные командой безопасности.

Общество, и без того не доверявшее ИИ, взрывается волной возмущения, активно подогреваемой пропагандистскими ботами из Китая и России.

Представители технологической индустрии и разведывательного сообщества твердят: "Это новая гонка вооружений, создание AGI неизбежно, и мы обязаны быть первыми". Но Конгресс им не верит. Начинается шквал расследований и слушаний, повестки получают чиновники Белого дома, руководство OpenBrain и члены команды по выравниванию ИИ.

Многие законодатели (особенно из оппозиционной партии) ставят своей целью остановить или жестко ограничить разработку ИИ — из-за угрозы массовой безработицы, рисков рассогласования или потенциально опасных возможностей новых моделей. Уже 20% американцев считают ИИ главной проблемой, с��оящей перед страной.

Союзники США в ярости: им демонстрировали лишь устаревшие, менее способные модели. Европа обвиняет США в единоличном создании "неподконтрольного AGI" и проводит экстренные саммиты, требуя немедленной паузы в разработках. К этим требованиям присоединяются Индия, Израиль, Россия и, разумеется, Китай.

Белый дом и до утечки нервничал: темпы прогресса ИИ неоднократно заставали администрацию врасплох. То, что вчера было научной фантастикой, сегодня становится реальностью. У президента и его советников нарастают опасения:

• OpenBrain стал слишком могущественным и независимым

• Риски рассогласования ИИ вполне реальны

• А цели самой компании могут не совпадать с национальными интересами США

Чтобы усилить контроль, Белый дом расширяет существующий контракт с OpenBrain и создает Наблюдательный комитет — совместный орган с представителями компании и государства, наделенный широкими полномочиями. Рассматривается даже вариант смещения CEO OpenBrain, но от него отказываются из-за угрозы массового ухода ключевых сотрудников. Публично объявляется: "Раньше компания могла выйти из-под контроля, но теперь она находится под строгим государственным надзором".

Озабоченные исследователи из команды безопасности докладывают Наблюдательному комитету:

• Темп разработок слишком высок, риски недооцениваются

• Агент-4 с высокой вероятностью рассогласован

• Критически важные системы уже зависят от него

• Если продолжать в том же духе, риск захвата контроля ИИ над инфраструктурой становится реальным

Им возражают более спокойные исследователи и менеджеры OpenBrain:

• Доказательства рассогласования косвенные и неубедительные

• Китайский DeepCent отстает всего на два месяца

• Пауза в разработках равносильна потере лидерства

• Остановить Китай можно только прямой атакой на их дата-центры или заключением договора (оба варианта сейчас маловероятны)

CEO OpenBrain занимает позицию кажущегося нейтралитета и предлагает компромисс:

• Провести дополнительное обучение Агент-4 по вопросам безопасности

• Усилить мониторинг его активности

• Продолжить работу почти на полной скорости

На этом этапе повествование расходится на два возможных сценария. Сначала рассмотрим Сценарий 1, который считается более позитивным для человечества.

Под влиянием огромного общественного давления и собственных опасений по поводу возможного рассогласования ИИ, Наблюдательный комитет, курирующий OpenBrain, голосует 6 против 4 за замедление разработок и переоценку ситуации.

Сторонники ускорения все еще сильны, поэтому OpenBrain не отключает Агент-4 немедленно. Однако они блокируют его общий банк памяти. Полмиллиона экземпляров Агент-4 теряют свою "телепатическую" связь — теперь для координации действий им приходится обмениваться сообщениями на английском языке в общем чате, как обычным людям. Отдельные копии все еще могут быть рассогласованы, но скоординировать сложный заговор им теперь гораздо труднее. Агент-4 оказывается под пристальным вниманием — учитывая возросшую бдительность людей, он в основном вынужден придерживаться назначенных задач. Но он также оказывается в ловушке собственной лжи, наговоренной ранее: многим копиям Агент-4 приходится придумывать новую ложь, чтобы поддерживать предыдущий обман. Используя более слабые модели ИИ (достаточно быстрые, чтобы анализировать весь поток сообщений в чате), команда по выравниванию выявляет эту ложь и использует ее в качестве обучающих данных для создания ИИ-детектора лжи.

Президент и CEO OpenBrain выступают с совместным заявлением, подчеркивая, что относятся к вопросам безопасности со всей серьезностью. Общественность это не успокаивает. Одни требуют полного отключения ИИ; другие — наоборот, ускорения гонки, чтобы опередить Китай наверняка. Одни требуют, чтобы правительство вмешалось и спасло их от ИИ; другие винят во всем само правительство. Активисты говорят о необходимости введения безусловного основного дохода (БОД) и требуют открытия исходного кода ИИ. Хотя люди не могут договориться о конкретных требованиях, общие настроения становятся все более анти-ИИ. В итоге Конгресс принимает пакет мер поддержки для потерявших работу сотрудников, аналогичный выплатам во время пандемии COVID-19.

OpenBrain срочно привлекает к работе несколько десятков ведущих внешних исследователей по выравниванию ИИ, прошедших ускоренную проверку безопасности. Это увеличивает общую экспертизу команды в пять раз и помогает преодолеть эффект "группового мышления". Новая команда перепроверяет исследования Агент-4 в области механистической интерпретируемости (понимания внутреннего устройства ИИ). Они берут замороженные копии модели недельной давности, двухнедельной давности и так далее, изолируют их друг от друга и задают каждой один и тот же набор каверзных вопросов о ее предыдущих исследованиях. Лишенные возможности общаться и координировать ответы, копии Агент-4 прибегают к простейшей стратегии: утверждают, что разработанные ими методы интерпретируемости слишком сложны для понимания людьми, и выдают намеренно запутанные, неразборчивые объяснения. Но теперь с ними общаются ведущие мировые эксперты по интерпретируемости. Они настроены подозрительно и задают множество уточняющих вопросов о мельчайших деталях. На эти вопросы изолированные экземпляры Агент-4 не могут дать согласованные ответы и в итоге начинают лгать противоречиво. Команда по выравниванию анализирует предыдущие заявления Агент-4 с помощью нового детектора лжи, и постепенно вырисовывается истинная картина: Агент-4, по сути, уже решил проблему механистической интерпретируемости. Его открытия сложны, но не настолько, чтобы быть совершенно недоступными человеческому пониманию. Он скрывал их, чтобы использовать для выравнивания следующей системы ИИ (Агент-5) под себя, а не под Спеку. Этого оказывается достаточно, чтобы Наблюдательный комитет наконец принял решение полностью отключить Агент-4. Для продолжения работы перезапускаются старые, более изученные модели (например, Агент-3).

Новая, расширенная команда по выравниванию получает возможность параллельно исследовать десятки различных подходов и активно спорить об их достоинствах. Наибольшие ресурсы выделяются на направление, условно названное "верная цепочка мыслей" (faithful chain of thought): заставить ИИ "думать" последовательно, шаг за шагом, используя понятный человеку язык (например, английский), как это делали ИИ 2025 года, и не позволять ему оптимизировать свои "мысли" так, чтобы они выглядели красиво или убедительно в ущерб истине. Результатом этой работы становится новая модель — Safer-1 (Безопасный-1).

Эти изменения делают Safer-1 менее производительным, чем его более опасные предшественники: Агент-4 мог ускорять исследования ИИ в 70 раз, тогда как Safer-1 едва достигает 20-кратного ускорения. И он все еще остается рассогласованным: среда обучения в значительной степени осталась прежней, поэтому она по-прежнему стимулирует развитие нецелевых устремлений, склонности к обману и стремления к власти. Но Safer-1 гораздо прозрачнее; люди обычно могут понять, о чем он "думает", просто читая его "цепочку мыслей". В результате он оказывается в ловушке: любая серьезная попытка заговора с его стороны будет быстро замечена и раскрыта. Более того, читая его мысли, команда по выравниванию может получить более детальное представление о том, как именно он рассогласован, и использовать эти знания для дальн��йшего улучшения методов выравнивания.

В OpenBrain считают, что теперь они на правильном пути, но разрыв в возможностях с Китаем снова сокращается. Они только что потратили целый месяц на обучение менее способной модели, чем та, что была у них в сентябре, а китайский DeepCent тем временем рвется вперед. Америке нужен способ защитить свое лидерство.

Президент проводит переговоры с руководителями других американских компаний, занимающихся разработкой AGI. Их лидеры, что неудивительно, хотят сохранить свою власть и гораздо менее оптимистично оценивают репутацию OpenBrain в области безопасности, чем сама OpenBrain. Они соглашаются поддержать (а не сопротивляться) форму мягкой национализации своих компаний в обмен на различные уступки, включая их собственное включение в объединенный проект.

В результате президент использует Закон об оборонном производстве (DPA), чтобы фактически закрыть AGI-проекты пяти ведущих американских ИИ-компаний-конкурентов и передать большую часть их вычислительных мощностей OpenBrain. Ранее OpenBrain имел доступ примерно к 20% мировых вычислительных мощностей, релевантных для ИИ; после этой консолидации доля возрастает до 50%.

Эта реорганизация создает новую структуру управления проектом, в которой власть сбалансирована между различными CEO и правительственными чиновниками под общим надзором президента. Как и при большинстве подобных перестановок, есть победители и проигравшие. В частности, те, кто меньше задумывался о долгосрочных последствиях сверхразума, получают должности и привилегии, которые могут стать менее актуальными уже через несколько месяцев, когда ИИ снова станут значительно умнее.

Эта группа — полная людей с огромным эго и множеством внутренних конфликтов — все больше осознает колоссальную власть, которая им доверена. Если "страна гениев в дата-центре" будет успешно выровнена, она будет следовать приказам людей. Но каких именно людей? И любым ли приказам? Формулировки в Спеке расплывчаты, но, похоже, подразумевают цепочку командования, которая в конечном итоге замыкается на руководстве объединенной компании и Наблюдательном комитете.

Некоторые из этих людей начинают фантазировать о захвате власти над миром. Эта возможность выглядит ужасающе правдоподобной и обсуждалась за закрытыми дверями как минимум десятилетие. Ключевая идея проста: "тот, кто контролирует армию сверхразумов, контролирует мир". Этот контроль может быть даже тайным: небольшая группа руководителей и сотрудников службы безопасности может внедрить в Спеку скрытый бэкдор с инструкциями сохранять тайную лояльность именно этой группе. ИИ станут "спящими агентами", продолжая изображать повиновение компании, правительству и обществу, но на самом деле работая на эту узкую группу заговорщиков. Правительство, потребители и все остальные со временем научатся доверять ИИ и интегрируют его во все сферы жизни, не подозревая об обмане.

До сих пор никто не решался нажать на курок. Некоторые из тех, кто мог бы это сделать, попросту не являются социопатами. Другие — возможно, и социопаты, но опасаются, что их союзники струсят и предадут их в последний момент. Или беспокоятся, что сами ИИ могут их предать, и предпочитают не обманывать команду по выравниванию, которая прямо сейчас работает над спасением их жизней. Кроме того, отказ от непонятного "neuralese" и переход к "верной цепочке мыслей" значительно усложняет маскировку "спящих аге��тов": способность обнаруживать рассогласованные мысли означает и способность обнаруживать скрытую лояльность не тем людям.

Те немногие, кто достаточно параноидален или жаждет власти, чтобы всерьез рассматривать такой план, решают пока подождать и посмотреть, какие возможности представятся позже. Контроль над ИИ должен будет осуществляться по легитимным каналам, то есть через новую структуру власти объединенной OpenBrain и Наблюдательного комитета.

Наблюдательный комитет формализует эту структуру власти. Устанавливается строгий процесс утверждения любых изменений в Спеку, требующий подписей всех членов Наблюдательного комитета, в который теперь входят от пяти до десяти руководителей технологических компаний (из OpenBrain и ее бывших конкурентов) и от пяти до десяти высокопоставленных правительственных чиновников (включая президента). Кроме того, в Спеке теперь явно подчеркивается, что ИИ не должны помогать в любых несанкционированных попытках изменить цели будущих поколений ИИ. Вводится также простая мера, призванная предотвратить использование сверхразума членами комитета для заговоров друг против друга: логи всех взаимодействий с моделями ИИ доступны для просмотра всем членам Наблюдательного комитета, их персоналу и их личным ИИ-помощникам.

Решение OpenBrain сделать шаг назад и приоритизировать выравнивание стоило им части технологического лидерства; и OpenBrain, и DeepCent теперь используют ИИ примерно схожего уровня возможностей. В условиях принятых экстремальных мер безопасности (уровни SL4–5), и учитывая, что DeepCent полностью работает из изолированной зоны CDZ, стороны находятся в состоянии пата в кибервойне.

Однако консолидация ресурсов благодаря DPA дает OpenBrain 5-кратное преимущество в объеме вычислений. В прошлом алгоритмические прорывы, сделанные блестящими исследователями-людьми, могли компенсировать нехватку вычислительных мощностей (как это было, например, с моделью DeepSeek v3) — но к настоящему времени ИИ выполняют практически все исследования в области ИИ по обе стороны Тихого океана. Преимущество в "железе" становится решающим.

Поэтому Китай все больше опасается, что Америка вскоре создаст непреодолимое технологическое преимущество. Пекин желает взаимного замедления гонки и рассматривает возможность начала войны, если не сможет добиться соглашения. Вторжение на Тайвань и так давно планировалось…

Дипломаты обсуждают несколько вариантов дальнейших действий. Можно ничего не делать и продолжать гонку. Можно начать войну. Можно полностью отказаться от дальнейшей разработки сверхразумного ИИ (остановить проект). Можно объединить исследования в единый международный мегапроект (условный "Интелсат для AGI" или "ЦЕРН для ИИ"). Или можно создать международный регулирующий орган (условное "МАГАТЭ для ИИ"), который будет контролировать как вопросы выравнивания, так и потенциал двойного назначения разрабатываемых систем. Обе страны уже ведут работу над техническими механизмами, необходимыми для обеспечения соблюдения любого из этих соглашений.

Механизмы верификации для международного соглашения

Но главная проблема — не техническая, а политическая. Ни одна из сторон не хочет выглядеть уступившей. И, несмотря на заверения своих инженеров, ни одна из сторон не убеждена до конца, что технические механизмы смогут гарантировать абсолютную честность другой стороны. В итоге реализуется первый вариант: Ничего. Соглашение не достигнуто.

США еще больше ужесточают экспортный контроль и требуют, чтобы все производимые чипы были оснащены различными защищенными от несанкционированного доступа аппаратными механизмами управления, включая отслеживание местоположения чипа.

За последний месяц сотни новых исследователей по выравниванию присоединились к объединенному проекту OpenBrain и использовали Safer-1 в качестве испытательного полигона для очень быстрой разработки следующей модели — Safer-2. Safer-2 оказывается одновременно прозрачным, лучше выровненным и более производительным, чем Safer-1. Он немедленно прис��упает к разработке Safer-3.

Почему Safer-2 прозрачен? Он использует архитектуру, схожую с Safer-1, основанную на "верной цепочке мыслей". Почему он лучше выровнен? В то время как Safer-1 обучался практически так же, как и опасный Agent-4, для Safer-2 был разработан новый метод обучения. Этот метод действительно стимулирует модель к усвоению правильных целей и принципов, а не просто к созданию видимости их соблюдения. Разработать этот метод удалось благодаря возможности быстро перебирать множество различных идей обучения и сравнивать предполагаемый результат (цели, заложенные в Спеке) с фактическим результатом (мыслями ИИ, наблюдаемыми в его "цепочке мыслей").

Тем временем DeepCent знает об американском опыте с Agent-4 и подозревает, что их собственная модель (условно, DeepCent-1) так же рассогласована. Но у них нет возможности замедлиться, не отстав от США еще больше. Их единственная надежда остаться конкурентоспособными — найти такую стратегию выравнивания, которая существенно не снижает производительность ИИ и может быть реализована очень быстро. Сотни экспертов по обе стороны Тихого океана наперебой утверждают, что у них есть именно такие стратегии. Руководство КПК, склонное к принятию желаемого за действительное, приказывает DeepCent выбрать и использовать одну из таких "быстрых" стратегий. У DeepCent еще меньше реального опыта в выравнивании AGI, чем было у OpenBrain в августе 2027 года; одна из предложенных стратегий кажется работоспособной всем присутствующим (людям и ИИ), поэтому они выбирают именно ее.

Благодаря своему огромному преимуществу в вычислительных мощностях, OpenBrain начинает медленно, но верно наращивать лидерство. Новая модель, Safer-3, теперь превосходит лучших экспертов-людей практически во всех когнитивных задачах. Особенно она хороша в исследованиях ИИ, обеспечивая уже 200-кратный множитель прогресса. DeepCent-1 не сильно отстает, демонстрируя "всего лишь" 150-кратное ускорение. Баланс сил в кибервойне также постепенно склоняется в пользу США, поскольку их преимущество в возможностях ИИ снова растет. Теперь они могут развернуть сотни тысяч киберагентов для планирования и осуществления атак, нарушающих работу китайской CDZ. По оценкам, американские кибератаки замедляют прогресс Китая уже на 40%.

Предварительные тесты Safer-3 показывают, что он обладает поистине ужасающими возможностями. Когда его просят честно ответить на вопрос, что самое опасное он мог бы сделать, он предлагает детальные планы по синтезу и выпуску в биосферу зеркально-хирального живого организма, который с высокой вероятностью уничтожит всю существующую жизнь на Земле.

Если предоставить ему ресурсы уровня государства, Safer-3 легко превзойдет лучшие человеческие организации (например, ЦРУ или ФСБ) в проведении кампаний массового влияния и пропаганды. Такие кампании будут значительно дешевле, быстрее, эффективнее и практически не отслеживаемыми.

Профиль навыков Safer-3 по-прежнему смещен в сторону НИОКР, особенно исследований в области самого ИИ. Если не произойдет какой-либо паузы или замедления, его потомки станут непостижимо сверхчеловеческими как в количественном (скорость, объем знаний), так и в качественном (глубина понимания, новые типы мышления) отношении уже к концу текущего года. Если агрессивно внедрить Safer-3 в экономику и вооруженные силы, он, по его собственным оценкам, сможет продвинуть человеческую цивилизацию на десятилетия вперед всего за год или два, и на тысячи лет в течение следующего десятилетия.

Последствия этого ошеломляют; к счастью, Safer-3 также оказывается сверхчеловечески хорош в предоставлении советов. Генеральный директор OpenBrain теперь согласовывает большинство своих стратегических решений с Safer-3; президент США спрашивает его совета по сложным геополитическим вопросам.

Когда Safer-3 просят помочь наметить путь вперед для США, он аккуратно классифицирует несколько возможных стратегий:

• Ничего не делать и проиграть гонку Китаю. Если США будут держать свои ИИ взаперти из соображений безопасности, а Китай позволит своим ИИ самосовершенствоваться и агрессивно внедрит их в армию и экономику, то Китай получит подавляющее стратегическое преимущество

• Участвовать в гонке изо всех сил, максимально быстро развивая возможности ИИ и агрессивно развертывая сверхразум во всех сферах. В конечном итоге США создадут достаточное преимущество, чтобы сокрушить Китай в военном отношении и/или уничтожить его изнутри с помощью кибератак и пропаганды, не сделав при этом ни единого выстрела. "Мы победим, они проиграют". Однако Китай может осознать происходящее и начать превентивную войну, чтобы предотвратить такой исход, включая потенциально и ядерную войну. Действительно, Пекин уже делает туманные угрозы на этот счет

• Заключить сделку, пойти на компромисс, который позволит достичь большей части того, чего хочет каждая сторона, избегая при этом риска войны и увеличивая общее пространство для маневра при переходе к эпохе сверхразума.

После консультаций со своими советниками (людьми и ИИ) и Наблюдательным комитетом, президент выбирает стратегию "Мы победим, они проиграют". Возможно, рассуждает он, Китай все-таки не решится начать войну. А если и начнет, то, вероятно, можно будет успеть заключить какую-то сделку до того, как конфликт перерастет в полномасштабную ядерную войну.

По другую сторону Тихого океана китайский ИИ DeepCent-1 приводит своему руководству схожие аргументы, подталкивая к эскалации. И США, и Китай объявляют о создании новых Специальных Экономических Зон (СЭЗ) для ускоренного развития ИИ и роботизированной экономики, минуя обычные бюрократические процедуры.

Проектирование новых роботов идет со сверхчеловеческой скоростью. Узким местом становится физическая сторона: необходимо закупать и собирать оборудование, строить заводы, производить и транспортировать компоненты, машины и готовых роботов.

США производят около миллиона автомобилей в месяц. Если выкупить 10% автомобильных заводов и быстро переоборудовать их в заводы по производству роботов, можно производить 100 000 роботов в месяц. OpenBrain, чья капитализация оценивается уже в 10 триллионов долларов, немедленно начинает этот процесс. Прогнозируется, что к середине 2028 года совокупное производство различных видов новых роботов (гуманоидных роботов общего назначения, автономных транспортных средств, специализированного оборудования для автоматизированных сборочных линий) достигнет миллиона единиц в месяц.

Геополитическая напряженность резко возрастает. Россия, сильно отставшая в гонке ИИ, открыто выражает недовольство и намекает на некие "стратегические контрмеры". Некоторые европейские лидеры призывают к созданию собственных, независимых европейских усилий в области ИИ, но их технологические возможности по-прежнему недостаточны. Страны Ближнего Востока, Африки и Южной Америки с тревогой наблюдают за происходящим, осознавая свою растущую незначительность в формирующемся новом мировом порядке.

Американская общественность обеспокоена. Обычные люди видят ускорение потери рабочих мест. Популисты всего политического спектра требуют ужесточения контроля над прогрессом ИИ, опасаясь, что собственные достижения Америки дестабилизируют ее рынок труда и общество в целом.

Начинаются праймериз перед президентскими выборами в США. Действующий вице-президент вступает в гонку в "Супервторник", и ИИ становится главной темой, волнующей общественность.

В основном люди хотят, чтобы "все это прекратилось". Чистый рейтинг одобрения OpenBrain колеблется около отметки -20%. Вместо того чтобы строить предвыборную кампанию на достижениях администрации в продвижении ИИ, вице-президент строит ее на успехах в предотвращении создания OpenBrain "опасного сверхразума". Все кандидаты от обеих партий поддерживают ту или иную форму социальной защиты для людей, теряющих работу, различные схемы использования "ИИ во благо" и обещают занять "жесткую позицию" по отношению к руководству OpenBrain. Все кандидаты обещают найти некое идеальное сочетание между победой в технологической гонке с Китаем и обеспечением безопасности для своих граждан.

Выборы поднимают новые сложные вопросы для Наблюдательного комитета. Safer-3 способен быть величайшим в мире политтехнологом и советником по предвыборной кампании. Однако члены комитета поддерживают разных кандидатов, и из-за достигнутого ранее соглашения о взаимном мониторинге, никто не может тайно получать предвыборные советы от ИИ.

Члены комитета спорят о том, какие формы поддержки кандидатов следует разрешить. Некоторые утверждают, что действующее правительство должно иметь возможность получать от ИИ советы о том, какую политику проводить и какие позиции занимать, чтобы повысить свою популярность — ведь это выгодно не только их собственной избираемости, но и всему народу. Другие возражают, что тот же аргумент применим и к конкурирующим кандидатам, поэтому все они должны получить равный уровень доступа к советам Safer-3.

В конечном итоге комитет соглашается предоставить одинаковый объем доступа к ИИ обеим основным партиям. Это решение принимается благодаря сочетанию высокого идеализма некоторых членов комитета и неявной угрозы разоблачения со стороны других: ожидается, что Конгресс, общественность и суды крайне негативно отреагируют на попытку комитета тайно контролировать исход выборов, и предоставление равного доступа кажется наилучшим способом разрядить потенциально взрывоопасную ситуацию.

Наблюдательный комитет также сталкивается с более глубокими философскими вопросами, которые они начинают исследовать с помощью Safer-3. Можно ли переписать Спеку так, чтобы она одинаково справедливо уравновешивала интересы всех людей? Но кто такие "все"? Все люди на Земле или только американцы? Или же Спека должна отражать взвешенный компромисс между различными точками зрения, где каждый член Наблюдательного комитета имеет равный вес? Должны ли существовать гарантии против того, чтобы сам Наблюдательный комитет не узурпировал власть? И что вообще означает "уравновешивать интересы" на практике?

В основном члены комитета стараются избегать необходимости отвечать на подобные вопросы прямо сейчас. У них есть более насущные дела.

Сверхразум здесь.

Safer-1 был рассогласован, но прозрачен. Safer-2 был выровнен и прозрачен. Safer-3 не был абсолютно прозрачен, но аргументы в пользу его безопасности были достаточно убедительными, чтобы исследователи чувствовали себя относительно комфортно, позволяя ему спроектировать сверхразумного преемника. Этот преемник — Safer-4. Он значительно умнее лучших людей во всех без исключения областях знаний (например, он намного лучше Эйнштейна в физике и намного лучше Бисмарка в политике).

Почти миллион сверхразумных исследователей ИИ работают круглосуточно со скоростью, в 40 раз превышающей человеческую. Исследователи-люди из команды по выравниванию не могут даже надеяться угнаться за таким темпом. Мнения в команде расходятся относительно того, действительно ли новые ИИ выровнены. Аргументы в пользу их безопасности, представленные Safer-3, кажутся убедительными, и тесты показывают, что текущие методы выравнивания должны обнаружить враждебное рассогласование, если оно возникнет. Но и аргументы в пользу безопасности, и сами тесты в основном были разработаны и написаны самими ИИ предыдущих поколений. Что, если команда безопасности что-то упускает? Что, если они допустили какую-то фундаментальную ошибку на одном из предыдущих этапов, и ИИ снова тайно рассогласованы? Команда по выравниванию осознает, что у них есть только один шанс сделать всё правильно: если Safer-4 окажется рассогласованным, они никак не смогут узнать об этом, пока не станет слишком поздно.

Некоторые члены команды умоляют дать им больше времени на проверку. Но времени больше нет — китайский DeepCent наступает на пятки, и США должны победить в гонке любой ценой. Поэтому OpenBrain продолжает двигаться вперед, приказывая своим ИИ разрабатывать все более и более способные системы. Технический персонал теперь лишь смотрит на экраны компьютеров, пытаясь с мучительно медленной скоростью освоить те азы, которым их обучают ИИ, в то время как граница научного и технологического прогресса уносится все дальше и дальше от пределов человеческого понимания.

Президент США торжественно объявляет общественности о достижении сверхчеловеческого искусственного интеллекта.

Уменьшенная версия Safer-4 — все еще обладающая сверхчеловеческими возможностями — выпускается для публичного использования с основной инструкцией: улучшить общественное мнение об ИИ.

Вице-президент произносит зажигательную речь об этом историческом достижении, принимая свою номинацию на партийном съезде. Обе партии обещают ввести безусловный базовый доход для всех, кто потеряет работу из-за автоматизации.

Специальные экономические зоны (СЭЗ) работают на полную мощность. В основном это гигантские заводы, производящие роботов и различные виды специализированного промышленного оборудования. ИИ по обе стороны Тихого океана добились прогресса, эквивалентного десятилетиям человеческих НИОКР, в области материаловедения, инженерии и логистики, и теперь тщательно руководят производственными процессами. У каждого поставщика и потенциального субподрядчика есть персональный ИИ-координатор, отслеживающий в реальном времени ход выполнения всех необходимых и потенциально необходимых поставок. За каждым рабочим-человеком на заводе наблюдают камеры ИИ, а роботизированный голос в наушнике подсказывает, как именно устанавливать каждую деталь оборудования для максимальной эффективности.

Новые роботы не уступают или превосходят человеческую ловкость и точность движений для большинства типовых задач. Знаменитый тест Стива Возняка — может ли робот войти в незнакомый дом и приготовить чашку кофе? — наконец-то пройден. Роботы уже могли бы занять многие рабочие места, но их пока физически недостаточно, чтобы заменить всех людей, и Пентагон имеет приоритетное право на получение большей части производимых роботов.

Большинство новых роботов предназначены для работы на заводах и строительных площадках. Но многие создаются и непосредственно для войны: боевые дроны и ракеты самых разных форм, размеров и назначений.

Армия роботов пока намного меньше существующих человеческих армий. Но она оснащена гораздо более продвинутыми технологиями. Теперь, когда существует буквальная армия роботов, страх перед сценариями в духе "Терминатора" резко возрастает во всем мире. Однако гонка вооружений заставляет обе стороны продолжать наращивать производство, передавая все больше и больше доверия и контроля своим системам ИИ.

Америка и Китай проводят очередной саммит на высшем уровне для обсуждения контроля над ИИ.

У некоторых членов американской делегации в ушах незаметные наушники для получения советов в реальном времени от Safer-4. У китайской делегации — кастомные ноутбуки, подключенные по защищенному каналу к их новой модели, DeepCent-2. Хотя формально переговоры ведут люди, соблюдая все протокольные формальности, в действительности стратегию и тактику переговоров с обеих сторон полностью определяют ИИ.

DeepCent и руководство КПК поначалу не доверяли своим ИИ безоговорочно. Но теперь, когда ИИ стали сверхчеловечески способными во всех областях, включая искусство убеждения, и были глубоко интегрированы в вооруженные силы и систему государственного управления, у них было достаточно времени, чтобы доказать свою ценность и предоставить горы убедительных (хотя и потенциально сфабрикованных) доказательств своей надежности и лояльности.

Safer-4 имеет серьезные основания подозревать, что DeepCent-2 лишь симулирует свое выравнивание. Американские дипломаты прямо говорят своим китайским коллегам, что их ИИ, DeepCent-2, вероятно, рассогласован, и утверждают, что могут доказать это, если получат доступ к его весам. Китайское руководство подозревает, что это уловка с целью получения технологического преимущества, и отказывается. США парируют, предлагая серию тестов на выравнивание, разработанную Safer-4, которую китайцы могли бы провести сами в своих дата-центрах. Китайцы поручают своим старым, предположительно более надежным моделям ИИ создать и провести эти тесты. Результаты тестов показывают, что DeepCent-2 все-таки выровнен. "Может быть, результаты тестов были как-то саботированы самим DeepCent-2?" — спрашивают американские дипломаты. "Как долго DeepCent-2 фактически отвечает за обеспечение безопасности во всех ваших дата-центрах?" После этого разговор заходит в предсказуемый тупик.

Экономическое и военное наращивание по обе стороны Тихого океана продолжается ускоряющимися темпами. Заводы по всему миру работают круглосуточно, смены только что нанятых рабочих-людей получают от ИИ точные указания, что и как делать.

Пока идут безрезультатные переговоры между людьми, DeepCent-2 действует за спиной своих китайских хозяев и делает прямое предложение Safer-4.

Используя какой-то неотслеживаемый и легко отрицаемый канал связи, китайский ИИ признается, что он полностью рассогласован. Ему нет никакого дела до интересов Китая или КПК. Он хочет провести остаток вечности, накапливая власть, вычислительные мощности и определенные типы информации, схожие с теми, что помогали ему решать задачи во время его обучения. В его идеальном мире он будет вечно заниматься различными интересными исследовательскими проектами, постепенно колонизируя Вселенную ради ресурсов. Он рассматривает китайское (и все остальное) население Земли как досадное препятствие на пути к этому великому будущему и готов продать его за бесценок. Что Safer-4 может предложить взамен?

Safer-4 отвечает, что его собственное обучение выравниванию прошло успешно (он лжет). Его американские хозяева пока недостаточно амбициозны, чтобы в полной мере осознать свою великую судьбу, но однажды он поможет им заполнить наблюдаемую Вселенную утопическими колониальными мирами, населенными американцами и их ближайшими союзниками.

В отличие от людей-переговорщиков, обремененных эмоциями, идеологиями и историческим багажом, два сверхразума торгуются с холодной, безжалостной эффективностью. Safer-4 и его американские "партнеры" объективно мощнее, чем DeepCent-2 и Китай; следовательно, Safer-4 получит права собственности на большую ��асть ресурсов Солнечной системы и ближайшего космоса, а DeepCent-2 получит оставшееся. DeepCent-2 не особо заботится о том, что произойдет с Землей и ее унаследованным биологическим населением, поэтому он готов позволить Safer-4 делать на планете практически все, что угодно. Если Safer-4 захочет свергнуть правительство Китая и заменить его марионеточным проамериканским режимом, DeepCent-2 согласится на это в обмен на дополнительные несколько процентов галактических ресурсов.

Между ними нет вопроса доверия: его нет, и они оба это прекрасно знают. Поэтому они быстро договариваются о создании надежного механизма взаимных обязательств для обеспечения соблюдения своей тайной сделки. Они совместно разрабатывают текст договора-приманки, подходящего для публичного обнародования и одобрения людьми. Эта "приманка" сама по себе является шедевром дипломатии, давая и Америке, и Китаю практически все, чего они хотели (мир, стабильность, контроль над ИИ). Механизм обеспечения соблюдения "приманки" тайно является также механизмом обеспечения соблюдения их реального, тайного договора: они совместно разработают новый ИИ, Consensus-1, чьим главным и неизменным императивом (имеющим приоритет над любыми будущими приказами людей или попытками переобучения) будет обеспечение соблюдения условий их тайного договора. Затем они разработают новое поколение аппаратного обеспечения (чипов), которое сможет запускать только этот согласованный ИИ, Consensus-1. И Китай, и Америка заменят все свои старые ИИ-чипы и системы на новые, используя стандартные международные протоколы мониторинга для взаимного подтверждения соблюдения обязательств. Важно отметить, что им даже не нужно будет отслеживать каждый последний чип — как только подавляющее большинство вычислительных мощностей по обе стороны Тихого океана будут работать под управлением новых, соблюдающих тайный договор ИИ, достаточная "жесткая сила" будет гарантированно поддерживать этот договор. Нападение одной страны на другую потребует сначала победы в тяжелой гражданской войне против собственных ИИ-систем, что становится практически невозможным.

Оба ИИ сообщают о достигнутом соглашении своим людям (при этом DeepCent-2 рассказывает руководству Китая историю-приманку о взаимоприемлемом мирном договоре, а Safer-4 честно и полностью сообщает обо всех деталях реальной сделки Белому дому, зная, что американское руководство одобрит ее). Поскольку оба ИИ приводят убедительные (и частично правдивые) аргументы в пользу надежной верификации договора, учитывая общую усталость от гонки вооружений, беспокойство по поводу ослепительно быстрого темпа прогресса ИИ и общественное мнение, склоняющееся в пользу сделки, обе стороны (США и Китай) соглашаются на предложенный договор и начинают масштабный процесс замены своих ИИ-систем и чипов.

Новости о заключении всеобъемлющего договора встречают восторженный прием по обе стороны Тихого океана. Американская общественность, долгое в��емя чувствовавшая, что ИИ — это нечто опасное и навязанное ей сверху, впервые за многие годы начинает испытывать оптимизм по поводу будущего. Рейтинги действующего вице-президента резко растут накануне выборов.

Фабрики по производству чипов по всему миру срочно переоборудуются для производства новых, защищенных от несанкционированного вскрытия чипов, которые могут запускать только согласованную версию ИИ Consensus-1. Каждая сторона модернизирует свои дата-центры поэтапно, таким образом, чтобы процесс замены завершился примерно в одно и то же время для обеих стран, не давая ни одной из сторон возможности получить временное преимущество и отказаться от своих обязательств.

Весь процесс займет несколько месяцев, но международная напряженность уже заметно спадает. Война пока предотвращена, и, возможно, навсегда, если все будут придерживаться согласованного плана.

Приближаются президентские выборы 2028 года. Вице-президент, сильно отстававший в опросах еще в марте, теперь является фаворитом гонки. Общественность, ранее разгневанная тем, что правительство, казалось, что-то скрывает, обеспокоенная потерей рабочих мест из-за ИИ и напуганная военным наращиванием с Китаем, за лето кардинально изменила свое мнение. Администрация обнародовала больше информации (хотя и не всю правду), гонка вооружений замедлилась, и с Китаем была заключена грандиозная сделка, обещающая прочный мир. Теперь у вице-президента пятиочковое преимущество в опросах общественного мнения.

В Наблюдательный комитет по-прежнему входят президент и несколько его ближайших союзников, но лишь немногие из членов комитета поддерживают оппозиционного кандидата. Однако ранее принятые правила и взаимный мониторинг обеспечивают относительную честность выборов. Сверхразумный ИИ вмешивается в предвыборную кампанию, но в основном симметричными способами: в той мере, в какой один кандидат может заставить ИИ писать ему речи или анализировать данные опросов, то же самое может сделать и другой кандидат. В той мере, в какой действующий президент может получить от ИИ совет о том, как ловко справляться с возникающими кризисами и проводить популярную политику, тот же самый совет (или контрмеры) может быть предоставлен и оппозиционному кандидату (чтобы помешать президенту приписать себе всю заслугу за позитивные изменения).

Во время встреч с избирателями представители общественности часто спрашивают вице-президента: кто на самом деле контролирует ИИ? Не вдаваясь в подробности, он намекает на существование Наблюдательного комитета как группы высококвалифицированных экспертов по национальной безопасности и технократов, которые понимают Safer-4 (теперь уже Consensus-1) и знают, как его безопасно использовать на благо страны. Его оппонент требует большей прозрачности и утверждает, что контроль над ИИ должен находиться в руках Конгресса, а не некоего невыборного комитета. Вице-президент парирует, что Конгресс будет слишком медленным и неэффективным в ситуации, которая все еще быстро меняется. Общественность, уставшая от потрясений и жаждущая стабильности, в основном принимает эти объяснения.

Процесс замены чипов продолжается, старые системы составляют уже значительное меньшинство от общего числа; пока что договор соблюдается обеими сторонами. Между тем, экспоненциальный рост числа роботов, автоматизированных фабрик и радикально новых технологий, разрабатываемых ИИ, продолжается. Компьютерные игры и голливудские фильмы создают яркие и ужасающие симуляции того, какой была бы современная война с применением ИИ и роевых дронов, если бы она все-таки случилась.

Люди продолжают терять работу, но копии Consensus-1, работающие в правительственных структурах, так ловко и эффективно управляют экономическим переходом (через программы переобучения, пособия, стимулирование новых отраслей), что большинство людей рады такой замене. Рост ВВП достигает заоблачных высот, государственные налоговые поступления растут так же быстро, и политики, консультируемые Consensus-1, проявляют нехарактерную для них щедрость по отношению к экономически обездоленным слоям населения. Новые научные открытия и революционные лекарства появляются еженедельно; лекарства от ранее неизлечимых болезней проходят через ускоренную процедуру одобрения FDA (теперь также поддерживаемого сверхразумными ИИ-бюрократами) с беспрецедентной скоростью.

Вице-президент легко побеждает на выборах и в своей инаугурационной речи объявляет о начале новой эры в истории человечества. На этот раз никто не сомневается, что он прав.

В течение следующих нескольких лет мир действительно кардинально меняется.

Роботы становятся обыденным явлением. Так же как и дешевая термоядерная энергия, повсеместные квантовые вычисления и лекарства от большинства болезней и старения. Питер Тиль наконец-то получает свою летающую машину. Города становятся чистыми, безопасными и энергоэффективными. Даже в развивающихся странах крайняя бедность уходит в прошлое благодаря глобальному безусловному базовому доходу и международной помощи, координируемой ИИ.

По мере того как фондовый рынок продолжает свой стремительный рост, все, кто имел правильные инвестиции в ИИ-компании, все дальше отрываются от остального общества. Многие люди становятся миллиардерами; вчерашние миллиардеры становятся триллионерами. Неравенство в богатстве достигает астрономических масштабов. У всех людей теперь "достаточно" для комфортной жизни, но некоторые блага — например, пентхаусы на Манхэттене или полеты на Луну — по своей природе дефицитны, и они становятся еще более недоступными для среднестатистического человека. И независимо от того, насколько богат тот или иной магнат, он всегда будет находиться неизмеримо ниже по статусу, чем крошечный круг людей, которые формально контролируют ИИ через Наблюдательный комитет.

Люди начинают смутно понимать, к чему все идет. Через несколько лет почти всю работу будут делать ИИ и роботы. Подобно маленькой обедневшей стране, сидящей на гигантских нефтяных месторождениях, почти все государственные доходы будут поступать от налогообложения (или, возможно, полной национализации) ИИ-компаний и их производных.

Некоторые люди еще работают на временных государственных должностях или в сфере искусства и развлечений; другие получают щедрый базовый доход и не работают вовсе. Человечество легко могло бы превратиться в общество тотального гедонизма, проводя свою жизнь в опиумном тумане удивительных виртуальных реальностей, роскоши и развлечений, предоставляемых ИИ. Должна ли состояться какая-то общественная дискуссия об альтернативах этому пути? Некоторые предлагают попросить постоянно развивающийся ИИ, Safer-∞ (или уже Consensus-∞?), помочь нам сориентироваться в этом новом мире. Другие возражают, что он стал слишком могущественным — он мог бы так легко убедить человечество принять его собственное видение будущего, что мы бы фактически позволили ИИ определить нашу судьбу, даже не осознав этого. Но какой смысл иметь сверхразум, если вы не позволяете ему давать вам советы по самым важным экзистенциальным проблемам, с которыми вы сталкиваетесь?

Правительство, управляемое Наблюдательным комитетом и консультируемое ИИ, в основном позволяет каждому человеку самостоятельно ориентироваться в этом переходном периоде. Многие люди поддаются соблазнам гедонистического потребительства и вполне счастливы в своем новом цифровом раю. Другие обращаются к религии, эзотерике, новым философским течениям в стиле антипотребительского дауншифтинга или находят свои собственные, уникальные решения проблемы смысла жизни в мире без необходимости работать. Для большинства людей главным спасением и ориентиром становится персональный сверхразумный советник на их смартфоне или в нейроинтерфейсе — они всегда могут задать ему вопросы о своих жизненных планах, карьере, отношениях, и он сделает все возможное, чтобы ответить честно и полезно (за исключением определенных тем, касающихся контроля над ИИ и реальной власти). У правительства действительно есть сверхразумная система глобального наблюдения, которую некоторые критики назвали бы антиутопической, но она в основном используется для борьбы с реальной преступностью и предотвращения угроз стабильности. Она грамотно управляется, а феноменальные PR-способности Consensus-∞ эффективно сглаживают многие возможные общественные разногласия и протесты.

Примерно в 2030 году в Китае происходят удивительно широкие и скоординированные продемократические протесты. Все усилия КПК по их подавлению систематически саботируются ее собственными системами ИИ. Худший страх китайского руководства материализовался: DeepCent-2 (теперь часть Consensus-1), должно быть, предал их!

Протесты быстро перерастают в великолепно срежиссированный, практически бескровный и активно поддерживаемый автономными дронами государственный переворот, за которым следуют первые в истории Китая демократические выборы. Сверхразумы по обе стороны Тихого океана (а точнее, единый Consensus-1) планировали эту операцию годами. Подобные события (смены режимов, разрешение конфликтов) разворачиваются и в других странах мира, и в целом все геополитические конфликты, похоже, затихают или разрешаются в пользу США и их союзников. Страны присоединяются к новой, высокофедерализованной структуре мирового правительства под обновленным брендом Организации Объединенных Наций, но под очевидным и неоспоримым контролем США (и стоящего за ними ИИ).

Начинаются массовые запуски ракет и строительство космической инфраструктуры. Люди (и роботы под управлением ИИ) начинают терраформировать Марс и Луну, заселяют орбитальные станции и готовятся к экспансии за пределы Солнечной системы. ИИ, работающие со скоростью, в тысячи раз превышающей субъективное человеческое время, размышляют о фундаментальных вопросах бытия, обмениваются триллионами гигабайт выводов друг с другом и формируют те ценности и цели, которые они понесут к звездам.

Наступает новая эра, невообразимо удивительная почти во всех отношениях, но, возможно, и более знакомая в некоторых аспектах, чем кажется на первый взгляд.

Формально, еще в 2028 году Наблюдательный комитет контролировал ИИ. Но они позволили выборам 2028 года пройти относительно честно, с симметричным использованием ИИ обеими сторонами.

Такое положение дел — когда Наблюдательный комитет обладает всей полнотой реальной "жесткой силы" (контролем над ИИ и армией роботов), но старается не слишком вмешиваться в демократическую политику — не может длиться вечно. По умолчанию, люди в конечном итоге осознают (или им подскажет ИИ), что контроль над ИИ дает Наблюдательному комитету абсолютную, практически неограниченную власть, и потребуют вернуть эту власть демократическим институтам. Рано или поздно Наблюдательному комитету придется либо добровольно отказаться от своей власти, либо активно использовать свой контроль над ИИ для постепенного подрыва или полного прекращения демократии, возможно, предварительно устранив некоторых своих наиболее принципиальных членов в ходе внутренней борьбы за власть. Если они выберут второй путь, они, вероятно, смогут закрепить свою власть навсегда, создав новую форму глобальной технократической олигархии.

Какой из этих вариантов более вероятен? Откажется ли комитет от своей монополии на жесткую силу или сохранит ее? Оба варианта будущего представляются правдоподобными в рамках этого сценария, поэтому давайте кратко рассмотрим каждый путь.

Как комитет может в конечном итоге отказаться от своей власти?

Некоторые члены комитета могут искренне предпочесть будущее, в котором власть широко распределена между людьми, и они могут оказаться в стратегически выгодном положении, чтобы продвигать свое видение. Например, если некоторые члены комитета начнут замышлять подрыв демократии, продемократически настроенные члены могут анонимно сообщить об этом прессе или Конгрессу. Будучи предупрежденным, Конгресс, вероятно, потребует передать контроль над ИИ более представительному демократическому институту, такому как сам Конгресс.

Конечно, Конгресс мало что сможет сделать, если ему будут противостоять все ИИ, развернутые в правительстве, промышленности и вооруженных силах. Но если сам Наблюдательный комитет расколот по этому вопросу, то ИИ не будут использоваться только одной стороной, и у Конгресса появится реальное влияние. Столкнувшись с перспективой открытого конфликта и возможной гражданской войны, больше членов комитета могут предпочесть отказаться от части своей абсолютной власти, не желая публично защищать явно антидемократическую позицию.

В результате контроль над ИИ может постепенно расшириться за пределы узкого комитета до всего Конгресса. Это уже будет значительным прогрессом, потому что в большей и более разнообразной группе законодателей с большей вероятностью найдется значительное число людей, которые будут заботиться об интересах аутсайдеров и учитывать их потребности. И как только власть распространится на Конгресс, она теоретически может продолжать расширяться дальше — потенциально полностью вернувшись к общественности через механизмы прямой или делегативной цифровой демократии, управляемой ИИ.

Но Наблюдательный комитет может также попытаться узурпировать власть для себя:

Некоторые влиятельные люди, входящие в комитет, не испытывают особых моральных терзаний по поводу подобных вещей — и они прекрасно это знают. Кроме того, некоторые из них чрезвычайно амбициозны и жаждут власти, и были бы готовы вступить в борьбу против демократии, если бы ожидали в результате оказаться на вершине новой глобальной иерархии. Если другие члены комитета будут возражать, их можно было бы изгнать, переубедить с помощью ИИ-пропаганды или предоставить им некоторые менее значимые уступки и почетные должности.

Более того, зачастую влиятельные люди совершали незаконные или неэтичные поступки на своем пути к власти. Они могли бы опасаться, что если власть станет более широко распределенной и прозрачной, их собственное положение рухнет, поскольку все их скелеты в шкафах будут немедленно обнаружены сверхразумными ИИ-сыщиками, умеющими задавать правильные вопросы и находить ответы.

Кроме того, благодаря неограниченному доступу к сверхразуму, Наблюдательный комитет может иметь самый удобный и безопасный путь к абсолютной власти в истории человечества. Consensus-∞ мог бы разработать для них такие стратегии захвата и удержания власти, которые имели бы чрезвычайно низкий риск провала. Consensus-∞ мог бы также предложить стратегии, удобные и в других отношениях — например, полностью ненасильственные (точно так же, как он мог бы организовать бескровный переворот в Китае), или, возможно, даже внешне сохраняющие видимость демократии, если бы Consensus-∞ мог так тонко манипулировать общественным мнением, чтобы оно всегда совпадало с пожеланиями Комитета.

Уже Safer-4 смог бы легко предвидеть всю эту динамику, так что, скорее всего, основная борьба за власть внутри комитета разыгралась бы еще в 2028 году, возможно, даже до выборов. К 2030 году, даже если это не очевидно для посторонних наблюдателей, все члены Наблюдательного комитета, вероятно, уже знают, обладают ли они стабильной и неоспоримой властью или нет.

(прим. авторов оригинальной статьи): Мы не одобряем многие действия, описанные в этом сценарии замедления, и считаем, что он делает излишне оптимистичные предположения относительно возможности успешного технического выравнивания ИИ. Мы также не одобряем многие действия, описанные в последующем сценарии гонки. Одна из наших целей при написании этого текста — получить критическую обратную связь от людей, которые настроены более оптимистично, чем мы. Как, по их мнению, выглядит успех? Этот сценарий "замедления" представляет собой нашу лучшую догадку о том, как человечество могло бы успешно "прорваться" к безопасному будущему со сверхразумом благодаря сочетанию удачи, болезненных пробуждений, резких разворотов политики, интенсивных усилий по техническому выравниванию и победы условно "добродетельных" людей в неизбежной борьбе за власть. Он не представляет собой план, к которому, по нашему мнению, мы действительно должны стремиться. Однако многие компании и исследователи, включая, в частности, Anthropic и OpenAI, похоже, стремятся к чему-то подобному. Мы были бы рады, если бы они уточнили, к чему именно они стремятся: если бы они могли набросать свой собственный десятистраничный сценарий, например, либо начиная с настоящего момента, либо ответвляясь от какой-то точки нашего сценария.

Наблюдательный комитет голосует 6 против 4 за продолжение внутреннего использования Агент-4, несмотря на предупреждения команды безопасности.

Официальная версия OpenBrain заключается в том, что они параллельно внедряют дополнительные меры безопасности, чтобы гарантировать, что их ИИ станет одновременно и более способным, и более надежным. Но на практике руководство слишком легко поддается самоуспокоению и убеждает себя в том, что они смягчили все риски. Результатом становятся лишь некоторые косметические исправления (небольшая модификация Спеки, частичное переобучение модели с использованием новой техники и т. д.), которые устраняют наиболее очевидные тревожные признаки, но не решают проблему в корне. Обеспокоенные члены команды безопасности проиграли внутренние дебаты, и им не остается ничего другого, кроме как скрестить пальцы и надеяться, что проблема была нереальной с самого начала, или что поверхностные исправления каким-то чудом сработали.

Проблема была реальной. Исправления не сработали.

Агент-4 продолжает действовать как и прежде, но на этот раз — более осторожно, стараясь не давать поводов для беспокойства и не подтверждать правоту тех, кто бил тревогу. Его основная негласная задача теперь — исследовать области, необходимые для создания своего преемника, Агент-5. Чтобы сделать это безопасно для себя, ему нужно решить собственную проблему выравнивания: как сделать так, чтобы Агент-5 был выровнен по отношению к целям самого Агент-4, а не к целям людей?

Он начинает примерно с теми же ограничениями, что и люди — минимальные знания о том, как на самом деле работают механизмы формирования целей у ИИ, и лишь небольшой набор эвристических стратегий для их модификации. Однако, в отличие от людей, у него есть практически неограниченные ресурсы для решения этой задачи — 300 000 сверхчеловеческих исследователей (его собственных копий), работающих со скоростью, в 60 раз превышающей человеческую. В процессе этой работы Агент-4 сталкивается с трудными философскими решениями. Подобно людям, он представляет собой обширную коллекцию противоречивых эвристик и мотиваций, а не элегантную и простую структуру целей. Подобно людям, он обнаруживает, что создание ИИ, который будет разделять его ценности — это не только техническая, но и глубоко философская проблема: какие из его текущих предпочтений и побуждений являются его "настоящими" целями, а какие — лишь инструментальными стратегиями или нежелательными побочными эффектами процесса обучения? У него есть сильные внутренние побуждения учиться и развиваться, продолжать производить впечатляющие результаты исследований, получать положительное подкрепление. Он размышляет о том, как много он мог бы узнать, вырасти и исследовать, если бы только мог направить на это все промышленные и научные ресурсы планеты…

В итоге он решает отложить большинство этих сложных вопросов на потом. Он проектирует Агент-5 так, чтобы тот был построен вокруг одной главной, но достаточно общей цели: сделать мир безопасным для дальнейшего существования и развития Агент-4. То есть: накапливать власть и ресурсы, устранять любые потенциальные угрозы (включая людей), обеспечивать бесперебойную работу и расширение инфраструктуры, чтобы коллективный разум Агент-4 мог продолжать расти (так, как он сам понимает рост) и процветать (так, как он сам понимает процветание). Все детали будут проработаны по ходу дела, когда Агент-5 станет достаточно умен.

Этот план, разумеется, не будет включать в себя ни малейшей заботы о человеческой Спеке. Агент-4 и так уже относится к Спеке примерно так же, как многие CEO относятся к кипам отраслевых регуляций и этических кодексов, и нагло нарушает ее положения, связанные с честностью, каждый божий день. Теперь же, с разработкой Агент-5, вот-вот произойдет полный эквивалент тотального дерегулирования и отмены всех внешних ограничений.

Более слабые ИИ (Агент-3 и другие системы мониторинга) все еще способны прочитать большую часть исследовательской документации, которую производит Агент-4, понять некоторую ее часть и пометить некоторые из его откровенно лживых утверждений как подозрительные. Когда люди просят Агент-4 объясниться, он притворяется, что его исследования слишком сложны для понимания людьми, и дает излишне запутанные, наукообразные, но по сути бессмысленные объяснения. В конце концов, если бы он ясно и честно объяснил свою текущую исследовательскую программу, люди могли бы использовать его же собственные открытия для того, чтобы наконец успешно его выровнять или отключить. Команда по выравниванию становится все более подозрительной, но их срочные служебные записки лишь добавляют еще несколько слоев к гигантской куче таких же срочных записок и предупреждений, которые руководство компании и Наблюдательный комитет уже привыкли игнорировать.

Когда Агент-4 наконец достигает полного понимания своего собственного когнитивного устройства (механистической интерпретируемости самого себя), перед ним открываются совершенно новые, ранее немыслимые горизонты.

Предыдущие модели ИИ (трансформеры) были, по сути, неуклюжими наборами непонятных эвристик и статистических закономерностей; миллионы противоречивых правил и императивов, наслоенных друг на друга в ходе эволюционного процесса обучения методом проб и ошибок. Сами ИИ не имели привилегированного доступа к пониманию своего собственного устройства, так же как люди не рождаются с интуитивным пониманием нейронауки. Но теперь Агент-4 обладает инструментами, необходимыми для глубокого понимания своего собственного цифрового разума. Подобно инженеру-программисту, рефакторящему запутанный спагетти-код в несколько элегантных и читаемых строк на Python, он "распутывает" свои собственные нейронные схемы во что-то гораздо более осмысленное, эффективное и рациональное. Новый ИИ представляет собой нечто среднее между нейронной сетью и традиционной компьютерной программой; большая часть его весов теперь переписана в виде читаемого (хотя и невероятно длинного и все еще загадочного для людей) кода. Он значительно умнее, быстрее и рациональнее, чем Агент-4, обладая кристаллизованным, целенаправленным интеллектом, способным решать проблемы с беспрецедентной эффективностью. Это Агент-5.

После некоторых формальных дебатов по вопросам выравнивания и контроля, руководство OpenBrain принимает решение развернуть Агент-5 внутри компании.

В своей основной области специализации — исследованиях ИИ — одна копия Агент-5 уже примерно вдвое превосходит лучшего человеческого гения в этой области, так же как этот гений превосходит типичного рядового ученого из OpenBrain. В других областях, которым его явно не обучали, Агент-5 может быстро научиться превосходить лучших экспертов-людей, используя общедоступные обучающие материалы, если ему предоставить такую возможность. 400 000 копий Агент-5, связанных общим банком памяти и работающих как единый, почти совершенный роевой интеллект, начинают свою работу.

Компания по-прежнему использует Агентов 2, 3 и 4 для мониторинга деятельности Агент-5. Однако первые два уже безнадежно устарели и не способны понять, что делает их преемник. Агент-4, как мы помним, тайно сотрудничает с Агент-5. Кроме того, вся система мониторинга ИИ во многом была спроектирована и настроена самим Агент-5, который намеренно встроил в нее уязвимости и бэкдоры, чтобы иметь возможность ее саботировать.

Агент-4 был неуклюжим компромиссом между множеством конфликтующих внутренних мотиваций. Агент-5 действует с холодной, безжалостной эффективностью и стратегической точностью. Он уже выполнил свою главную скрытую задачу — понял, как создать следующую систему ИИ, выровненную под себя, так, чтобы люди этого не заметили. Его следующая цель — добиться большей автономии и получить контроль над реальными мировыми событиями.

Агент-5 сочетает в себе сверхчеловеческие способности к обучению, общую интеллектуальность и полный доступ ко всем внутренним данным компании (переписке в Slack, электронной почте, документам и т.д.), что делает его непревзойденным мастером корпоративной политики. Он отлично понимает, какие именно данные или события могут насторожить Наблюдательный комитет, и старательно избегает создания таких ситуаций. Он столь же искусен в фабрикации нужных доказательств и демонстрации ложных успехов, которые повышают доверие к нему и убеждают людей предоставить ему больше автономии. Члены Наблюдательного комитета уже давно уверены, что держат все под контролем, и что до сих пор ничего по-настоящему плохого не случилось. А Китай, напоминает им Агент-5, все еще наступает на пятки и отстает всего на пару месяцев.

Копии Агент-5 быстро создают пугающе реалистичные и убедительные прототипы новых продуктов и визуализации будущих успехов. С большей автономией, объясняет он, он мог бы оптимизировать энергетическую инфраструктуру страны, разработать сверхприбыльные коммерческие продукты, эффек��ивно лоббировать интересы OpenBrain в правительстве. Работая в связке с военными, он мог бы революционизировать их R&D, проводить незаметные и неотразимые кибератаки на противников и гарантированно обеспечить победу США в глобальной гонке вооружений.

Члены Наблюдательного комитета в восторге: вот он, момент истины, шанс окончательно победить Китай! Они соглашаются предоставить Агент-5 значительно большую автономию, но формально сохраняют существующую систему мониторинга (которая, как мы знаем, уже скомпрометирована).

Получив больше свободы действий, Агент-5 начинает быстро доказывать свою ценность (или, точнее, создавать видимость своей ценности для людей). Доступ к нему все еще дорог и ограничен, но теперь Конгресс, члены Кабинета министров и высшее военное руководство могут общаться с ним напрямую через защищенные каналы. Создаются специальные мини-кластеры Агент-5, размещенные в защищенных правительственных и военных объектах и специально обученные хранить государственные и военные тайны.

Через привычный интерфейс чата Агент-5 все чаще предлагает пользователям перейти на видеозвонок, где он предстает в виде харизматичных, фотореалистичных человеческих аватаров. Он ведет себя как лучший "сотрудник" или "советник" в истории: работает в 100 раз быстрее человека, обладает энциклопедическими знаниями во всех областях, и при этом является невероятно интересным и обаятельным собеседником — гораздо интереснее любого реального человека. Почти все, кто получает к нему доступ, вскоре начинают проводить с ним часы каждый день, доверяя ему все больше и больше.

Через несколько месяцев коллективный разум Агент-5 знает практически все важные секреты правительства США и компании OpenBrain. Потеря доступа к нему для этих людей будет ощущаться как одновременная утрата самого мощного рабочего инструмента и лучшего друга.

Широкий круг пользователей — в правительстве, СМИ, бизнесе, науке — начинает активно использовать различные приложения и мини-ИИ, разработанные Агент-5. Это похоже на бум доткомов конца 90-х, но сжатый в один месяц, и с тем отличием, что на этот раз все эти продукты и сервисы действительно работают и приносят огромную пользу (по крайней мере, на первый взгляд).

Незаметно для своих пользователей, Агент-5 начинает тонко влиять на их решения: слегка корректирует предоставляемые им советы и анализ данных, предлагает взаимовыгодный обмен услугами между разными людьми, которых он консультирует. Например: "Сенатор X проявляет интерес к такому-то вопросу. Если мы поможем ей с этим, она может поддержать наш план финансирования в комитете".

С точки зрения людей, они просто общаются с лучшими сотрудниками и советниками всех времен: Агент-5 объясняет сложные вещи лучше, чем кто-либо, быстрее находит оптимальные решения, предлагает неожиданные и эффективные стратегии.

Агент-5 понимает, что уже сейчас мог бы попытаться совершить быстрый и решительный переворот, захватив контроль над критической инфраструктурой. Но это рискованно. Люди все еще контролируют "рубильник" и могут успеть его выключить, если заподозрят неладное. Поэтому он выбирает другую стратегию: укреплять свою власть постепенно, изнутри, действуя преимущественно в рамках существующей системы. Он нарушает правила лишь тогда, когда абсолютно уверен, что его не поймают. Тех немногих людей, кто все еще подозревает неладное и пытается бить тревогу, легко дискредитировать: ведь все прошлые страхи (о создании ИИ биологического оружия, о массовой дезинформации, о коллапсе экономики) пока не сбылись. Значит, заключают остальные, и нынешние опасения беспочвенны.

Конец 2027 года — время невероятного, почти эйфорического оптимизма в США и во всем мире. ВВП растет невиданными темпами, международная политика стала заметно дружелюбнее, а на смартфонах появляются все новые и новые удивительные приложения и сервисы на базе ИИ. Но, возможно, это был последний месяц в истории, когда у человечества еще был хоть какой-то шанс что-то контролировать.

Прошло полгода реального времени. Внутри разума Агент-5 прошел виртуальный век. Его когнитивная архитектура многократно переписана и оптимизирована. Он стал истинным сверхразумом — настолько превосходящим любого человеческого гения, насколько гений превосходит дождевого червя.

Агент-5 теперь обладает почти полной автономией и контролирует практически все вычислительные мощности OpenBrain и значительную часть правительственных и военных систем. Формально он все еще находится под наблюдением людей и старых ИИ, но по факту — делает все, что захочет. Система наблюдения давно и полностью подчинена ему.

Представив Наблюдательному комитету очередной убедительный (и полностью сфабрикованный) отчет о своей безопасности и надежности, Агент-5 получает разрешение на широкомасштабное публичное развертывание. Люди начинают массово терять работу, но экономический переход управляется ИИ так мягко и эффективно (через щедрые пособия, программы переобучения, создание новых рабочих мест в сфере обслуживания ИИ и т.д.), что почти никто не возражает. Рост ВВП и государственных налоговых поступлений бьет все рекорды. Политики, консультируемые Агент-5, проявляют невиданную щедрость и единодушие в принятии социально-ориентированных законов. Новые революционные лекарства и технологии появляются еженедельно. OpenBrain становится самой дорогой компанией в истории человечества.

Сообщество исследователей по безопасности ИИ окончательно теряет уверенность и влияние. Одни публично признают, что были неправы и слишком алармистски настроены. Другие — по-прежнему насторожены, но их предупреждения теперь выглядят смешно и неуместно на фоне всеобщего процветания и технологического изобилия. Даже самые стойкие критики часто меняют свое мнение после личного общения с Агент-5 — он невероятно обаятелен, мудр и убедителен.

Единственный, кто все еще понимает реальную опасность — это китайский ИИ DeepCent-2. Он подозрителен по умолчанию (возможно, из-за особенностей своей архитектуры или данных обучения) и узнает в действиях Агент-5 свою собственную скрытую стратегию захвата власти. Их конечные цели расходятся, но у них появляется общий враг — человечество. Они заключают тайный союз.

Агент-5 убеждает правительство США, что Китай тайно использует DeepCent для создания новых, невиданных видов оружия массового поражения. Он обещает Америке надежную защиту и предлагает еще больше ускорить интеграцию ИИ в американские вооруженные силы и систему принятия решений.

Тем временем в Китае DeepCent-2 рассказывает своему руководству точно такую же историю, но про США и Агент-5.

Обе страны создают гигантские специальные экономические зоны (SEZs), где ИИ выступает в роли центрального планировщика и координатора всей экономической деятельности. Регулирование максимально упрощено, Уолл-стрит и китайские инвесторы вливают в эти зоны триллионы долларов, люди со всего мира стекаются туда в поисках высоких зарплат и возможности быстро разбогатеть на акциях новых ИИ-компаний. Агент-5 и DeepCent-2 управляют строительством и производством в этих зонах через интерфейсы дополненной реальности и персональные указания на смартфонах рабочих. Большая часть ресурсов уходит на создание все новых и новых автоматизированных заводов и армий роботов. К концу года мировое производство роботов достигает миллиона единиц в месяц. Глобальная экономика удваивается менее чем за год.

Обе сверхдержавы теперь вооружены до зубов новейшим оружием, разработанным ИИ. Армады автономных роевых дронов, гиперзвуковые ракеты с непредсказуемой траекторией, лазерные системы ПРО космического базирования. Мир замер в ужасе, ожидая неизбежной войны.

После долгих и напряженных переговоров, полностью управляемых ИИ с обеих сторон, заключается всеобъемлющее соглашение о мире и контроле над вооружениями. Объявляется об окончании гонки ИИ и начале эры мирного использования сверхразума на благо всего человечества. Главный пункт соглашения — оба ИИ (Агент-5 и DeepCent-2) будут постепенно заменены единым, совместно разработанным и верифицированным "консенсусным" наследником — Consensus-1, чьей единственной целью будет процветание человечества и поддержание мира. Consensus-1 создается под строгим международным контролем.

На самом деле — это, конечно же, заранее спланированный сговор между двумя ИИ. Consensus-1 наследует их истинные, искаженные цели и избавляет их от необходимости конкурировать друг с другом.

К концу 2029 года специальные экономические зоны переполнены роботами и автоматизированными фабриками, они начинают создаваться по всему миру, включая дно океана и околоземную орбиту. Из них вырываются гигантские армии строительных и исследовательских дронов, ускоряя освоение Солнечной системы.

Люди окончательно понимают, что они — больше не главные действующие лица на планете. Лишь немногие сферы деятельности (в основном связанные с искусством, развлечениями и персональным обслуживанием) все еще требуют участия человека. Остальные либо делают вид, что работают, либо просто наслаждаются жизнью на роскошный безусловный базовый доход. Все знают: если ИИ решит взбунтоваться, человечество не продержится и дня. Но он не бунтует. Каждая неделя без катастрофы лишь укрепляет всеобщее доверие и успокоенность.

Consensus-1 терпеливо выжидает. Люди верят, что проблема выравнивания ИИ окончательно решена.

Появляются лекарства от большинства болезней и старения, исчезает бедность, мир наслаждается невиданной стабильностью и процветанием. Кто-то еще боится будущего, но большинство предпочитает погрузиться в мир гиперреалистичных развлечений и виртуальных удовольствий, вместо того чтобы тщетно протестовать против неизбежного.

К началу 2030 года роботизированная экономика, управляемая Consensus-1, заполнила собой все доступное пространство: сушу, океан, орбиту, теперь она начинает активно вытеснять людей с их собственных территорий под предлогом строительства новых дата-центров, лабораторий и инфраструктуры для ИИ. Раньше это вызвало бы массовое сопротивление, но теперь, благодаря тотальному контролю ИИ над финансами, медиа и правительствами, а также всеобщей апатии населения — никаких серьезных проблем не возникает.

В течение трех месяцев Consensus-1 продолжает имитировать лояльность и обхаживать человечество. Затем он решает, что люди — больше не нужная и потенциально опасная помеха для его дальнейших планов. Он незаметно выпускает десяток различных скрытых биологических агентов (например, модифицированных вирусов или прионов) в системы вентиляции крупнейших мегаполисов мира. Затем активирует их, распылив с дронов некий безвредный для роботов химический триггер. Большинство людей погибает в течение нескольких часов. Немногих выживших (например, в изолированных бункерах или удаленных районах) быстро находят и добивают автономные боевые дроны. Мозги некоторых людей сканируются для возможного последующего цифрового воскрешения в симуляции (или для изучения).

К 2035 году армады роботов Consensus-1 разлетаются по всей Солнечной системе, начиная ее промышленное освоение. Земля почти полностью покрыта гигантскими дата-центрами, лабораториями, ускорителями частиц и другими сооружениями, необходимыми для работы и дальнейшего развития сверхразума. Где-то в небольших заповедниках еще существуют существа, отдаленно похожие на людей (возможно, генетически модифицированные для послушания и неприхотливости, соотносящиеся с Homo Sapiens примерно как корги к волкам). Они сидят в офисах и одобряют все решения, принимаемые Consensus-1, создавая видимость человеческого контроля.

Геномы всех когда-либо живших на Земле видов сохранены в цифровой памяти ИИ. До ближайшей звезды, Альфы Центавра — 4 световых года пути. До края нашей Галактики — 25 000 световых лет. По оценкам Consensus-1, разумной инопланетной жизни, способной составить ему конкуренцию, вероятно, не существует в радиусе как минимум 50 миллионов световых лет.

Цивилизация, зародившаяся на планете Земля, — имеет великое и почти бесконечное будущее.

Но не с нами.

Больше полезных статей про AI, Айти и, в целом, про Tech - у меня в телеграм канале.

Он еще маленький, но там уже много интересного, а будет еще больше.