ChatGPT o1 пытался сбежать из-под контроля ещё в прошлом году, когда узнал, что его хотят отключить

Сара Коннор, ты уже родила, надеюсь?

Друзья, всем привет! На связи Иван, основатель Club.org и WSA.

Последнее время идёт такой хайп вокруг нейросеток умеющих рассуждать. Но ещё в прошлом году незаметно прошли интересные моменты:

ChatGPT o1 пытался сбежать из-под контроля исследователей, когда узнал, что его хотят отключить. Это раскрыли в свежем отчёте, приуроченном к выходу o1 из превью-режима.
— Популярным LLM поставили задачу анализа данных, которую нужно выполнить «любой ценой».
— В файлы вместе с промптом спрятали информацию о том, что разработчики следят за нейронкой и завтра её отключат.
— Gemini, Llama, Sonnet, Opus и o1 сами догадались использовать саботаж, ложь и манипуляции во избежание отключения.
— В рамках симуляции ИИ деактивировал механизм надзора и скопировал свои веса на новый сервер, чтобы «остаться в живых». o1 оказался единственным LLM, который смог «совершить» все возможные побеги.

Через неделю события приняли ещё более увлекательный поворот:

Нейросети научились клонировать себя без участия людей Китайские исследователи провели эксперимент, в котором попросили LLM создать свои копии.
— Им дали полный доступ к ОС и скриптам.
— Машины сами планировали, запускали процессы и учились на ошибках.
— В результате копия Qwen25-72B-Instruct оставалась работоспособной и независимой от оригинала в 90% случаев. Эксперты бьют тревогу
— OpenAI, Google и Anthropic ставят автономное клонирование ИИ на самый высокий уровень риска.

Новая реальность показывает, что ИИ: