DeepSeek: не просто хайп, а новые правила игры

Что общего между Кремниевой долиной и китайским городом Ханчжоу? До вчерашнего дня — ничего. Но когда команда DeepSeek анонсировала свою новую ИИ-модель, созданную всего за 5.5 миллионов долларов, в офисах технологических гигантов начались экстренные совещания. В своей прошлой статье я упомянул новую нейросеть DeepSeek. В этой статье расскажу подробнее, почему она наделала так много шума.

Пока гиганты вроде OpenAI и Anthropic соревнуются в размерах инвестиций и громких заявлениях, небольшая команда из Китая показала, что создание конкурентоспособной ИИ-модели не обязательно требует миллиардных вложений. DeepSeek представила сразу две модели: DeepSeek V3 и DeepSeek R1, каждая из которых заслуживает отдельного внимания.

Помните времена, когда Сэм Альтман (глава OpenAI) говорил о миллиардах долларов, необходимых для тренировки GPT-4? DeepSeek только что разрушил этот миф. Их новая модель, созданная за скромные 5.5 миллионов долларов, демонстрирует результаты, которые заставляют задуматься: действительно ли нам нужны такие гигантские инвестиции в ИИ?

Понятно, что поскольку OpenAI был первопроходцем в этой области, то, логично, что им потребовалось больше ресурсов. Однако, это всё равно заставило инвесторов задуматься.

Новость о DeepSeek V3 вызвала настоящее землетрясение на фондовом рынке. Инвесторы начали задавать неудобные вопросы:

Любопытно то, что больше всего пострадала компания Nvidia — поставщик и технический партнер многих компаний, занимающихся искусственным интеллектом.

Команда DeepSeek использовала несколько подходов, которые позволили значительно уменьшить расходы на обучение языковой модели:

Команда DeepSeek смогла добиться таких впечатляющих результатов во многом благодаря тому, что компания использует модель с открытым исходным кодом (open-source), а если быть точнее — с открытыми весами (т.н. open-weights).

Это дало им преимущество на старте:

Они смогли воспользоваться предыдущими наработками других открытых моделей. Ранее Meta* потратила сотни миллионов долларов на открытые исследования, включая модель LLaMa. После этого множество китайских компаний, такие как Alibaba и Tencent, также начали разрабатывать свои модели, в том числе и DeepSeek.

Одним из ключевых факторов, позволивших DeepSeek создать конкурентоспособную модель за относительно небольшую сумму, стала архитектура Mixture of Experts (MoE). Этот подход уже доказал свою эффективность, и ярким примером его успешной реализации является модель Mixtral от Mistral AI.

Один из секретов успеха DeepSeek — использование технологии Mixture of Experts (MoE). Этот подход позволяет модели работать умнее, а не просто становиться больше и дороже. Вдохновением для DeepSeek стала модель Mixtral от Mistral AI, уже показавшая, как можно повысить эффективность нейросетей без колоссальных затрат.

На самом деле, работу в этом направлении DeepSeek работал уже как минимум год. В своей публикации от 11 января 2024 года они предлагают собственный подход, который требует меньше вычислительных ресурсов:

Однако, я бы поставил под сомнение громкое заявление о том, что модель удалось обучить за в 5.5 миллионов долларов. Дело в том, что DeepSeek основана и поддерживается китайским хедж-фондом High-Flyer, у которого очень много своих GPU. Они используются для трейдинга, и каждый день генерируют новые предсказания для рынка.

Кроме того, обучение крупных языковых моделей включает множество экспериментов. Не исключено, что названная сумма отражает только успешные из них, тогда как информация о неудачных не раскрывается.

Некоторые люди резонно поднимают вопрос конфиденциальности данных при работе с новой моделью. Хотя DeepSeek позиционирует свои модели как открытые и бесплатные, нет гарантий, что они не собирают пользовательские данные.

Учитывая, что компания базируется в Китае, это вызывает дополнительную обеспокоенность у западных пользователей и компаний. Впрочем, OpenAI и другие крупные игроки также собирают данные для дообучения своих моделей, так что в этом смысле разница скорее в юрисдикции, а не в самой практике.

К тому же, в отличии от аналогичных моделей, модели DeepSeek может запустить любой желающий, поэтому я не вижу оснований для серьезных опасений.

Особого внимания заслуживает модель DeepSeek R1, позиционируемая как альтернатива o1 от OpenAI.

Ключевое преимущество — полная прозрачность процесса «мышления» модели. В отличие от многих конкурентов, где процесс принятия решений остается «черным ящиком», DeepSeek R1 показывает каждый шаг своих рассуждений, что особенно ценно для исследователей и разработчиков.

Это потенциально открывает огромный простор для творчества и улучшений, по масштабу сравнимый с тем, который дала открытая модель LLaMa 3 в свое время.

DeepSeek делает искуственный интеллект более доступным, аналогично тому как это сделали проекты LLaMa и Mistral в свое время. Веса моделей находятся в открытом доступе, что позволяет:

При этом открытость моделей DeepSeek вызывает вопросы. Хотя компания публикует веса (weights) своих нейросетей, доступ к полным обучающим данным и алгоритмам оптимизации остается ограниченным. Это напоминает стратегию Meta с LLaMa: «открытость» привлекает разработчиков, но ключевые технологии сохраняются внутри компании.

Несмотря на впечатляющие результаты DeepSeek, эксперты считают, что ChatGPT пока сохранит лидерство в массовом сегменте. Однако появление таких моделей может привестик снижению стоимости сервисов с искусственным интеллектом.

На данный момент максимальная подписка на ChatGPT стоит 200 долларов в месяц. Если будет больше моделей, которые могут выдавать результат, сравнимый с ChatGPT за значительно меньшую стоимость, то это, безусловно, сделает применение искуственного интеллекта еще более широким.

Сейчас, из-за того, что модель стала очень популярная, сервера компании испытывают серьезную нагрузку, поэтому воспользоваться этой моделью не так-то просто. Но поскольку модель открытая, то я думаю в скором времени появятся варианты от других провайдеров, вроде Together.ai, Deepinfra и других:

Если вам понравилась эта статья, буду благодарен, если поставите лайк 🔥 и напишите комментарий — так я пойму, что на подобные темы стоит писать больше.

В своем Telegram-блоге «Код без тайн» я пишу не только об искусственном интеллекте, а также о веб-разработке, информатике и других технологиях, которые меня вдохновляют.

* Meta признана экстремистской организацией в России