Как установить и использовать DeepSeek R-1 на вашем компьютере

Многие говорят о DeepSeek R-1, новой языковой ИИ-модели с открытым исходным кодом, созданной китайской ИИ-компанией DeepSeek. Некоторые пользователи утверждают, что по возможностям рассуждения она не уступает или даже превосходит модель o1 от OpenAI.

В настоящее время DeepSeek можно использовать бесплатно, что является отличной новостью для пользователей, но вызывает некоторые вопросы. Как при таком резком росте числа пользователей они справляются с затратами на сервера?

Ведь эксплуатационные расходы на оборудование не могут быть дешевыми, верно?

Единственный логичный ответ здесь - данные. Данные - это жизненная сила ИИ-моделей. Вероятно, они собирают данные о пользователях, чтобы использовать их в своей модели квантовой торговли или для другой формы монетизации.

Поэтому, если вы беспокоитесь о конфиденциальности данных, но при этом хотите использовать R1, не предоставляя свои данные, лучший способ - запустить модель локально.

Пару дней назад была представлена модель Deepseek R-1 с открытым исходным кодом, то есть любой желающий может взять базовый код, адаптировать его и даже доработать под свои нужды.

С технической точки зрения Deepseek R-1 (часто сокращенно R1) основана на большой базовой модели под названием DeepSeek-V3. Затем лаборатория усовершенствовала эту модель с помощью комбинации контролируемой тонкой настройки (SFT) на высококачественных данных, размеченных людьми, и обучения с подкреплением (RL).

В результате получился чатбот, который может обрабатывать сложные запросы, раскрывать логику сложных вопросов (иногда более прозрачно, чем другие модели) и даже отображать код в интерфейсе чата для быстрого тестирования.

Честно говоря, это очень впечатляет, особенно для модели с открытым исходным кодом.

Друзья, буду рад, если вы подпишетесь на мой телеграм-канал про нейросети и на канал с гайдами и советами по работе с нейросетями - я стараюсь делиться только полезной информацией.

Для локального запуска DeepSeek R-1 мы будем использовать инструмент под названием Ollama.

Ollama - это бесплатный инструмент с открытым исходным кодом, который позволяет пользователям запускать большие языковые модели (LLM) локально на своих компьютерах. Он доступен для macOS, Linux и Windows.

Перейдите на официальный сайт Ollama и нажмите на кнопку «Download». Установите его на свой компьютер.

Чтобы убедиться, что установка прошла успешно, откройте терминал и выполните следующую команду:

Вместо ошибки вы должны увидеть номер версии Ollama.

На вкладке Models выполните поиск по ключевому слову «deepseek», и вы должны увидеть «deepseek-r1» в первом пункте списка поиска.

Кликните на нее и перейдите в раздел Models (Модели), где вы увидите несколько размеров моделей - от 5 миллиардов до 671 миллиарда параметров. Как правило, для запуска больших моделей требуются более мощные графические процессоры.

Небольшие модели, такие как версия с 8 миллиардами параметров, могут работать с графическими процессорами с 8 ГБ видеопамяти. Более крупные модели требуют значительно больше ресурсов (см. раздел «Требования к VRAM и GPU» ниже).

Чтобы загрузить и запустить модель с 8 миллиардами параметров, выполните следующую команду:

Начнется скачивание модели (около 4,9 ГБ). Убедитесь, что у вас достаточно места на диске, прежде чем приступать к работе.

После загрузки модель будет запущена локально на вашем компьютере. Вы сразу же сможете общаться с ней.

Давайте протестируем ее на примере этого промпта:

Великолепно. Она быстрая, и работает, даже если я отключаю ноутбук от Wi-Fi. Обратите внимание, что даже если вы подключены к Интернету, она все равно не может получить доступ к сети.

Другие вещи, которые может делать Ollama:

Требования к VRAM для DeepSeek-R1 зависят от таких факторов, как размер модели, количество параметров и методы квантования. Ниже приведен подробный обзор требований к VRAM для DeepSeek-R1 и его дистиллированных моделей, а также рекомендуемые графические процессоры:

Ключевые замечания по использованию VRAM:

Конечно, веб-чатбот и мобильное приложение для DeepSeek бесплатны и невероятно удобны. Вам не нужно ничего настраивать, а такие функции, как DeepThink и веб-поиск, уже встроены в них. Но есть несколько причин, по которым локальная установка может быть лучшим выбором:

На данный момент неясно, как DeepSeek обрабатывает данные пользователей. Если вы не слишком беспокоитесь о конфиденциальности данных, то вам лучше всего использовать веб-приложение или мобильное приложение, поскольку они проще в использовании и предлагают такие функции, как DeepThink и веб-поиск. Если же вам небезразлично, к кому попадут ваши данные, стоит рассмотреть вариант локального запуска модели.

Модели DeepSeek разработаны таким образом, чтобы хорошо работать даже на не очень мощном оборудовании. В то время как большие модели, такие как DeepSeek-R1-Zero, нуждаются в распределенных GPU, дистиллированные версии позволяют плавно работать на одном графическом процессоре с гораздо более низкими требованиями.

Если вам не нравится использовать терминал, вы всегда можете добавить простой пользовательский интерфейс с помощью таких инструментов, как Gradio или Chatbox AI. Я напишу руководство по их настройке в следующей статье. Пока же я надеюсь, что этот пост поможет вам начать работу. Расскажите мне о своих мыслях, а если вы столкнулись с какими-то проблемами, не стесняйтесь поделиться ими в комментариях.

#ai #ии

Источник статьи на английском - здесь