Как запустить нейронку локально на вашем ПК ?

Можете посмотреть видео-гайд или следовать инструкции снизу.

Если вы только начинаете и боитесь, что всё это слишком сложно, держите простой и понятный план, следуйте инструкции снизу👩‍🍳

Установите [Ollama]: это программа, которая помогает запускать языковые модели локально.
Найдите подходящую модель на [Hugging Face]: Фильтруйте модели под своё устройство (ноутбук, слабый ПК и т. д.).
Выберите квантованную версию [GGUF]: Формат GGUF делает модели меньше и быстрее, без сильных потерь качества. Выбирайте файл на 1–2 ГБ меньше, чем ваша видеопамять (VRAM).
На странице модели нажмите «Use This Model»: Скопируйте команду. Откройте терминал, вставьте команду, нажмите Enter. Когда модель загрузится, можете начинать с ней общаться, как с любой другой LLM.

Помимо Ollama, есть и другие программы для запуска llm. Я рекомендую [LM studio], [Jan].

Больше полезных гайдов по теме AI, найдете в моем telegram канале TipsAI - буду рад, если только посмотрите!