Нейросеть дня «LM Studio»: разворачиваем локальную LLM на личном компьютере
Каждый раз, отправляя запрос ChatGPT, YandexGPT или DeepSeek, вы обмениваете личные данные на серверные мощности. Достоверно известно, что нейросети затем обучаются на этих данных. Понятное дело, большая часть этой информации никому не нужна, и впадать в паранойю не стоит.
Но что делать с закрытыми корпоративными документами или персональными данными? Первый вариант — работать по-старинке, без ИИ. Второй — развернуть локальную ИИ-модель на собственном компьютере или сервере, полностью исключив передачу информации третьим сторонам.
LM Studio — инструмент для локального запуска LLM (языковых моделей) на Windows, macOS и Linux. Вы скачиваете бесплатные модели с открытым кодом (DeepSeek, Llama, Mistral и др.), выбираете конфигурацию и запускаете чат-бот прямо на своём компе. Все вопросы и ответы обрабатываются локально, защищая ваши данные. Установка занимает пять минут и не требует специальных знаний.
Посмотрите видео с инструкцией и попробуйте сами:
Что умеет LM Studio:
- Позволяет развернуть любую LLM с открытым кодом локально (при наличии мощностей)
- Генерировать тексты и анализировать материалы без доступа к интернету
- Быстро переключаться между моделями и экспериментировать с результатами
- Можно прикрутить свой веб-интерфейс и дать, например, доступ своим сотрудникам
К сожалению, маленькие модели пока плохо справляются с русским языком, но это проблема самой модели, а не LM Studio как инструмента.
Условия использования:
LMStudio — бесплатный опенсорсный продукт для Windows, macOS и Linux. Доступен для скачивания с официального сайта. Требуется от 8 ГБ ОЗУ и достаточно места для хранения выбранной модели.
Если дочитали пост до конца, прямо сейчас зайдите на сайт LM Studio и попробуйте запустить модель любого размера. Обещаю неописуемый кайф и ощущения прогресса на кончиках пальцев!
Важная сноска про размер и его значение:
Размер модели отражает число параметров, на которые она опирается при формулировании ответов. Запись «8B» означает 8 миллиардов параметров, «405B» — 405 миллиардов. Чем больше параметров, тем сложнее и «умнее» модель, и тем выше требования к мощности компьютера.
Если вы пользуетесь условным ChatGPT, знать размер модели необязательно. Но при локальном развёртывании выбор модели с «подъёмным» числом параметров позволяет запустить её без критических тормозов и перегрузки компа. Например, модели размером 2B или 8B потянет почти любой ПК, а вот для 405B потребуется неслабая машина с видеокартой за несколько тысяч долларов.
Зачем, спросите вы, мне это знать, если мой калькулятор потянет в лучшем случае 8B?
Во-первых: мощности — дело времени. Ещё 15 лет назад ваш телефон умел только фотографировать, а сейчас это полноценный компьютер на ладони. Круто знать про такую возможность!
Во-вторых: меня тут читают в том числе владельцы компаний. И если вам очень хочется применять ИИ, но не хочется рисковать данными, то потратить $6000 на комп или арендовать мощный сервер — вполне подъёмная задача. Напишите в личку, расскажем, что для этого нужно.
Авторские обзоры ИИ-инструментов несколько раз в неделю. Удобнее читать в Telegram — https://t.me/universe_ai
Очень слабая и ленивая новость. Могли бы для приличия хотя-бы накидать несколько вариантов русскоязычных моделей.
Неплохой рейтинг опенсорсных моделей есть тут https://llm.extractum.io/, там указано требуемое количество VRAM. Из относительно легковесных моделей на русском нормально пишет Qwen2.5 7b - у меня завелась на GeForce 4070 12Гб видеопамяти и 32Гб оперативки. Остальные пишут либо вперемешку русский и английский текст, либо несут какую-то ересь на уровне первый нейронок.
Так это ведь даже не новость, LMStudio уже миллион лет существует. Мы делаем обзоры на то, что личном нам интересно.
Но вообще идея неплохая, сделаем как-нибудь обзор русскоязычных опенсорсных моделей