Как выбрать подходящую LLM: пошаговый гайд

Выбор правильной LLM-модели — этап, который напрямую влияет на успех всего проекта. Сегодня выбор моделей действительно большой, и задачи, для решения которых нужно использование LLM — тоже. В статье расскажем, на какие параметры ориентироваться и как выбрать подходящую модель.

Привет, я Михаил Шрайбман, основатель веб-интегратора «Осьминожка». Мы занимаемся разработкой для среднего и крупного бизнеса, а также одними из первых начали внедрять ИИ в бизнес-процессы наших клиентов. Спросил у своего коллеги — технического директора «Осьминожка» Дениса Нагаева о том, как выбрать LLM для своего проекта. Полезно всем, кто участвует в разработке, даже заказчикам проекта.

Начинаем с вопроса: а зачем вообще нам LLM? Часто компании начинают интегрировать ИИ без понимания цели. Вот, о чём можно поразмышлять:

Здесь нам в помощь приходит такой полезный инструмент, как LLM ARENA (или другие похожие, если знаете -- делитесь в комментариях!)

Модели можно проранжировать по способности решать разные типы задач: математические вычисления, логические задачи, агентские и другие.

Такой анализ позволяет сразу отсеять менее подходящие варианты и выявить сильные стороны каждой из моделей.

После анализа рейтинг-листов необходимо подготовить шорт-лист моделей, разделив их на две группы.

Выбор здесь во многом ограничен условиями поставщика API, интеграционными возможностями и стоимостью использования.

После первичного отбора наступает этап технических замеров на вашем конкретном наборе задач. Выберите задачи для первых тестов, проведите замеры и зафиксируйте, как модель справляется с вашей задачей по качеству и скорости.

На основании полученных данных формируются две итоговые оценки каждой из моделей:

После сопоставления этих двух оценок вы уже можете уверенно взвесить все «за» и «против» и выбрать оптимальное решение.

Чтобы выбрать подходящую LLM для конкретной задачи, нужно ориентироваться на конкретные задачи бизнеса, а не на раскрученность модели. Ключевые факторы успеха — тщательный предварительный анализ задач и бизнес-требований, использование объективных метрик.

Если вам понравилась наша статья и стали интересны другие кейсы, над которыми мы работаем — читайте обо всех проектах на сайте или в соцсетях «Осьминожки».