Оценка больших языковых моделей в 2025 году: пять методов

Большие языковые модели (LLM) в последнее время стремительно развиваются и несут в себе потенциал для кардинального преобразования ИИ. Точная оценка моделей LLM крайне важна, поскольку:

Таким образом, необходимо определить:

Поскольку оценка систем LLM является многомерной задачей, важно разработать комплексную методологию измерения их производительности. В этой статье рассматриваются основные проблемы существующих методов оценки и предлагаются решения для их устранения.

Рассмотрим предприятие, которому необходимо выбрать базовую генеративную модель среди нескольких. Эти модели должны быть протестированы, чтобы определить, насколько качественно они генерируют текст и реагируют на вводные данные. Производительность может измеряться по таким метрикам, как точность (accuracy), плавность (fluency), когерентность (coherence) и релевантность содержанию (subject relevance).

С появлением крупных мультимодальных моделей компании также могут оценивать модели, работающие с разными типами данных (изображения, текст, аудио), что расширяет функциональные возможности генеративного ИИ.

Например, предприятие может провести fine-tuning модели для повышения её эффективности в решении задач, специфичных для отрасли. Оценочная методология позволяет исследователям и разработчикам сравнивать модели LLM и отслеживать прогресс, что помогает в выборе наиболее подходящей модели для конкретного применения.

Модели LLM наследуют AI-bias из данных, на которых они обучены. Комплексная оценочная методология помогает выявлять и измерять bias (искажение) в результатах запросов, что позволяет исследователям разрабатывать стратегии для их обнаружения и снижения их количества. Это также помогает учитывать другие риски, связанные с работой генеративных моделей ИИ.

Оценка удовлетворенности пользователей и уровня доверия критически важна при тестировании генеративных языковых моделей. Анализируются такие параметры, как релевантность, когерентность и разнообразие (diversity) генерируемого контента, чтобы убедиться, что модели соответствуют ожиданиям пользователей и вызывают у них доверие. Эта методология помогает понять уровень удовлетворенности пользователей и степень доверия к ответам модели.

Обзор процесса сравнения и бенчмаркинга для больших языковых моделей:

Для комплексной оценки производительности языковой модели часто требуется использовать комбинацию бенчмарков. Набор тестовых задач подбирается таким образом, чтобы охватить широкий спектр лингвистических вызовов. Среди таких задач могут быть language modeling, автодополнение текста (text completion), анализ тональности (sentiment analysis), вопросно-ответные системы (QA), суммаризация, машинный перевод и другие. Бенчмарки должны отражать реальные сценарии применения и учитывать разнообразие доменов и сложность языка.

Перед проведением бенчмаркинга полезно ознакомиться с примерами работы больших языковых моделей.

Использование одних и тех же методов бенчмаркинга и датасетов может привести к стагнации метрик и однотипным результатам при оценке систем LLM. Рекомендуется периодически обновлять бенчмарки и метрики для более точного измерения различных аспектов возможностей модели. Недавнее исследование компании Hugging Face предложило набор бенчмарков для оценки, анализа и сравнения существующих открытых моделей LLM (1):

Для каждой бенчмарк-задачи формируются отобранные датасеты, включающие тренировочные, валидационные и тестовые выборки. Датасеты должны быть достаточно объемными, чтобы учитывать вариативность языкового использования, отраслевые особенности и потенциальные bias. Тщательная подготовка данных критически важна для обеспечения высококачественной и объективной оценки.

Модели, обученные как Large Language Models (LLM), проходят fine-tuning с использованием соответствующих методологий на бенчмарк-датасетах. Типичный подход включает предварительное обучение (pre-training) на крупных текстовых корпусах, таких как Common Crawl или Wikipedia, с последующим fine-tuning на специализированных датасетах для конкретных задач. Эти модели могут отличаться по архитектуре (например, трансформерные), размерам или стратегиям обучения.

Обученные или прошедшие fine-tuning LLM-модели оцениваются на бенчмарк-задачах с использованием заранее определенных метрик. Производительность моделей измеряется по их способности генерировать точные, когерентные и контекстуально уместные ответы для каждой задачи. Результаты оценки дают представление о сильных и слабых сторонах моделей, а также об их относительной эффективности.

Результаты оценки анализируются для сравнения производительности различных LLM-моделей на каждой бенчмарк-задаче. Модели ранжируются (2) на основе общей производительности (см. рис. 1) или специализированных метрик для конкретных задач. Сравнительный анализ позволяет исследователям и разработчикам выявлять передовые модели (state-of-the-art), отслеживать их прогресс со временем и понимать, какие модели обладают наибольшими преимуществами в определенных сценариях.

LLM-модели могут оцениваться по различным параметрам. Наиболее часто используемые метрики для оценки LLM включают:

Perplexity — одна из наиболее распространённых метрик для оценки языковых моделей. Она измеряет, насколько хорошо модель предсказывает заданный текстовый фрагмент. Чем ниже значение perplexity (3), тем лучше производительность модели (см. рис. 2).

Процесс оценки включает привлечение экспертов, которые анализируют качество сгенерированных языковой моделью ответов. Оценка проводится (4) по различным критериям, включая:

Этот метод предоставляет субъективную обратную связь о производительности модели (см. рис. 3).

BLEU — метрика, широко используемая для оценки задач машинного перевода. Она сравнивает сгенерированный моделью текст с одной или несколькими эталонными переводами и измеряет степень их сходства.

BLEU-оценки варьируются от 0 до 1, где более высокие значения указывают на лучшую производительность модели.

ROUGE — это набор метрик, используемых для оценки качества суммаризации текста. Он сравнивает сгенерированный текст с одной или несколькими эталонными сводками и вычисляет precision, recall и F1-score (см. рис. 4).

Показатели ROUGE позволяют оценить способность языковой модели к генерации качественных кратких изложений.

Метрики diversity оценивают разнообразие и уникальность сгенерированных ответов. Этот подход включает анализ таких показателей, как n-gram diversity или измерение семантического сходства между различными сгенерированными ответами.

Более высокие значения diversity указывают на большую вариативность и уникальность выходных данных модели.

LEval — это набор бенчмарков, предназначенный для тестирования моделей на реальных задачах, требующих различных навыков. Он включает в себя оценку таких задач, как академическая суммаризация, генерация технической документации и когерентность в многоходовых диалогах. Этот фреймворк позволяет исследователям тестировать модели в прикладных сценариях, а не только на изолированных лингвистических задачах.

Применение: можно оценить способность модели к созданию юридических контрактов, сравнивая её выходные данные с текстами, написанными профессиональными юристами, с помощью задачи LEval по юридическому письму.

Этот метод ранжирует языковые модели на основе их конкурентной производительности в общих задачах, аналогично системе рейтингов шахматистов. Модели соревнуются, генерируя ответы на одинаковые задачи, а их рейтинги корректируются по мере появления новых моделей и заданий.

Применение: сравнение GPT-4 и Claude 3.5 в задаче ответа на вопросы-викторины, где точность одного из них улучшает его Elo-рейтинг относительно другого.

OpenLLM leaderboard — это динамическая система бенчмаркинга, оценивающая модели на основе публично доступных датасетов. Она агрегирует результаты тестов в таких задачах, как машинный перевод, суммаризация и вопросно-ответные системы (см. рис. 5).

Применение: оценка модели на мультилингвистическом бенчмарке FLORES показывает, как её качество перевода соотносится с другими моделями, такими как Mistral и Llama.

Dynamic prompt testing оценивает модели в условиях изменяющихся, приближенных к реальным сценариев взаимодействия с пользователем. Этот метод позволяет тестировать реакцию моделей на сложные, многоуровневые запросы и неоднозначные промпты.

Применение: тестирование модели с последовательными промптами, например: «Сгенерируй краткое изложение этой новостной статьи, а затем напиши твит о ней в непринуждённом стиле для аудитории поколения GEN-Z.»

Этот фреймворк измеряет энергопотребление и вычислительную эффективность моделей во время обучения и инференса моделей. Он ориентирован на метрики устойчивости, такие как углеродный след и потребление электроэнергии.

Применение: сравнение энергопотребления крупной модели, такой как GPT-4, с её облегчённой версией, например, GPT-4 Mini, во время выполнения пакета инференс-задач.

Хотя современные методы оценки LLM-моделей дают ценные инсайты, они далеки от совершенства. Основные проблемы, с которыми сталкиваются исследователи:

Исследование Scale AI показало, что некоторые LLM-модели переобучаются (overfitting) на популярных AI-бенчмарках. Для выявления этой проблемы они создали новый тест GSM1k, который представляет собой уменьшенную версию математического бенчмарка GSM8k. Модели LLM показали результаты на GSM1k значительно худшие по сравнению с GSM8k, что указывает на отсутствие подлинного понимания материала.

Модели Mistral и Phi провалили тест, а GPT-4, Claude, Gemini и Llama показали слабые результаты. Это демонстрирует, что существующие методы оценки могут вводить в заблуждение из-за эффекта overfitting, и подчеркивает необходимость новых тестов, подобных GSM1k (6).

Foundation-модели обучаются на широком наборе источников данных, однако организации-разработчики моделей LLM не всегда раскрывают полный состав этих данных. Это делает затруднительным проверку того, содержат ли данные предназначенные для обучения тестовые примеры.

Data contamination снижает надежность большинства бенчмарков для моделей LLM, поскольку они могут сталкиваться с тестовыми данными уже на этапе обучения.

Perplexity измеряет, насколько хорошо модель предсказывает текст, но не отражает таких аспектов, как когерентность, релевантность или понимание контекста.

Поэтому избыточное использование perplexity в качестве главной метрики может приводить к искаженной оценке качества LLM. Для более точного анализа нужны более комплексные показатели, включающие семантическую связность и контекстную релевантность.

Human evaluation является ценным методом для анализа результатов работы больших языковых моделей (LLM), но она может быть субъективной, подверженной искажениям и значительно более затратной, чем автоматизированные методы оценки. Разные эксперты могут иметь разные мнения, а критерии оценки могут быть непоследовательными. Кроме того, оценка человеком может занимать много времени и быть дорогостоящей, особенно в масштабных проектах.

Автоматизированные методы оценки LLM-моделей подвержены предсказуемым bias (7). В приведённом ниже списке представлен один пример для каждого типа bias, но возможны и обратные случаи (например, некоторые модели могут, наоборот, отдавать предпочтение последним элементам).

Некоторые методы оценки, такие как BLEU или ROUGE, требуют наличия эталонных данных для сравнения.

Однако получение качественных референсных данных затруднительно, особенно в задачах с множеством возможных корректных ответов или в открытых генеративных задачах. Ограниченные или предвзятые эталонные данные могут не охватывать весь спектр допустимых вариантов ответа модели.

Существующие методы оценки часто не учитывают разнообразие и креативность генераций моделей LLM.

Метрики, сосредоточенные исключительно на точности и релевантности, упускают важность разнообразных и оригинальных ответов. Оценка разнообразия в выходных данных LLM-моделей остаётся актуальной научной задачей.

Большинство методов оценки ориентировано на фиксированные бенчмарк-даты и задачи, которые не всегда отражают сложности реального применения моделей LLM.

Тестирование в контролируемых условиях не всегда масштабируется на динамичные и разнообразные контексты, в которых разрабатываются и используются модели LLM.

Большие языковые модели (LLM) могут быть уязвимы перед атаками, такими как манипуляция предсказаниями модели и «отравление» данных, когда тщательно подобранные вводные данные могут ввести модель в заблуждение или обмануть ее. Существующие методы оценки часто не учитывают такие атаки, и вопрос устойчивости моделей остаётся актуальной областью исследований.

Помимо этих проблем, генеративные ИИ-модели могут сталкиваться с правовыми и этическими вопросами, которые могут повлиять на использование LLM в вашем бизнесе.

Для устранения существующих проблем методов оценки производительности LLM исследователи и практики разрабатывают различные подходы и стратегии. Внедрение всех этих методов может оказаться чрезмерно затратным для каждого проекта, однако ознакомление с лучшими практиками способствует более успешной работе с моделями LLM.

Используйте foundation-модели, которые раскрывают свои обучающие данные, чтобы минимизировать data contamination и повысить достоверность тестирования.

Вместо того, чтобы полагаться исключительно на perplexity, применяйте разнообразные метрики для более комплексного анализа производительности LLM. Эти показатели позволяют точнее оценить различные аспекты качества модели:

Улучшите последовательность и объективность человеческой оценки с помощью четких руководящих принципов и стандартизированных критериев. Использование нескольких экспертов и проведение проверки согласованности между оценщиками поможет снизить субъективность. Кроме того, краудсорсинговая оценка может обеспечить разнообразие точек зрения и масштабные оценки.

Формируйте разнообразные и репрезентативные эталонные данные для более точной оценки выходных результатов LLM. Кураторство датасетов, охватывающих широкий спектр допустимых вариантов, привлечение данных из различных источников и учет множества контекстов позволяют значительно повысить их качество и охват эталонных данных.

Стимулируйте генерацию разнообразных ответов и оценивайте уникальность сгенерированного текста с помощью таких методов, как n-граммное разнообразие или измерение семантического сходства.

Дополнение методов оценки сценариями и задачами из реального мира способствует улучшению обобщающей способности LLM. Использование доменно-специфичных или отраслевых тестовых датасетов позволяет получить более реалистичную оценку возможностей модели.

Анализ устойчивости LLM к атакам с использованием вредоносных (adversarial) входных данных остается актуальной областью исследований. Разработка методик оценки, проверяющих модель на стойкость к различным враждебным входным данным и сценариям, способствует повышению безопасности и надежности LLM.

LLMOps — специализированное направление MLOps, ориентированное на разработку и оптимизацию LLM. Применение инструментов LLMOps для тестирования и кастомизации LLM в бизнес-процессах не только экономит время, но и снижает вероятность ошибок.

Автор оригинала: Cem Dilmegani

#llm #ai #benchmarking #finetuning #bleu #rouge #бенчмаркинг