Галлюцинации в мультимодальных больших языковых моделях (Multimodal Large Language Models, MLLM)

Ключевые моменты в обзорной статье о галлюцинациях в мультимодальных больших языковых моделях (Multimodal Large Language Models, MLLM):

1. Галлюцинации в MLLM относятся к генерации моделью текстовых ответов, которые не соответствуют предоставленному визуальному контенту. Это серьёзная проблема, препятствующая практическому развёртыванию MLLM.

2. Галлюцинации можно эмпирически разделить на три типа: галлюцинации категорий, галлюцинации атрибутов и галлюцинации отношений.

3. Причины галлюцинаций многогранны и охватывают данные, архитектуру модели, процесс обучения и этап вывода. Ключевые причины включают недостаточные и низкокачественные данные, слабые модели компьютерного зрения, предшествующие знания языковой модели, плохое кросс-модальное согласование и проблемы вывода.

4. Были предложены различные эталонные тесты (benchmarks) и метрики для оценки галлюцинаций, такие как CHAIR, POPE, GAVIE, AMBER и др. Они охватывают как дискриминативные, так и генеративные задачи.

5. Методы уменьшения галлюцинаций направлены на решение проблем с данными, моделью, обучением и выводом. Ключевые подходы включают аугментацию и калибровку данных, увеличение масштаба визуальных энкодеров, разработку специализированных модулей, вспомогательный надзор (auxiliary supervision), обучение с подкреплением и методы вывода, такие как контрастное декодирование.

6. Проблемы и будущие направления включают качество и разнообразие данных, улучшение кросс-модального согласования, совершенствование архитектур моделей, создание стандартизированных тестовых заданий (benchmarks), переосмысление галлюцинаций как особенности, повышение интерпретируемости и учёт этических соображений.

7. Обзор предоставляет исчерпывающую таксономию и обзор причин галлюцинаций, эталонов оценки и методов уменьшения, чтобы углубить понимание и вдохновить дальнейшие исследования в этой области.

В целом, этот тщательный обзор подробно рассматривает феномен галлюцинаций в MLLM, охватывая причины, оценку, подходы к уменьшению и перспективы на будущее, чтобы продвинуть исследования по улучшению надёжности и устойчивости MLLM.

Краткие описания каждого эталонного теста (benchmark) для оценки галлюцинаций, упомянутого в тексте: