Что общего в рассуждениях человека и нейросетей?

Человек и LLM во многом устроены одинаково, и это – не шутка, а доказанный исследователями Google Research факт. Видимо, поэтому нейросеть добиваются результатов не хуже человеческих.

🔥 Еще больше интересного в моем канале продуктовые штучки

Исследование Google Research, опубликованное в Nature Human Behavior, сравнивает стратегии обработки языка у человека и LLM, выявляя как сходства, так и принципиальные различия.

Похожим вопросом – как большие языковые модели (LLM), такие как Claude, "думают" – задалась компания Anthropic.

И человеческий мозг, и LLM используют предсказание следующего слова как ключевой механизм обработки речи. И люди, и LLM используют статистические закономерности для генерации и интерпретации текста. Предсказание следующего слова в предложении основано на частотных связях в обучающих данных. Только у человека то выражется в семантических ассоциациях, а у LLM — через статистические паттерны в обучающих данных

Обе системы демонстрируют многоуровневую обработку информации: от фонетических особенностей до абстрактных понятий. В LLM это реализовано через слои нейросети, а в мозге — через последовательную активацию разных нейронных групп.

Внутренние представления слов в LLM (вложения) коррелируют с нейронной активностью в речевых зонах мозга. Например, слова «король» и «мужчина» находятся в семантическом пространстве ближе, чем для «стул».

Человеческий мозг обрабатывает язык последовательно (слово за словом), тогда как LLM анализируют контекстные окна до 2048 токенов одновременно.

Пояснение: по мере того, как слушатель обрабатывает речь, мы наблюдаем последовательность нейронных реакций:сначала наблюдается активность в речевых областях вдоль верхней височной извилины (STG). Несколько сотен миллисекунд спустя, когда слушатель начинает декодировать значение слов, появляется активность в зоне Брока (расположенной в нижней лобной извилине; IFG).

Мозг использует долгосрочные ассоциации и личный опыт, легко интерпретирует переносные значения, тогда как LLM ограничены статистическими связями из обучающих данных, без субъективного опыта. Именно это приводит к галлюцинациям моделей.

Например, адаптация протоколов обучения под человеческий опыт может сделать модели более эффективными. Однако полное воспроизведение когнитивных процессов (пока!) остаётся недостижимым из-за фундаментальных различий в природе обработки информации.

Анализировалась нейронная активность, записанная с помощью электродов во время спонтанных бесед, и сравнивалась с внутренними представлениями LLM модели, преобразующей речь в текст.

#наука #медицинские_исследования #научныеисследования #научныеоткрытия #научные_знания #научныеновости #nature #нейробиология #нейронаука #llm #googleresearch