Большие языковые модели стали медленнее «умнеть», потому что «кончились данные для обучения» — MTS AI

Чем сложнее модель, тем больше данных нужно, чтобы улучшить качество её работы.

«Текстов в интернете больше нет, а новые не появляются с нужной скоростью», — сказал РБК глава ИИ-«дочки» МТС — MTS AI — Андрей Калинин. Да и многие материалы, которые всё-таки публикуются в онлайне, написаны не человеком, а нейросетью. Обучение на таких данных не сделает модель умнее: она будет «похожа на предыдущую».
Разработчики ищут альтернативу: учат нейросети на видеозаписях, аудио и изображениях. Но эффективность оценивать не спешат.
Другая проблема — вызванная санкциями дороговизна оборудования. Из-за того, что везти его приходится по схеме параллельного импорта, затраты российского бизнеса на 30% больше, чем у разработчиков из других стран. К тому же посредники рискуют попасть под санкции.
Собеседники The Information рассказывали, что нехватка данных — главная причина, по которой разница в прогрессе между ещё не представленной моделью OpenAI под кодовым названием Orion и её предшественницей не такая значительная, как было при переходе от GPT-3 к GPT-4.

В ноябре 2024 года «Сбер» и «Т-Банк» также сообщили о проблемах с поиском территорий для новых дата-центров.

#новости