Большие языковые модели стали медленнее «умнеть», потому что «кончились данные для обучения» — MTS AI
Чем сложнее модель, тем больше данных нужно, чтобы улучшить качество её работы.
- «Текстов в интернете больше нет, а новые не появляются с нужной скоростью», — сказал РБК глава ИИ-«дочки» МТС — MTS AI — Андрей Калинин. Да и многие материалы, которые всё-таки публикуются в онлайне, написаны не человеком, а нейросетью. Обучение на таких данных не сделает модель умнее: она будет «похожа на предыдущую».
- Разработчики ищут альтернативу: учат нейросети на видеозаписях, аудио и изображениях. Но эффективность оценивать не спешат.
- Другая проблема — вызванная санкциями дороговизна оборудования. Из-за того, что везти его приходится по схеме параллельного импорта, затраты российского бизнеса на 30% больше, чем у разработчиков из других стран. К тому же посредники рискуют попасть под санкции.
- Собеседники The Information рассказывали, что нехватка данных — главная причина, по которой разница в прогрессе между ещё не представленной моделью OpenAI под кодовым названием Orion и её предшественницей не такая значительная, как было при переходе от GPT-3 к GPT-4.
Источник фото: РБК
- В ноябре 2024 года «Сбер» и «Т-Банк» также сообщили о проблемах с поиском территорий для новых дата-центров.
Поправочка: кончились незаблокированные и одобренные цензурой данные для обучения) Как оказалось, россиянам осталось не так уж много доступного из всего многообразия информации в интернете.
Чуваки обучили свою нейронку на 1.5B на материалах рувики и кремлин.ру — и данные закончились
Ващи 15 центов, мистер
— Скайнет Кэмерона: практически уничтожил человечество. Эх, если бы не этот Коннор!
— Скайнет реальности: пускает слюни и пишет рефераты шестиклассникам на основе других рефератов шестиклассников, написанных им же.
Заметили - у чуваков, которые обещают AGI через год, то нелепые шляпы, то хипстеркие бусы, то контрольный пакет в Nvidia.
Там на книгах не выходит учить? Или на материалах из научных изданий? Главное не актуальность. А если с такими знаниями зашли в тупик, то явно где-то упущение
Думаете шизиков не публикуют?