MTS AI: Большие языковые модели замедляют развитие из-за нехватки данных для обучения
Развитие больших языковых моделей сталкивается с серьёзной проблемой: данные для их обучения практически исчерпаны. Андрей Калинин, глава MTS AI, в интервью РБК отметил, что объём текстов в интернете достиг потолка, а новые материалы появляются недостаточно быстро или не обладают необходимым качеством.
Пользуйся ChatGPT 4 бесплатно в нашем Telegram-канале! Генерируй тексты, решай задачи, пиши код и находи идеи для работы или учёбы без затрат. Удобный доступ, полезные лайфхаки и максимум возможностей ИИ — всё в одном месте. Подключайся и начни работать с ИИ прямо сейчас!
Почему обучение стало сложнее
- Истощение источников данных: В интернете всё чаще публикуются тексты, созданные самими нейросетями. Использование таких данных в обучении приводит к деградации качества моделей: они начинают «замыкаться в себе» и генерировать слишком предсказуемые или шаблонные ответы.
- Огромные требования: Чем сложнее языковая модель, тем больше данных требуется для её улучшения. Например, прогресс между GPT-4 и ожидаемой моделью OpenAI Orion оказался менее впечатляющим, чем между GPT-3 и GPT-4.
- Эксперименты с мультимодальными данными: Разработчики обращаются к альтернативным источникам — обучают модели на видео, аудио и изображениях. Однако эффективность такого подхода ещё требует оценки.
Технологические и экономические барьеры
Российские разработчики сталкиваются с дополнительными трудностями:
- Дороговизна оборудования. Санкции вынуждают использовать параллельный импорт, из-за чего затраты российских компаний на 30% выше, чем у зарубежных конкурентов.
- Риски посредников. Компании, которые помогают в поставках оборудования, также подвержены санкциям, что затрудняет доступ к необходимым ресурсам.
Что дальше?
По словам Калинина, текущая ситуация требует новых подходов. Возможное решение — улучшение обработки мультимодальных данных или поиск других нестандартных источников для обучения моделей. Тем не менее, прогресс в разработке больших языковых моделей становится всё более затратным и замедляется.