Процессоры для обучения ИИ и обработки видео, нейросеть для генерации кода: Meta* — о планах в области ИИ

Также компания рассказала о новых дата-центрах, предназначенных для работы с ИИ.

Meta* провела виртуальное мероприятие, на котором рассказала о своих усилиях в области ИИ, пишет TechCrunch. В том числе — по разработке собственной инфраструктуры для ИИ-проектов.

До 2022 года Meta* использовала для ИИ-разработок CPU-процессоры — но те плохо справляются с задачами, которые нужны для обучения и запуска ИИ-моделей. В итоге компания заказала GPU от Nvidia на «миллиарды долларов», а также решила разработать собственный чип, который, по данным источников, планировала выпустить к 2025 году.
Этот процессор стал центральной темой мероприятия. Он называется Meta Training and Inference Accelerator (MTIA), и Meta* описывает его как «часть семейства чипов» для ускорения обучения ИИ и запуска обученной модели.

Как утверждает компания, первое поколение MTIA — MTIA v1 — она создала ещё в 2020 году, чтобы повысить эффективность рекомендательной модели, которую она использует для показа рекламы и контента в ленте новостей в соцсетях. Также он пока не подходит для обучения ИИ.
Meta* признала, что процессор столкнулся с проблемами при обработке сложных моделей, но обрабатывал модели «средней и низкой» сложности «гораздо лучше, чем чипы конкурентов». Планы по разработке следующих поколений Meta* не раскрывает.

Процессор MTIA

В дополнение к этому компания разрабатывает ещё один процессор — Meta Scalable Video Processor (MSVP). Он предназначен для обработки видео и прямых трансляций.

Процессор MSVP

Meta* представила суперкомпьютер AI Research SuperCluster (RSC), который предназначен для работы с задачами искусственного интеллекта, в январе 2022 года.
Сейчас компания заявила, что она завершила второй этап сборки для него. Он состоит из 2000 систем Nvidia DGX A100, которые в общей сложности содержат 16 тысяч графических процессоров для ускорения вычислений.

Компания собирается перепроектировать свои центры обработки данных (ЦОД) — для этого она будет использовать более современные системы охлаждения и сетевые устройства, предназначенные для работы с ИИ.
По мнению Meta*, новые ЦОДы будут более оптимизированы для работы с ИИ, а построить такой центр можно будет в два раза быстрее, чем обычный. При этом он обойдётся дешевле.

Meta рассказала, что разработала собственную нейросеть для генерации кода — CodeCompose. Выкладывать её в публичный доступ компания пока не собирается, а используют нейросеть сотрудники Meta*.
По данным компании, самая большая из нескольких обученных моделей CodeCompose содержит 6,7 млрд параметров — это вполовину меньше, чем у Copilot от Microsoft и OpenAI, отмечает TechCrunch. Нейросеть сделана на основе InCoder — генеративной модели для создания кода и редактирования текста, которую Meta* показала в апреле 2022 года.
CodeCompose умеет предлагать отдельные строки кода по мере его написания, и работает скорее как помощник, который может предлагать подсказки.