Meta* представила семейство мультимодальных моделей Llama 4 — на 109 млрд, 400 млрд и 2 трлн параметров

Одна из них по ряду бенчмарков обходит или сопоставима с Gemini 2.0 Flash, DeepSeek v3.1 и GPT-4o, как утверждает компания.

Общее количество параметров у Llama 4 Scout — 109 млрд. Из них активны 17 млрд. Контекстное окно составляет 10 млн токенов, что равнозначно примерно 15 тысячам страниц текста.
Scout мощнее всех моделей предыдущего поколения, запускается на одной видеокарте Nvidia H100 и, по словам компании, по ряду бенчмарков показывает себя лучше Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1.

Llama 4 Maverick — «самая мощная» открытая мультимодальная модель компании на текущий момент. Всего параметров — 400 млрд. Активных — 17 млрд. Контекстное окно — 1 млн (около 1500 страниц текста).
В некоторых тестах она обходит GPT-4o и Gemini 2.0 Flash, а по части «рассуждений» и написания кода сопоставима с новой DeepSeek v3.
Обе модели распознают текст и изображения (до пяти картинок на вход), но в ответ пока генерируют только текст. База знаний — по август 2024 года. Архитектура — «мультиэкспертная» (включаются только те «эксперты», что нужны для конкретной задачи). У Scout их 16, а у Maverick — 128.
Основные языки — английский, арабский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский. Но в предобучении их было больше 200. На изображениях распознают только английский.
Скачать Scout и Maverick можно на llama.com и Hugging Face. Их также добавили в ИИ-ассистента Meta AI, который доступен в соцсетях и приложениях компании в 40 странах.

Веса для третьей модели — Llama 4 Behemoth — не выпустили. Её использовали для обучения Scout и Maverick и всё ещё обучают её саму. Дату релиза не назвали.
У Behemoth 2 трлн параметров при 288 млрд активных. По словам компании, она «превосходит» GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro по ряду STEM-бенчмарков.

*Meta признана в России экстремистской организацией и запрещена.

#новости