DeepSeek выпустила собственный ИИ-генератор изображений Janus-Pro. Лучше ли он, чем Dall-e 3?

Модель R-1 от DeepSeek в последние несколько дней попала в заголовки мировых СМИ. Это доступная альтернатива модели o1 от OpenAI с открытым исходным кодом. Но еще до того, как шумиха вокруг R-1 улеглась, китайский стартап представил еще одну ИИ-модель с открытым исходным кодом под названием Janus-Pro.

DeepSeek утверждает, что Janus-Pro 7B превосходит Dall-E 3 и Stable Diffusion от OpenAI в нескольких бенчмарках. Но так ли она хороша на самом деле? Соответствует ли она заявленным характеристикам, или это всего лишь очередная модель, пользующаяся шумихой вокруг ИИ?

Давайте узнаем.

Говоря простым языком, Janus-Pro - это мощная ИИ-модель, способная понимать изображения и текст, а также создавать изображения на основе текстовых описаний.

Janus-Pro - это улучшенная версия модели Janus, разработанная для унифицированного мультимодального понимания и генерации. Она имеет лучший метод обучения, больше данных и более крупную модель. Кроме того, она обеспечивает более стабильные результаты для коротких промптов, улучшенное визуальное качество, более подробные детали и возможность генерировать простой текст.

Посмотрите на несколько примеров ниже:

Новая модель также лучше справляется с рендерингом текстов.

Серия Janus-Pro включает в себя два размера моделей: 1 миллиард и 7 миллиардов, показывая масштабируемость метода визуального кодирования и декодирования. Разрешение изображения, генерируемого обеими моделями, составляет 384 × 384.

Что касается коммерческого лицензирования, то данная модель доступна с разрешительной лицензией как для научного, так и для коммерческого использования.

Друзья, буду рад, если вы подпишетесь на мой телеграм-канал про нейросети и на канал с гайдами и советами по работе с нейросетями - я стараюсь делиться только полезной информацией.

Janus-Pro использует отдельные методы визуального кодирования для задач мультимодального понимания и визуальной генерации. Такая структура направлена на смягчение конфликтов между этими двумя задачами и повышение общей производительности.

Для мультимодального понимания Janus-Pro использует кодировщик SigLIP для извлечения высокоразмерных семантических признаков из изображений, которые затем сопоставляются с входным пространством LLM с помощью адаптера понимания.

Для визуальной генерации модель использует токенизатор VQ для преобразования изображений в дискретные идентификаторы, которые затем отображаются на входное пространство LLM с помощью адаптера генерации.

При выполнении инструкций по преобразованию текста в изображение Janus-Pro-7B набирает 0,80 балла в бенчмарке GenEval, опережая другие модели, такие как Dall-E 3 от OpenAI и Stability AI от Stable Diffusion 3 Medium.

Кроме того, Janus-Pro-7B набирает 84,19 балла в DPG-Bench, превосходя все другие методы и демонстрируя свою способность следовать четким инструкциям при генерации изображения из текста.

Согласно внутренним бенчмаркам DeepSeek, модели Dall-E 3 и Stable Diffusion получили меньше баллов в бенчмарках GenEval и DPG-Bench.

Но я принимаю эту информацию с долей сомнения из-за того, как выглядят образцы изображений. Лучший способ доказать это - провести собственные тесты. Давайте посмотрим на некоторые примеры ниже:

Судя по приведенным выше примерам, Dall-E 3 явно работает лучше, чем Janus Pro. Пропорции лиц и тел на выходе Janus Pro заметно нарушены, а примеры рендеринга текста говорят о том, что и в этой области он испытывает трудности.

Вполне возможно, что я что-то упускаю - возможно, для улучшения результатов требуются особые параметры или тонкая настройка. Однако при настройках по умолчанию результат кажется неудовлетворительным.

DeepSeek выпустила Janus в открытый доступ на HuggingFace, чтобы поддержать более широкий и разнообразный спектр исследований как в научных, так и в коммерческих сообществах.

Обратите внимание, что модель Janus-Pro с 7 миллиардами параметров может съесть почти 15 гигабайт вашей внутренней памяти.

Если вы не хотите запускать модель на собственном оборудовании, вы можете просто запустить демо-версию Gradio на HuggingFace.

Пользоваться им довольно просто. Просто опишите изображение, которое вы хотите сгенерировать, и нажмите на кнопку «Generate image». Скорость генерации зависит от количества пользователей, одновременно использующих приложение.

Также вы можете попробовать функцию мультимодального понимания, загрузив изображение и попросив ИИ описать его. Вот пример:

Он точен, и я вижу в нем отличный инструмент для автокапчи или добавления alt-текстов к фотографиям.

Разработчики могут скачать модель и запустить ее на своем компьютере. Вот пример фрагмента кода для генерирования изображения из текста:

Я понимаю шумиху вокруг этой новой имиджевой модели. Люди утверждают, что это хорошая альтернатива Dall-E 3, но я с этим не согласен. Я сам пробовал Janus-Pro, но качество изображений оказалось не таким впечатляющим, как я думал.

Одно из ключевых ограничений - ограниченное разрешение - 384 × 384 пикселей. Кроме того, относительно низкое разрешение для генерации изображений в сочетании с потерями при восстановлении, вызванными токенизатором зрения, может привести к тому, что изображения не будут обладать той степенью детализации, которую ожидают многие пользователи.

Тем не менее, быстрое появление таких моделей с открытым исходным кодом, как Janus-Pro, свидетельствует о том, что DeepSeek уже позиционирует себя как грозного разрушителя в ИИ-гонке. Несмотря на существующие ограничения по качеству, их стремление к доступным, открытым инновациям, несомненно, заставит лидеров отрасли искать способы адаптации.

#januspro #deepseek

Источник статьи на английском - здесь