Новая модель OpenAI gpt-4o на примере реального продукта

Обновили модель gpt-4o в приложении нашего клиента - Summarizer, сразу же рассказываем об эффекте после изменений.

На этой неделе отгремела презентация от OpenAI, на которой они представили новую модель - GPT-4o. В основном рассказывали про пользовательские изменения - появилось десктоп приложение, крутая модель стала доступна в бесплатном доступе, генерация голосового ответа стала более человечной и генирируется практически моментально и много других интересных фич.

Нас больше всего интересуют возможности, которые открывает новая модель в плане API, поскольку мы используем его для работы Summarizer. Что нам обещают:

Меньший расход токенов

Чем меньше токенов расходуется, тем дешевле для разработчика обработка информации. С новой моделью расход уменьшился с 1.1 раза (для английского), до 4.4 раза (для языка Gujarati). Про русский тоже не забыли

Более быстрая обработка

На презентации объявили, что обработка в два раза быстрее по сравнению с GPT-4-Turbo

Понимание текста

В бенчмарках по когнитивным способностям модель тоже всех порвала и вырвалась на первое место:

Давайте скорее посмотрим, как обновление показывает себя на реальном продукте!

Сравнивать будем две модели - новую GPT-4o (gpt-4o-2024-05-13) и последнюю GPT-4-Turbo (gpt-4-0125-preview). В каждую модель отправим видео на русском и английском, чтобы сравнить данные для основного и иностранного для модели языка

gpt-4-0125-preview

gpt-4o-2024-05-13

Цена обработки оказалась в два раза меньше! Уже это можно считать победой. По токенам все не так круто, как рисует нам OpenAI, для русского языка уменьшение получилось только в 1.4 раза, а для английского ничего не поменялось. Но это в любом случае неплохо, плюс надо бы собрать больше данных, чтобы сделать более реальные выводы.

Время обработки уменьшилось не сильно, всего на 10-11 секунд как для английского, так и для русского видео. Это связано с тем, что помимо gpt в приложении используется whisper, который переводит аудио в текст, чтобы отправить его на суммаризацию в gpt. Обновления whisper у OpenAI в этот раз не было, так что там без изменений (но мы очень ждем!).

Сравнивать будем то же самое - две модели и два языка. Для лучшего понимания и оценивания результатов расскажу про видео

английский - презентация gpt-4o (что же еще я мог взять для этой статьи)

русский - классификация гравийных велосипедов (тут чисто личный интерес)

Summary

Action points

Здесь уже сложно делать какие-либо количественные выводы, больше вопрос субъективного восприятия. Кажется разница минимальна. Возможно, это связано с тем, что использовался один и тот же промпт для обеих моделей, который изначально писался под старую версию.

Нашей следующей задачей будет переработать промпт, чтобы лучше использовать новые когнитивные способности GPT-4o.

Если у вас есть продукт с gpt под капотом, то обновляться на новую модель однозначно нужно. Вы сможете сократить расходы на токены API и уменьшить время обработки без доработки промптов, не потеряв при этом в качестве результатов.

Пишите в комментариях какие у вас впечатления о новой модели OpenAI, не только в плане API, но и в приложении ChatGPT.