Я 8 часов тестировал модель o1 Pro за 200$ и сравнил ее с Claude Sonnet 3.5 за 20$. Вот что никто не говорит вам о разнице в реальной производительности

После всей шумихи вокруг выхода o1 Pro я решил провести обширное сравнение. Результаты оказались неожиданными, и я решил поделиться своими выводами с сообществом.

Телеграм-бот SYNTX предоставляет доступ к более чем 30 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! В боте вы найдете GPTo1/Gemini/Claude, MidJourney, DALL-E 3, Flux, Ideogram и Recraft, LUMA, Runway, Kling, Suno, Pika, Hailuo AI (Minimax), Синхронизатор губ, Редактор с 12 различными ИИ-инструментами для ретуши фото.
В боте - безлимит запросов к модели o1.

☝Это только часть функций, доступных в SYNTX!

Я проверил обе модели в идентичных сценариях, ориентируясь на реальные приложения, а не просто на бенчмарки. Каждое испытание повторялось несколько раз, чтобы обеспечить согласованность.

Сложные рассуждения. Победитель: o1 Pro (но перевес меньше, чем можно было бы ожидать) ✅ На ответы уходит на 20-30 секунд больше времени ✅ У Claude Sonnet 3.5 - до 90% точности за значительно меньшее время.
Генерация кода. ✅ Победитель: Claude Sonnet 3.5 ✅ Более чистый, более удобный для поддержки код ✅ Более качественная документация ✅ o1 Pro имеет тенденцию к чрезмерной сложности решений
Высшая математика. Победитель: o1 Pro ✅ Превосходно справляется с задачами уровня доктора философии ✅ Claude Sonnet 3.5 отлично справляется с 95% практических математических задач
Анализ зрения. Победитель: o1 Pro ✅ Детальная интерпретация изображений ✅ Claude Sonnet 3.5 пока не обладает расширенными возможностями зрения
Научное мышление. Ничья ✅ o1 Pro: более глубокий анализ ✅ Claude Sonnet 3.5: более четкие объяснения

Превосходное решение задач уровня доктора философии
Возможности зрения
Более глубокие рассуждения
Дополнительные 5-10% точности в сложных задачах

Более быстрые ответы
Более стабильная работа
Превосходная помощь в программировании
Справляется с 90-95% задач так же хорошо.

Разница во времени отклика очень заметна - o1 Pro часто требуется 20-30 секунд, чтобы «подумать»
Способности Claude Sonnet 3.5 к программированию удивительно хороши
Соотношение цены и производительности в значительной степени говорит в пользу Claude Sonnet 3.5 для большинства случаев использования

Для большинства пользователей, вероятно, нет. Вот почему:

Разница в производительности не так велика, как разница в цене
Claude Sonnet 3.5 отлично справляется с большинством практических задач
Дополнительные возможности o1 Pro полезны в основном для специализированной академической или исследовательской работы

Вам нужны возможности технического зрения
Вы работаете с математическим/научным контентом уровня доктора философии
Дополнительные 5-10% точности очень важны для вашей работы
Бюджет не является главной задачей.

Вам нужны надежные и быстрые ответы
Вы много занимаетесь программированием
Вы хотите получить оптимальное соотношение цены и качества
Вам нужны четкие и практичные решения.

Если вам не нужны возможности технического зрения или дополнительные 5-10% точности для решения специализированных задач, Claude Sonnet 3.5 за 20 долларов в месяц для большинства пользователей будет выгоднее, чем o1 Pro за 200 долларов в месяц.

Телеграм-бот SYNTX предоставляет доступ к более чем 30 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуйте бесплатно! В боте вы найдете GPTo1/Gemini/Claude, MidJourney, DALL-E 3, Flux, Ideogram и Recraft, LUMA, Runway, Kling, Suno, Pika, Hailuo AI (Minimax), Синхронизатор губ, Редактор с 12 различными ИИ-инструментами для ретуши фото.
В боте - безлимит запросов к модели o1.
☝Это только часть функций, доступных в SYNTX!

#chatgpt #gpto1 #gpto1pro

Источник статьи на английском - здесь

22 комментария

Dani4 Seo

13.12.2024

Это шутка такая? математические возможности уровня доктора философии совсем не велики. Это совсем разные и порой взаимоисключающие направления математика и философия. Философы как правило в математике совсем не сильны

Ответить