ChatGPT: Точность и Применение в 2024 году (последние данные)

С каждым обновлением ChatGPT становится все более мощным инструментом, однако его точность остается ключевым вопросом. В среднем, ChatGPT показывает точность около 88%, что подтверждается последними исследованиями Massive Multitask Language Understanding (MMLU). Точность модели варьируется в зависимости от языка и сложности запроса.

На точность ChatGPT влияют несколько факторов, включая качество и конкретность запросов. Лучше всего он работает на английском языке, где модель была обучена наибольшим количеством данных. Тем не менее, точность может изменяться со временем, что подчеркивает необходимость постоянного мониторинга и обновлений. Кто каждый день работает с большим объемом мог заметить галлюцинации, а кто пользовался GPT 3.5 мог заменить это чаще всего.

Исследования показали, что точность ChatGPT может как улучшаться, так и ухудшаться с течением времени. Например, способность модели правильно определять простые числа уменьшилась с 84% до 51% за несколько месяцев в 2023 году. Этот феномен известен как "дрейф" модели, вызванный изменениями в её алгоритмах.

В тестах на классификацию текстов ChatGPT-4o достиг 99% точности, превосходя многие другие модели, включая Google’s Gemini и Claude. Однако в некоторых задачах, таких как понимание текста на нескольких языках, конкуренты могут показывать лучшие результаты.

В медицинской сфере ChatGPT также продемонстрировал значительные достижения. Например, в тестах на лицензирование врачей в США, модели удалось превзойти 50% точность, а иногда даже достичь 60%, что является проходным баллом экзамен Medical Knowledge Self-Assessment Program Exam . Это делает ChatGPT полезным инструментом для медицинских исследований и обучения.

Точность ChatGPT-4 может упасть до 50% при ответе на запросы изображений. В марте 2024 года пользователь на форумах OpenAI сообщил о проблеме с использованием модели предварительного просмотра зрения GPT-4. Бот, который интерпретировал вопросы из изображений, изначально отвечал с точностью 80-90%. Но затем точность упала до 50%.

Другие пользователи не знали причин этого явления. Один из них упомянул слухи о том, что ChatGPT может становиться «ленивым». Это может быть связано с тем, что точность ChatGPT изменяется со временем, согласно исследованиям.

Точность ChatGPT продолжает развиваться, и его использование требует внимательного подхода к формулировке запросов и понимания его ограничений. С постоянным улучшением и адаптацией модели, ChatGPT остается одним из ведущих инструментов в области ИИ, способным решать широкий спектр задач.