ChatGPT превзошел врачей в диагностике
** Еще больше интересного в моем канале продуктовые штучки**
Причем с серьезным отрывом. Предсказуемо? И да, и нет, ведь врачи могли пользоваться ChatGPT. Читайте, как (и главное — почему) это произошло.
Врачи, которым был предоставлен ChatGPT-4 вместе с обычными ресурсами, показали результаты лишь немного лучше, чем врачи, у которых не было доступа к чат-боту. К удивлению исследователей, ChatGPT превзошел врачей.
Чат-бот от компании OpenAI получил 90% правильных ответов при диагностике заболевания. Врачи, которым случайным образом было назначено использовать чат-бот, получили средний балл 76%. Против 74% у тех, кому случайным образом было назначено не использовать ChatGPT.
Почему так произошло?
Исследование продемонстировало непоколебимую веру врачей в поставленный ими диагноз.
Автор исследования, доктор Родман, решил просмотреть журналы сообщений между врачами и ChatGPT. Оказывается, врачи не слушали чат-бота, когда он указывал на что-то, что противоречило их диагнозам, и были привязаны к своему собственному представлению о правильном диагнозе.
Но была и другая проблема: многие врачи не знали, как использовать чат-бота в полной мере. Исследование продемонстрировало, что, хотя врачи используют ИИ инструменты в своей работе, и немногие знают, как максимизмировать использование возможностей чат-ботов.
Врачи относились к чату как к поисковой системе для ответов на вопросов: «Является ли цирроз фактором риска рака? Каковы возможные диагнозы глазной боли?». Лишь часть врачей поняла, что они могут буквально скопировать и вставить всю историю болезни в чат-бот и просто попросить его дать исчерпывающий ответ.
В результате они не смогли воспользоваться способностью ИИ систем решать сложные диагностические задачи. Похоже, предстоит пройти долгий путь, прежде чем этот потенциал будет реализован.
Как проводился эксперимент?
В эксперименте приняли участие 50 врачей, ординаторы и лечащие врачи из нескольких крупных американских больничных сетей, результаты были опубликованы недавно в журнале JAMA Network Open.
Испытуемым было предоставлено шесть историй болезни, они оценивались по их способности предлагать диагнозы и объяснять, почему они их поддерживают или исключают. Их оценки также включали правильность окончательного диагноза. Оценивали медицинские эксперты, которые видели только ответы, не зная, каким образом был получен этот ответ (были ли они от врача с ChatGPT, врача без него или от самого ChatGPT).
Истории болезни в исследовании были реальныхми и являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означает, что ChatGPT не мог быть обучен на них.
Чтобы проиллюстрировать результаты, исследователи опубликовали один из шести кейсов вместе с ответами на вопросы от врачей, которые набрали самый высокий и низкий баллы.
По данным материала New York Times