Med-PaLM показал точность 67% при ответах на MedQA, наборе данных, состоящих из вопросов в стиле экзамена по медицинскому лицензированию в США, что на 17 % выше, чем точность, достигнутая предыдущим инструментом искусственного интеллекта (ИИ). Более того, Med-PaLM демонстрирует многообещающие возможности понимания, извлечения знаний и рассуждения о медицинских проблемах, хотя он все еще уступает клиницистам.
Если мы говорим вообще, без привязки к странам и конкретным моделям, то основная проблема заключаются в непонимании демографических, социальных, страновых особенностей. Текущие LLM учатся на относительно ограниченном наборе данных, часто не соответствующих реальному социуму.
Вторая, не менее важная проблема в создании очень большого объема контента с потенциальной возможностью замены сгенерированными галлюцинациями (истинными или искусственно созданными) реальных данных.
Третья - т.к. использование LLM в странах с качественной оцифрованной медициной более эффективно, нежели в других частях мира, это приведет к росту неравенства в доступности медицинской помощи.
LLM работает с разной степенью эффективности в разных демографических и социальных группах. Отчасти я это указал в статье. И пример из большого исследования, когда более социально успешной группе населения LLM предлагала более дорогостоящее лечение )