Оценка эффективности ChatGPT в офтальмологии: анализ сильных и слабых сторон

Цель: Оценить точность ChatGPT — большой языковой модели (LLM) — при ответах на вопросы по офтальмологии. Базовые модели — это новый тип алгоритмов искусственного интеллекта, предварительно обучаемых на больших массивах неразмеченных данных и затем настраиваемых для решения множества задач, например генерации текста.

Дизайн: Оценка диагностического теста или технологии.

Участники: Общедоступная большая языковая модель ChatGPT.

Методы: Мы протестировали две версии ChatGPT — предыдущую версию от 9 января («legacy») и ChatGPT Plus — на двух популярных базах вопросов с выбором ответа, используемых при подготовке к экзамену Ophthalmic Knowledge Assessment Program (OKAP), имеющему важное значение для профессиональной аттестации. Были сформированы два пробных экзамена по 260 вопросов на основе раздела самопроверки Basic and Clinical Science Course (BCSC) и онлайн-базы вопросов OphthoQuestions. С помощью логистической регрессии оценили влияние раздела экзамена, уровня когнитивной сложности и индекса трудности на точность ответов. В дополнительном апостериорном анализе с применением критерия Тьюки проверили, различалась ли эффективность модели между субспециальностями.

Основные оцениваемые показатели: Точность ChatGPT для каждого раздела экзамена — доля правильных ответов при сравнении с ключами, предоставленными в базах вопросов. Результаты логистической регрессии представлены с использованием критерия хи-квадрат отношения правдоподобия (LR). Различия между разделами экзамена считали статистически значимыми при P менее 0,05.

Результаты: Точность предыдущей версии ChatGPT составила 55,8% на наборе BCSC и 42,7% на наборе OphthoQuestions. Для ChatGPT Plus точность повысилась до 59,4% ± 0,6% и 49,2% ± 1,0% соответственно. При поправке на раздел экзамена и уровень когнитивной сложности точность была выше при ответах на более простые вопросы. По результатам логистической регрессии для предыдущей версии наиболее сильными предикторами точности были раздел экзамена (LR = 27,57; P = 0,006), а затем трудность вопроса (LR = 24,05; P менее 0,001). Предыдущая версия лучше всего справлялась с вопросами по общей медицине, а хуже всего — по нейроофтальмологии (P менее 0,001) и офтальмопатологии (P = 0,029). При использовании ChatGPT Plus подобных различий в дополнительном анализе не выявлено, что указывает на более стабильные результаты в разных разделах экзамена.

Выводы: ChatGPT показал обнадёживающие результаты на пробном экзамене OKAP. Для повышения эффективности больших языковых моделей в офтальмологических субспециальностях может потребоваться предварительное обучение на профильных данных.

Финансовые интересы: Сведения об имущественных или коммерческих интересах могут быть приведены после списка литературы.