Оценка пределов применения ИИ в специализированном медицинском образовании: результаты ChatGPT на экзамене на сертификат специалиста по неврологии в Великобритании

Введение: Большие языковые модели, такие как ChatGPT, показали потенциал в качестве новых инструментов для медицинского образования и практики: исследования свидетельствуют, что они могут набирать на общих медицинских экзаменах и стандартизированных вступительных тестах баллы на уровне проходного порога или близкие к нему. Однако их результаты в системе медицинского образования Великобритании, особенно на уровне специализации и в области неврологии и нейронаук, не оценивались.

Методы: Мы оценили результаты ChatGPT при подготовке по неврологии и нейронаукам на этапе углублённой специализации, используя 69 вопросов из банка вопросов по неврологии для экзамена на сертификат специалиста (SCE). Вопросы касались преимущественно неврологии (80%) и охватывали такие темы, как симптомы и признаки, диагностика, интерпретация данных и тактика ведения; некоторые вопросы относились к отдельным группам пациентов. Результаты моделей ChatGPT 3.5 Legacy, ChatGPT 3.5 Default и ChatGPT-4 оценивали и сравнивали между собой.

Результаты: Точность ответов ChatGPT 3.5 Legacy и ChatGPT 3.5 Default составила 42% и 57% соответственно — ниже проходного порога 58% на экзамене SCE по неврологии 2022 года. ChatGPT-4 показал наилучший результат — 64%, превысив проходной порог и опередив предыдущие модели по всем областям и подтемам.

Выводы: Улучшение результатов ChatGPT-4 по сравнению с предыдущими моделями указывает на потенциал искусственного интеллекта (ИИ) в специализированном медицинском образовании и практике. Вместе с тем для обеспечения актуальности и надёжности моделей в быстро меняющейся области медицины необходимы их дальнейшее совершенствование и сотрудничество разработчиков ИИ с медицинскими экспертами.