Интеграция ChatGPT в обучение студентов медицинских вузов ортопедии: рандомизированное контролируемое исследование

Введение: ChatGPT — модель обработки естественного языка, разработанная компанией OpenAI; её можно итеративно обновлять и оптимизировать с учётом меняющихся и сложных требований человеческой речевой коммуникации.

Цель: Оценить точность ответов ChatGPT на тестовые задания с единственным правильным ответом по ортопедии и краткосрочное влияние ChatGPT как учебного инструмента в рамках рандомизированного контролируемого исследования. Кроме того, по результатам итоговых экзаменов оценивали долгосрочное влияние на успеваемость студентов по другим дисциплинам.

Методы: Сначала оценивали точность ответов ChatGPT на тестовые задания по ортопедии различных форматов. Затем 129 студентов медицинского вуза приняли участие в рандомизированном контролируемом исследовании: студенты группы ChatGPT использовали ChatGPT как учебный инструмент, а студентам контрольной группы запрещалось использовать программное обеспечение на основе искусственного интеллекта для поддержки обучения. После двухнедельного вмешательства уровень знаний по ортопедии оценивали с помощью теста по ортопедии; различия в успеваемости по другим дисциплинам оценивали при последующем наблюдении в конце семестра.

Результаты: ChatGPT-4.0 правильно ответил на 1051 тестовое задание по ортопедии в 70,60% случаев (742/1051): точность составила 71,8% (237/330) для заданий A1, 73,7% (330/448) для заданий A2, 70,2% (92/131) для заданий A3/4 и 58,5% (83/142) для заданий с анализом клинических случаев. По состоянию на 7 апреля 2023 года в исследовании участвовали 129 человек. На разных этапах из исследования выбыли 19 человек; таким образом, по состоянию на 1 июля 2023 года исследование завершили 110 участников, прошедших всё последующее наблюдение. После краткосрочного изменения подхода к обучению студенты группы ChatGPT набрали больше правильных ответов в тесте по ортопедии, чем студенты контрольной группы (среднее значение 141,20; SD 26,68 против 130,80; SD 25,56; P=.04), особенно в заданиях A1 (46,57; SD 8,52 против 42,18; SD 9,43; P=.01), A2 (60,59; SD 10,58 против 56,66; SD 9,91; P=.047) и A3/4 (19,57; SD 5,48 против 16,46; SD 4,58; P=.002). В конце семестра студенты группы ChatGPT также показали более высокие результаты на итоговых экзаменах по хирургии (76,54; SD 9,79 против 72,54; SD 8,11; P=.02) и акушерству и гинекологии (75,98; SD 8,94 против 72,54; SD 8,66; P=.04), чем студенты контрольной группы.

Выводы: ChatGPT точно отвечает на тестовые задания по ортопедии, а студенты, использующие его, показывают лучшие результаты при краткосрочной и долгосрочной оценке знаний. Полученные данные убедительно подтверждают целесообразность интеграции ChatGPT в медицинское образование для совершенствования современных методов обучения.

Регистрация исследования: Chinese Clinical Trial Registry, Chictr2300071774; https://www.chictr.org.cn/hvshowproject.html?id=225740&v=1.0.