Сравнение результатов ChatGPT-3.5, ChatGPT-4 и ординаторов по ортопедии на экзаменах по оценке знаний в ортопедии

Введение: Программы искусственного интеллекта способны отвечать на сложные вопросы, включая экзаменационные задания для медицинских специальностей. Целью исследования было сравнить результаты ординаторов по ортопедии с результатами Chat Generative Pretrained Transformer (ChatGPT)-3.5 и GPT-4 на экзаменах по оценке знаний в ортопедии. Дополнительной целью был подгрупповой анализ с сопоставлением результатов каждой группы на вопросах с интерпретацией изображений и на вопросах только с текстом.

Методы: В качестве основного источника вопросов использовали банк экзаменационных заданий ResStudy по ортопедии. Сто восемьдесят вопросов и варианты ответов из девяти различных ортопедических субспециальностей напрямую вводили в ChatGPT-3.5, а затем в GPT-4. Поскольку у ChatGPT не было стабильно доступной интерпретации изображений, изображения не предоставляли ни одной из ИИ-систем. Ответы чат-бота фиксировали как правильные или неправильные, а результаты ординаторов учитывали на основании пользовательских данных, предоставленных ResStudy.

Результаты: В целом ChatGPT-3.5, GPT-4 и ординаторы по ортопедии набрали 29,4%, 47,2% и 74,2% соответственно. Между тремя группами были различия по успешности тестирования; ординаторы по ортопедии показали более высокие результаты, чем ChatGPT-3.5 и GPT-4 (P < 0,001 и P < 0,001). GPT-4 показал более высокие результаты, чем ChatGPT-3.5 (P = 0,002). Подгрупповой анализ проводили, разделив вопросы на задания без изображений и задания с изображениями. ChatGPT-3.5 чаще отвечал правильно на текстовые вопросы, чем на вопросы с изображениями (37,8% против 22,4% соответственно, OR = 2,1, P = 0,033), и аналогично GPT-4 чаще отвечал правильно на текстовые вопросы, чем на вопросы с изображениями (61,0% против 35,7%, OR = 2,8, P < 0,001). У ординаторов правильные ответы составили 72,6% при текстовых вопросах и 75,5% при вопросах с изображениями; различий не было (P = 0,302).

Выводы: Ординаторы по ортопедии отвечали на вопросы экзаменационной оценки знаний точнее, чем ChatGPT-3.5 и GPT-4. GPT-4 превосходил ChatGPT-3.5 при ответах на вопросы экзамена для ординаторов по ортопедии. И ChatGPT-3.5, и GPT-4 лучше справлялись с вопросами только с текстом, чем с вопросами, содержащими изображения. Маловероятно, что GPT-4 или ChatGPT-3.5 смогли бы сдать письменный экзамен Американского совета по ортопедической хирургии.