ChatGPT не сдал экзамен по семейной медицине на Тайване

Введение: Chat Generative Pre-trained Transformer (ChatGPT; OpenAI Limited Partnership, Сан-Франциско, Калифорния, США) — языковая модель искусственного интеллекта, которая становится всё более популярной благодаря обширной базе данных и способности интерпретировать различные запросы и отвечать на них. Хотя исследователи уже оценивали её возможности в разных областях, результаты зависят от предметной области. Целью настоящего исследования была дополнительная оценка возможностей ChatGPT в медицине.

Методы: Использовали вопросы экзаменационной работы 2022 года для получения сертификата специалиста по семейной медицине на Тайване. Экзамен включал вопросы на китайском и английском языках различных типов, в том числе вопросы с отрицательной формулировкой и вопросы с выбором одного ответа, и был посвящён главным образом общим медицинским знаниям. Каждый вопрос вводили в ChatGPT и регистрировали полученный ответ, сопоставляя его с правильным ответом, предоставленным экзаменационной комиссией. С помощью SAS 9.4 (Кэри, Северная Каролина, США) и Excel рассчитывали точность ответов для каждого типа вопросов.

Результаты: ChatGPT правильно ответил на 52 из 125 вопросов; точность составила 41,6%. Длина вопросов не влияла на точность ответов. Точность составила 45,5% для вопросов с отрицательной формулировкой, 33,3% — для вопросов с выбором одного ответа, 58,3% — для вопросов с взаимоисключающими вариантами ответа, 50,0% — для ситуационных задач и 43,5% — для вопросов, связанных с местной политикой Тайваня; статистически значимых различий не выявлено.

Выводы: Точность ответов ChatGPT оказалась недостаточной для успешной сдачи экзамена по семейной медицине на Тайване. Возможными причинами являются сложность специализированного экзамена и относительно небольшой объём ресурсов на традиционном китайском языке. Вместе с тем ChatGPT продемонстрировал приемлемые результаты при ответах на вопросы с отрицательной формулировкой, вопросы с взаимоисключающими вариантами ответа и ситуационные задачи, поэтому может быть полезен для обучения и подготовки к экзаменам. В дальнейших исследованиях можно изучить способы повышения точности ChatGPT при специализированных экзаменах и в других предметных областях.