Результаты ChatGPT на экзамене на получение лицензии фармацевта на Тайване

Введение: ChatGPT — модель искусственного интеллекта, обученная для ведения диалога. ChatGPT широко применяют в общем медицинском образовании и кардиологии, однако его использование в фармации изучено недостаточно. В этом исследовании оценивали точность ответов ChatGPT на экзамене на получение лицензии фармацевта на Тайване и его потенциальную роль в фармацевтическом образовании.

Методы: ChatGPT использовали для прохождения первого в 2023 году экзамена на получение лицензии фармацевта на Тайване на китайском и английском языках. Вопросы вводили вручную, по одному. Вопросы с графическими материалами, химическими формулами и таблицами исключали. Текстовые вопросы оценивали по числу правильных ответов. Баллы за вопросы с диаграммами рассчитывали путём умножения числа текстовых вопросов на долю правильных ответов. Исследование проводили с 5 по 10 марта 2023 года с использованием ChatGPT 3.5.

Результаты: Доля правильных ответов ChatGPT на вопросы на китайском и английском языках составила соответственно 54,4 и 56,9% на первом этапе и 53,8 и 67,6% на втором. В китайской версии экзамена проходной результат был получен только по фармакологии и фармацевтической химии. Результаты в английской версии были выше, чем в китайской, по всем дисциплинам; статистически значимые различия выявлены в фармацевтической технологии, клинической фармации и фармакотерапии.

Выводы: ChatGPT 3.5 не сдал экзамен на получение лицензии фармацевта на Тайване. Хотя он пока не способен пройти этот экзамен, его возможности можно быстро улучшать с помощью глубокого обучения. Это указывает на необходимость оценивать профессиональные способности фармацевтов не только с помощью тестов с вариантами ответа, но и применять в будущем более разнообразные методы оценки. Фармацевтическое образование должно изменяться в соответствии с требованиями экзамена, а студенты должны уметь использовать технологии искусственного интеллекта для самостоятельного обучения. Ещё важнее помогать студентам развивать гуманистические качества и укреплять навыки взаимодействия с пациентами, чтобы они становились чуткими медицинскими работниками.