Работа чат-бота на основе искусственного интеллекта в оценке знаний по офтальмологии

Значимость: ChatGPT — чат-бот на основе искусственного интеллекта (ИИ), имеющий значимые социальные последствия. В медицине разрабатываются учебные программы с использованием ИИ, однако работа чат-ботов в офтальмологии до настоящего времени не была охарактеризована.

Цель: Оценить способность ChatGPT отвечать на тренировочные вопросы для подготовки к сертификационному экзамену по офтальмологии.

Дизайн, условия и участники: В поперечное исследование включили последовательную выборку текстовых вопросов с множественным выбором из банка тренировочных вопросов OphthoQuestions для подготовки к сертификационному экзамену. Из 166 доступных вопросов 125 (75%) были текстовыми.

Воздействие: ChatGPT отвечал на вопросы с 9 по 16 января 2023 года и 17 февраля 2023 года.

Основные исходы и показатели: Первичным исходом было число тренировочных вопросов для сертификационного экзамена, на которые ChatGPT ответил правильно. Вторичными исходами были доля вопросов, для которых ChatGPT приводил дополнительные пояснения, средняя длина вопросов и ответов, предоставленных ChatGPT, его результаты при ответах на вопросы без вариантов ответа и изменения результатов во времени.

Результаты: В январе 2023 года ChatGPT правильно ответил на 58 из 125 вопросов (46%). Лучшие результаты были по общей медицине (11 из 14; 79%), худшие — по разделу сетчатки и стекловидного тела (0%). Доля вопросов, к которым ChatGPT давал дополнительные пояснения, не различалась между правильно и неправильно отвеченными вопросами (разница 5,82%; 95% ДИ, от -11,0% до 22,0%; χ21 = 0,45; P = 0,51). Средняя длина вопросов также не различалась между правильно и неправильно отвеченными вопросами (разница 21,4 знака; SE 36,8; 95% ДИ, от -51,4 до 94,3; t = 0,58; df = 123; P = 0,22). Средняя длина ответов также не различалась между правильно и неправильно отвеченными вопросами (разница -80,0 знака; SE 65,4; 95% ДИ, от -209,5 до 49,5; t = -1,22; df = 123; P = 0,22). ChatGPT выбирал тот же вариант ответа, что и наиболее часто выбираемый ординаторами-офтальмологами ответ в OphthoQuestions, в 44% случаев. В феврале 2023 года ChatGPT дал правильный ответ на 73 из 125 вопросов с множественным выбором (58%) и на 42 из 78 отдельных вопросов (54%) без вариантов ответа.

Выводы и значимость: ChatGPT правильно отвечал примерно на половину вопросов в бесплатной версии OphthoQuestions для подготовки к сертификационному экзамену по офтальмологии. Медицинским работникам и обучающимся следует учитывать достижения ИИ в медицине, но при этом понимать, что в данном исследовании ChatGPT пока не демонстрировал достаточной точности, чтобы оказывать существенную помощь в подготовке к сертификационному экзамену.