Сравнение ответов врача и чат-бота на основе искусственного интеллекта на вопросы пациентов, опубликованные в общедоступном форуме в социальной сети

Значимость: Быстрое расширение виртуальной медицинской помощи привело к росту числа сообщений от пациентов, а также к увеличению нагрузки и выгорания среди медицинских работников. Помощники на основе искусственного интеллекта потенциально могут помогать в подготовке ответов на вопросы пациентов, создавая черновики, которые затем может проверить врач.</p><p>Цель: Оценить способность чат-бота на основе искусственного интеллекта (ChatGPT), выпущенного в ноябре 2022 года, давать качественные и эмпатичные ответы на вопросы пациентов.</p><p>Дизайн, условия и участники: В поперечном исследовании использовали общедоступную обезличенную базу вопросов из открытого форума в социальной сети (r/AskDocs на Reddit), из которой случайным образом отобрали 195 диалогов за октябрь 2022 года, где на публичный вопрос отвечал верифицированный врач. Ответы чат-бота получали, вводя исходный вопрос в новый сеанс 22 и 23 декабря 2022 года, без предварительных вопросов в этом сеансе. Исходный вопрос вместе с обезличенными и случайно перемешанными ответами врача и чат-бота оценивала в трёх повторностях группа лицензированных медицинских работников. Оценщики выбирали, какой ответ лучше, а также оценивали «качество предоставленной информации» (очень плохое, плохое, удовлетворительное, хорошее или очень хорошее) и «эмпатию или манеру общения у постели больного» (неэмпатичный, слегка эмпатичный, умеренно эмпатичный, эмпатичный и очень эмпатичный). Средние исходы ранжировали по 5-балльной шкале и сравнивали между чат-ботом и врачами.</p><p>Результаты: Из 195 вопросов и ответов оценщики предпочли ответы чат-бота ответам врачей в 78,6% из 585 оценок (95% ДИ 75,0–81,8%). Средняя длина ответов врачей была значительно меньше, чем у чат-бота (52 [17–62] слова против 211 [168–245] слов; t = 25,4; P < 0,001). Ответы чат-бота получили значительно более высокие оценки качества, чем ответы врачей (t = 13,3; P < 0,001). Например, доля ответов, оценённых как хорошие или очень хорошие (≥4), была выше у чат-бота, чем у врачей (чат-бот: 78,5%, 95% ДИ 72,3–84,1%; врачи: 22,1%, 95% ДИ 16,4–28,2%). Это соответствует в 3,6 раза большей распространённости ответов хорошего или очень хорошего качества у чат-бота. Ответы чат-бота также оценивались как значительно более эмпатичные, чем ответы врачей (t = 18,9; P < 0,001). Доля ответов, оценённых как эмпатичные или очень эмпатичные (≥4), была выше у чат-бота, чем у врачей (врачи: 4,6%, 95% ДИ 2,1–7,7%; чат-бот: 45,1%, 95% ДИ 38,5–51,8%). Это соответствует в 9,8 раза большей распространённости эмпатичных или очень эмпатичных ответов у чат-бота.</p><p>Выводы: В этом поперечном исследовании чат-бот формировал качественные и эмпатичные ответы на вопросы пациентов, заданные в онлайн-форуме. Необходимы дальнейшие исследования этой технологии в клинических условиях, например использование чат-бота для подготовки ответов, которые затем будут редактировать врачи. Рандомизированные исследования могли бы дополнительно оценить, может ли применение помощников на основе искусственного интеллекта улучшить ответы, снизить выгорание врачей и улучшить исходы у пациентов.