Качество информации и уместность ответов ChatGPT для пациентов урологического профиля

Введение: Доля поисковых запросов о здоровье в интернете постоянно растёт. ChatGPT — инструмент обработки естественного языка, разработанный OpenAI, — привлекает всё больше пользователей и потенциально может служить источником информации по вопросам здоровья. Цель исследования — оценить качество и уместность ответов ChatGPT на клинические случаи из урологии по сравнению с ответами уролога.

Методы: В ChatGPT последовательно, по одному, вводили данные 100 клинических случаев, включавшие демографические характеристики пациентов, анамнез и урологические жалобы. ChatGPT просили указать наиболее вероятный диагноз, рекомендуемые обследования и варианты лечения. Полученные ответы сравнивали с ответами уролога, имеющего сертификат специалиста и не знавшего ответов ChatGPT. Уместность оценивали по 5-балльной шкале Лайкерта с учётом точности, полноты и ясности. Качество информации оценивали по разделу 2 инструмента DISCERN, а удобочитаемость — с помощью формул Flesch Reading Ease (FRE) и Flesch-Kincaid Reading Grade Level (FKGL).

Результаты: Уместными признали 52% ответов. Для заболеваний, не связанных с онкологией, доля уместных ответов ChatGPT составила 58,5%, для онкологических заболеваний — 52,6%, а для неотложных урологических состояний — 11,1% (p = 0,03). Медиана оценки по DISCERN составила 15 (межквартильный размах — 5,3), что соответствует низкому качеству информации. Ответы ChatGPT были рассчитаны на уровень чтения, соответствующий выпускнику вуза: медиана FRE составила 18 (межквартильный размах — 21), медиана FKGL — 15,8 (межквартильный размах — 3).

Выводы: ChatGPT может служить интерактивным источником медицинской информации в интернете и потенциально способствовать улучшению исходов лечения и удовлетворённости пациентов. Однако недостаточная уместность и низкое качество ответов на урологические клинические случаи подчёркивают необходимость тщательно оценивать ответы, созданные средствами обработки естественного языка, и осторожно использовать их при решении вопросов, связанных со здоровьем.