Оценка качества ответов ChatGPT на вопросы о циррозе печени и гепатоцеллюлярном раке

Введение и цель: Пациентам с циррозом печени и гепатоцеллюлярным раком (ГЦР) необходима всесторонняя индивидуализированная помощь для улучшения исходов. Большая языковая модель ChatGPT (генеративный предварительно обученный трансформер) может предоставлять профессиональную информацию в доступной для пациентов форме. Цель исследования — оценить точность и воспроизводимость ответов ChatGPT на вопросы о знаниях, лечении и эмоциональной поддержке при циррозе и ГЦР.

Методы: Ответы ChatGPT на 164 вопроса независимо оценили два гепатолога-трансплантолога; разногласия разрешал третий эксперт. Работу модели также оценили с помощью двух опубликованных опросников и 26 вопросов, сформулированных на основе показателей качества ведения пациентов с циррозом. Кроме того, проверили способность модели оказывать эмоциональную поддержку.

Результаты: ChatGPT правильно ответил на 79,1% вопросов о циррозе и 74,0% вопросов о ГЦР, однако исчерпывающими признали лишь 47,3% и 41,1% ответов соответственно. Модель лучше справлялась с вопросами о базовых знаниях, образе жизни и лечении, чем о диагностике и профилактической медицине. На вопросы о показателях качества ведения цирроза модель ответила правильно в 76,9% случаев, но не указывала пороговые значения для принятия решений и длительность лечения. ChatGPT не учитывал региональные различия клинических рекомендаций, например критериев скрининга ГЦР. Вместе с тем модель давала пациентам и лицам, ухаживающим за ними, практические разносторонние рекомендации о дальнейших действиях и адаптации к новому диагнозу.

Выводы: Мы оценили сильные стороны и ограничения ответов ChatGPT по вопросам ведения цирроза и ГЦР, а также эмоциональной поддержки пациентов. ChatGPT может служить дополнительным источником информации для пациентов и врачей и способствовать улучшению исходов.