Оценка точности ответов языковой модели ChatGPT на вопросы, касающиеся бариатрической хирургии

Цель: ChatGPT — это большая языковая модель, обученная на большом массиве данных, охватывающем широкий круг тем, включая медицинскую литературу. Целью исследования было оценить точность и воспроизводимость ее ответов на вопросы пациентов о бариатрической хирургии.

Материалы и методы: Вопросы были собраны из материалов общенационально признанных профессиональных обществ и медицинских учреждений, а также из групп поддержки в Facebook. Точность и воспроизводимость ответов оценивали сертифицированные бариатрические хирурги. Шкала оценки включала следующие категории: (1) исчерпывающий ответ, (2) правильный, но недостаточно полный, (3) частично правильный и частично неправильный, (4) полностью неправильный. Воспроизводимость определяли, задавая модели каждый вопрос дважды и анализируя различия в категории оценки между двумя ответами.

Результаты: Всего включили 151 вопрос, связанный с бариатрической хирургией. Модель дала «исчерпывающие» ответы на 131 из 151 вопроса (86,8%). При анализе по категориям модель дала «исчерпывающие» ответы на 93,8% вопросов, связанных с «эффективностью, показаниями и вариантами операции»; на 93,3% вопросов о «предоперационной подготовке»; на 85,3% вопросов о «восстановлении, рисках и осложнениях»; на 88,2% вопросов об «изменении образа жизни»; и на 66,7% вопросов по категории «прочее». Модель дала воспроизводимые ответы на 137 вопросов (90,7%).

Выводы: Большая языковая модель ChatGPT часто давала точные и воспроизводимые ответы на распространенные вопросы, связанные с бариатрической хирургией. ChatGPT может служить полезным дополнительным источником информации для пациентов по вопросам бариатрической хирургии в дополнение к стандартной помощи, оказываемой лицензированными медицинскими работниками. Мы призываем к дальнейшим исследованиям, чтобы изучить, как использовать эту прорывную технологию для улучшения исходов у пациентов и качества жизни.