Соответствие и читаемость ответов, сгенерированных ChatGPT-4, по вопросам хирургического лечения заболеваний сетчатки

Цель: Оценить соответствие и читаемость медицинской информации, предоставляемой ChatGPT-4 — поисковой диалоговой системой на основе искусственного интеллекта, — в отношении распространённых витреоретинальных операций при отслойке сетчатки (ОС), макулярном отверстии (МО) и эпиретинальной мембране (ЭРМ).

Дизайн: Ретроспективное поперечное исследование.

Объекты исследования: Исследование не включало участников-людей.

Методы: Были составлены перечни распространённых вопросов об определении, распространённости, влиянии на зрение, методах диагностики, хирургических и нехирургических вариантах лечения, послеоперационном периоде, осложнениях, связанных с операцией, и прогнозе зрения при ОС, МО и ЭРМ. Каждый вопрос трижды задавали на онлайн-платформе ChatGPT-4. Данные для этого поперечного исследования регистрировали 25 апреля 2023 года. Два независимых специалиста по заболеваниям сетчатки оценивали соответствие ответов. Читаемость определяли с помощью онлайн-инструмента Readable.

Основные оцениваемые показатели: «Соответствие» и «читаемость» ответов, сгенерированных ChatGPT-4.

Результаты: Ответы неизменно соответствовали поставленным вопросам в 84,6% случаев (33/39) для ОС, 92% (23/25) для МО и 91,7% (22/24) для ЭРМ. Ответы были некорректными хотя бы один раз для 5,1% (2/39), 8% (2/25) и 8,3% (2/24) соответствующих вопросов. Средние значения уровня образования по шкале Флеша—Кинкейда и индекса удобочитаемости Флеша составили 14,1 ± 2,6 и 32,3 ± 10,8 для ОС, 14 ± 1,3 и 34,4 ± 7,7 для МО и 14,8 ± 1,3 и 28,1 ± 7,5 для ЭРМ соответственно. Эти показатели свидетельствуют о том, что ответы трудны или очень трудны для чтения среднестатистическим неспециалистом; для понимания материала требуется высшее образование.

Выводы: Большинство ответов, предоставленных ChatGPT-4, неизменно соответствовали поставленным вопросам. Однако ChatGPT и другие модели естественного языка в их нынешнем виде не являются источниками достоверной фактической информации. Повышение достоверности и читаемости ответов, особенно в специализированных областях, таких как медицина, остаётся важнейшим направлением исследований. Пациентов, врачей и неспециалистов следует информировать об ограничениях этих инструментов при консультировании по вопросам здоровья глаз и общего состояния здоровья.

Финансовая информация: Информация о патентованных разработках или коммерческих интересах может быть приведена в примечаниях и разделе раскрытия информации в конце статьи.