Точность информации и ссылок при использовании ChatGPT-3 для поиска клинической радиологической информации

Цель: оценить точность ответов ChatGPT-3 на вопросы из повседневной практики врачей-рентгенологов, а также оценить текстовые ответы при запросе ссылок на источники для данного ответа. ChatGPT-3 (San Francisco, OpenAI) — чат-бот на основе большой языковой модели (LLM), предназначенный для генерации текста, имитирующего человеческую речь. С помощью текстовых запросов ChatGPT-3 задали 88 вопросов, равномерно распределённых по 8 субспециальностям радиологии. Правильность ответов оценивали путём сопоставления с рецензируемыми источниками, представленными в базе PubMed. Кроме того, оценивали подлинность ссылок, предоставленных ChatGPT-3.

Правильными оказались 59 из 88 ответов (67%), тогда как в 29 ответах (33%) содержались ошибки. Из 343 предоставленных ссылок только 124 (36,2%) удалось найти с помощью интернет-поиска, а 219 (63,8%), по-видимому, были сгенерированы ChatGPT-3. Среди 124 найденных ссылок лишь 47 (37,9%) содержали достаточно исходной информации для правильного ответа на 24 вопроса (37,5%).

В этом пилотном исследовании ChatGPT-3 правильно отвечал на вопросы из повседневной клинической практики врачей-рентгенологов лишь примерно в двух третях случаев; в остальных ответах содержались ошибки. Большинство предоставленных ссылок не удалось найти, и только небольшая часть найденных ссылок содержала информацию, необходимую для ответа на вопрос. При использовании ChatGPT-3 для поиска радиологической информации следует соблюдать осторожность. Цель: Методы: Результаты: Выводы: