Использование ChatGPT для оценки мифов и заблуждений о раке: искусственный интеллект и информация о раке

Данные о качестве информации о раке, которую предоставляют чат-боты и другие системы искусственного интеллекта, ограничены. Здесь мы оцениваем точность информации о раке в ChatGPT по сравнению с ответами Национального института рака США (NCI), используя вопросы со страницы «Распространенные мифы и заблуждения о раке». Ответы NCI и ChatGPT на каждый вопрос были обезличены, а затем оценены на точность (точно: да или нет). Оценки анализировали независимо для каждого вопроса, а затем сравнивали между обезличенными ответами NCI и ChatGPT. Кроме того, оценивали число слов и уровень удобочитаемости по шкале Флеша—Кинкейда для каждого отдельного ответа. После экспертной проверки доля полного совпадения по точности составила 100% для ответов NCI и 96,9% для ответов ChatGPT на вопросы 1–13 (ĸ = −0,03, стандартная ошибка = 0,08). Существенных различий в числе слов или удобочитаемости ответов NCI и ChatGPT практически не было. В целом результаты позволяют предположить, что ChatGPT предоставляет точную информацию о распространенных мифах и заблуждениях о раке.