Сравнение статей, сгенерированных ChatGPT, со статьями, написанными людьми

Цель: ChatGPT (Generative Pre-trained Transformer) — это языковой инструмент на основе искусственного интеллекта, разработанный компанией OpenAI и использующий алгоритмы машинного обучения для генерации текста, который близко имитирует человеческую речь. В последнее время он вызвал большой интерес в интернете. Возникло несколько опасений относительно точности создаваемых им документов. В этом исследовании сравнивали точность и качество нескольких научных статей, сгенерированных ChatGPT, со статьями, написанными людьми.

Материалы и методы: Проведено исследование для оценки точности статей по радиологии, сгенерированных ChatGPT, путем сравнения с опубликованными или написанными и находящимися на рецензировании статьями. Их независимо анализировали два радиолога, прошедшие специализированную подготовку по программе fellowship и занимающиеся заболеваниями опорно-двигательной системы, после чего оценивали по шкале от 1 до 5 (1 — плохо и неточно, 5 — отлично и точно).

Результаты: В целом 4 из 5 статей, написанных ChatGPT, были существенно неточными и содержали вымышленные ссылки. Одна из работ была хорошо написана, с хорошим введением и обсуждением; однако все ссылки в ней были вымышленными.

Выводы: ChatGPT способен генерировать связные научные статьи, которые при первом просмотре могут очень походить на подлинные статьи, опубликованные академическими исследователями. Однако все оцененные нами статьи фактически были недостоверными и содержали вымышленные ссылки. При этом стоит отметить, что сгенерированные статьи могут выглядеть подлинными для неподготовленного читателя.