Возможности и подводные камни ChatGPT и моделей искусственного интеллекта, работающих с естественным языком, при интерпретации результатов лабораторных исследований: оценка Рабочей группы по искусственному интеллекту Европейской федерации клинической химии и лабораторной медицины (EFLM WG-AI)

Цель: ChatGPT — инструмент, основанный на обработке естественного языка (NLP), — широко обсуждается, и уже предложено несколько вариантов его применения в здравоохранении. Однако способность этого инструмента интерпретировать результаты лабораторных исследований ранее не оценивалась. Поэтому Рабочая группа по искусственному интеллекту Европейской федерации клинической химии и лабораторной медицины (EFLM WG-AI) поставила задачу восполнить этот пробел с помощью систематического подхода.

Методы: Члены WG-AI подготовили 10 смоделированных лабораторных отчётов с распространёнными показателями, после чего передали их ChatGPT для интерпретации с учётом референсных интервалов (РИ) и единиц измерения, используя оптимизированный запрос. Затем все члены WG-AI независимо оценили результаты по критериям релевантности, правильности, полезности и безопасности.

Результаты: ChatGPT распознал все лабораторные тесты, определил их отклонение от РИ и дал интерпретацию как отдельных показателей, так и отчёта в целом. Интерпретации были достаточно поверхностными, не всегда правильными и лишь в некоторых случаях последовательными. Степень отклонения показателя от РИ редко учитывалась при интерпретации результатов лабораторных исследований, а искусственный интеллект в целом не давал содержательных рекомендаций по дальнейшей диагностике или другим последующим действиям.

Выводы: В нынешнем виде ChatGPT, не обученный специально на медицинских данных и, в частности, на данных лабораторной медицины, можно рассматривать в лучшем случае как инструмент интерпретации лабораторного отчёта по отдельным показателям, но не как средство оценки общей диагностической картины. Будущие поколения аналогичных систем, обученные на медицинских данных с эталонной разметкой, безусловно, могут революционизировать существующие процессы в здравоохранении, однако внедрение таких технологий пока преждевременно.