Повышение эффективности больших языковых моделей при распознавании именованных сущностей в клинических текстах с помощью разработки запросов

Значимость: Исследование демонстрирует потенциал больших языковых моделей, в частности GPT-3.5 и GPT-4, для обработки сложных клинических данных и извлечения значимой информации при минимальном объёме обучающих данных. Разработка и совершенствование стратегий на основе запросов могут существенно повысить эффективность моделей и сделать их пригодными для распознавания именованных сущностей (NER) в клинических текстах, потенциально снизив зависимость от больших размеченных наборов данных.

Цель: Количественно оценить возможности GPT-3.5 и GPT-4 в задачах распознавания именованных сущностей в клинических текстах и предложить специализированные для этих задач запросы, повышающие эффективность моделей.

Методы: Модели оценивали в двух задачах распознавания именованных сущностей в клинических текстах: (1) извлечение медицинских проблем, методов лечения и исследований из клинических записей корпуса MTSamples в соответствии с задачей совместного извлечения понятий i2b2 2010 года и (2) выявление нежелательных явлений, связанных с расстройствами нервной системы, по сообщениям в системе регистрации нежелательных явлений после вакцинации (VAERS). Для повышения эффективности моделей GPT разработали систему запросов, адаптированных к клиническим задачам. Она включала (1) базовые запросы с описанием задачи и требованиями к формату ответа, (2) запросы на основе руководства по аннотированию, (3) инструкции, основанные на анализе ошибок, и (4) размеченные примеры для обучения на малом числе примеров. Оценили эффективность каждого компонента запросов и сравнили модели с BioClinicalBERT.

Результаты: При использовании базовых запросов показатели F1 с мягким сопоставлением у GPT-3.5 и GPT-4 составили соответственно 0,634 и 0,804 для MTSamples и 0,301 и 0,593 для VAERS. Добавление компонентов запросов последовательно повышало эффективность моделей. При использовании всех четырёх компонентов показатели F1 у GPT-3.5 и GPT-4 достигли соответственно 0,794 и 0,861 для MTSamples и 0,676 и 0,736 для VAERS, что подтверждает эффективность предложенной системы запросов. Хотя эти результаты уступают показателям BioClinicalBERT (F1 0,901 для MTSamples и 0,802 для VAERS), они весьма перспективны, учитывая, что для обучения требуется мало примеров.

Обсуждение: Полученные результаты указывают на перспективность применения больших языковых моделей для распознавания именованных сущностей в клинических текстах. Хотя эффективность моделей GPT повышалась при использовании запросов, адаптированных к конкретным задачам, необходима их дальнейшая разработка и совершенствование. GPT-4 потенциально может приблизиться по эффективности к передовым моделям, таким как BioClinicalBERT, однако для этого требуются тщательная разработка запросов и учёт специфических для задачи знаний. Исследование также подчёркивает важность схем оценки, точно отражающих возможности и эффективность больших языковых моделей в клинической практике.

Выводы: При непосредственном применении модели GPT не обеспечивают оптимальных результатов в задачах распознавания именованных сущностей в клинических текстах. Однако предложенная система запросов, учитывающая медицинские знания и обучающие примеры, значительно повышает перспективность применения этих моделей в клинической практике.