PMC-LLaMA: разработка открытой языковой модели для медицины

Цель: Большие языковые модели продемонстрировали впечатляющие возможности в понимании естественного языка. Они хорошо справляются с повседневным общением и ответами на вопросы, но часто испытывают трудности в требующих точности областях, например в медицине, из-за недостатка специальных знаний. В статье описан процесс создания мощной открытой языковой модели, предназначенной для медицинских задач, — PMC-LLaMA.

Материалы и методы: Универсальную языковую модель адаптировали для медицины. Знания в неё вводили на основе 4,8 млн научных публикаций по биомедицине и 30 тыс. медицинских учебников. Кроме того, модель всесторонне дообучили на инструкциях, охватывающих ответы на медицинские вопросы, обоснование рассуждений и диалоги; обучающий набор включал 202 млн токенов.

Результаты: При оценке на общедоступных наборах для проверки ответов на медицинские вопросы и при ручной оценке компактная модель PMC-LLaMA, содержащая всего 13 млрд параметров, показала лучшие результаты, превзойдя в том числе ChatGPT. Все модели, программный код и наборы данных для дообучения на инструкциях будут открыты исследовательскому сообществу.

Выводы: Вклад авторов включает три направления: (1) создание открытой языковой модели для медицины. По мнению авторов, PMC-LLaMA может способствовать дальнейшей разработке базовых моделей для медицины и служить базовой генеративной языковой моделью, которую можно дообучать для медицинских задач; (2) проведение всесторонних абляционных исследований, показавших эффективность каждого предложенного компонента и влияние обучающих данных и размера модели на медицинские языковые модели; (3) создание крупного и всестороннего набора данных для дообучения на инструкциях.

Выводы: В статье систематически изучен процесс создания открытой языковой модели PMC-LLaMA, предназначенной для медицины.