Большие языковые модели и эмпатия: систематический обзор
Large Language Models and Empathy: Systematic Review
Аннотация
Введение: Эмпатия — важнейшая составляющая человеческого взаимодействия, способность сопереживать эмоциям другого существа. В здравоохранении она необходима для взаимодействия медицинских работников с пациентами. Считается, что эмпатия — уникальное человеческое качество, которым большие языковые модели (LLM) не обладают.
Цель: Изучить литературу о способности LLM проявлять эмпатию.
Методы: С декабря 2022 года по февраль 2024 года мы искали публикации в базах MEDLINE, Google Scholar, PsyArXiv, medRxiv и arXiv. В обзор включали полнотекстовые публикации на английском языке, в которых оценивали эмпатию в ответах LLM. Исключали работы о других аспектах эмоционального интеллекта, не посвящённые непосредственно эмпатии. Сводные данные включали характеристики исследований, использованные LLM, результаты выполнения заданий на эмпатию и ограничения моделей.
Результаты: Критериям включения соответствовали 12 исследований, опубликованных в 2023 году. Во всех оценивали ChatGPT-3.5 (OpenAI); в шести его сравнивали с другими LLM, включая GPT-4, LLaMA (Meta) и дообученные чат-боты. В семи исследованиях изучали эмпатию в медицинском контексте. Согласно результатам, LLM проявляют отдельные компоненты эмпатии, в том числе распознают эмоции и оказывают эмоциональную поддержку в разных ситуациях. Для оценки использовали автоматические метрики, такие как ROUGE (Recall-Oriented Understudy for Gisting Evaluation) и BLEU (Bilingual Evaluation Understudy), а также субъективную оценку людей. В одних исследованиях результаты сравнивали с человеческими, в других — между моделями. В некоторых заданиях LLM превосходили людей. Например, при ответах на вопросы пациентов в социальных сетях ответы ChatGPT предпочли человеческим в 78,6% случаев. В других исследованиях читатели выставляли субъективные оценки. В одном исследовании средняя оценка эмпатии дообученной LLM составила 1,84–1,9 по шкале от 0 до 2, а в другом при оценке чат-ботов на основе ChatGPT средний балл за эмпатичные ответы составил 3,43 из 4. В ещё одной работе уровень эмоциональной осознанности ChatGPT-3.5 оказался выше, чем у людей. Также оценивали ChatGPT и GPT-4 по вопросам на проверку гибких навыков в экзамене United States Medical Licensing Examination: GPT-4 правильно ответил на 90% вопросов. Среди ограничений отмечали шаблонное повторение эмпатичных фраз, трудности с соблюдением первоначальных инструкций, чрезмерно длинные ответы, чувствительность к формулировкам запросов и субъективность оценок, зависящих от опыта оценивающего.
Выводы: LLM проявляют отдельные компоненты когнитивной эмпатии: распознают эмоции и дают эмоционально поддерживающие ответы в разных ситуациях. Поскольку социальные навыки — неотъемлемая часть интеллекта, эти достижения приближают LLM к взаимодействию, подобному человеческому, и расширяют возможности их применения в задачах, требующих эмоционального интеллекта. Однако необходимо улучшить как работу моделей, так и методы оценки гибких навыков.
Переведем эту статью за 1 час
Загрузите PDF, а мы сделаем полный перевод, краткий конспект и красивую инфографику.
Попробовать бесплатно →Также в Подтеме: еженедельные литобзоры, база международных клинреков и конспекты свежих мед. статей и подкастов каждый день.