Повышение точности диагностики псориаза и воспалительных заболеваний кожи: мультимодальная модель с пространственным выравниванием, объединяющая клинические и дерматоскопические изображения

Псориаз — хроническое воспалительное заболевание, оказывающее значительное физическое и психологическое воздействие. Для преодоления ограничений одномодальных моделей искусственного интеллекта при диагностике воспалительных заболеваний кожи мы разработали мультимодальную систему пространственно выровненного контрастивного обучения, объединяющую дерматоскопические и клинические фотографии. Модель обучали на созданном наборе данных Пекинской объединённой медицинской коллегии, включавшем 8 воспалительных заболеваний кожи. На этом наборе данных точность модели составила 0,822 при классификации 8 заболеваний и 0,911 при бинарной классификации, превысив показатели одномодальных моделей и простых методов объединения данных. Кроме того, на общедоступном наборе данных Derm7pt предложенная модель превзошла 11 мультимодальных методов, соответствующих современному уровню, достигнув точности 0,807. При использовании для диагностической поддержки модель значимо повысила точность диагностики 20 дерматологов — с 0,775 до 0,890 (P < .05). В 87 из 110 тестовых случаев (79,1%) точность диагностики улучшилась. Модель продемонстрировала заметное повышение точности диагностики отдельных заболеваний, включая красный плоский лишай, акне, розацеа и морфеа. Валидация с помощью тепловых карт подтвердила, что в большинстве случаев внимание модели соответствовало ключевым признакам поражений. В исследовании представлена мультимодальная модель, устраняющая несоответствие масштабов между дерматоскопическими и клиническими фотографиями и обеспечивающая эффективный инструмент диагностики псориаза и других воспалительных заболеваний кожи.