К ответственному будущему: рекомендации по использованию искусственного интеллекта в системах поддержки принятия клинических решений

Введение: Интеграция искусственного интеллекта (ИИ) в здравоохранение может улучшить принятие клинических решений. При этом крайне важно обеспечить надёжность систем, снизить риск предвзятости и сохранить безопасность. Ситуацию осложняет отсутствие общепринятых методов оценки инструментов ИИ до и после внедрения по таким ключевым параметрам, как прозрачность, мониторинг эффективности и регистрация нежелательных событий.

Цель: Предложить практические подходы к разработке методов, правил и рекомендаций, которые обеспечат надлежащую и безопасную для пациентов разработку, тестирование, контроль и применение ИИ в системах поддержки принятия клинических решений.

Методы: В мае 2023 года подразделение клинической информатики Медицинского центра Бет-Израэль Диконесс и Американская ассоциация медицинской информатики совместно организовали рабочую группу по ИИ в здравоохранении. В августе 2023 года состоялись четыре вебинара по темам, связанным с ИИ, а в сентябре — двухдневный семинар для выработки консенсуса. В мероприятиях приняли участие более 200 представителей заинтересованных сторон: практикующие врачи, разработчики программного обеспечения, учёные, специалисты по этике, юристы, эксперты по государственной политике, исследователи и пациенты. Целью было выявить проблемы, связанные с надёжным применением систем поддержки принятия клинических решений на основе ИИ (AI-CDS) в медицинской практике. Основные проблемы определили, а возможные решения предложили на основе качественного анализа и четырёхмесячного итеративного процесса выработки консенсуса.

Результаты: Работа завершилась формулированием нескольких ключевых рекомендаций: 1) создавать безопасные и надёжные системы; 2) разрабатывать процессы валидации, верификации и сертификации систем AI-CDS; 3) обеспечить мониторинг безопасности и регистрацию сообщений о нежелательных событиях на национальном уровне; 4) предоставлять надлежащую документацию и обучать конечных пользователей.

Обсуждение: Системы поддержки принятия клинических решений на основе ИИ способны преобразовать процесс принятия решений в здравоохранении. Для их разработки, внедрения и регулирования необходима всеобъемлющая система, в которой особое внимание уделяется надёжности, прозрачности и безопасности. Она должна охватывать обучение моделей, объяснимость, валидацию, сертификацию, мониторинг и непрерывную оценку, а также учитывать защиту конфиденциальности данных, справедливость и необходимость регуляторного надзора, чтобы обеспечить ответственную интеграцию ИИ в клинические рабочие процессы.

Выводы: Ответственное применение систем AI-CDS требует совместных усилий всех заинтересованных сторон в здравоохранении. Необходимо внедрять надёжные меры обеспечения безопасности, мониторинга и прозрачности, одновременно создавая условия для инноваций. Следующие шаги — проверка и пилотное внедрение предложенных механизмов укрепления доверия, например протоколов регистрации сообщений о проблемах безопасности, и разработка рекомендаций по передовой практике.