Ложная надежда, которую дают современные подходы к объяснимому искусственному интеллекту в здравоохранении

Природа современных систем искусственного интеллекта как «чёрного ящика» заставляет некоторых задаваться вопросом, должен ли ИИ быть объяснимым, чтобы его можно было использовать в ситуациях высокого риска, например в медицине. Считается, что объяснимый ИИ поможет завоевать доверие медицинских работников, обеспечит прозрачность процесса принятия решений системой ИИ и потенциально позволит снизить различные виды систематических ошибок. В настоящей статье мы утверждаем, что такая надежда на объяснимый ИИ ложна и что современные методы объяснения вряд ли позволят достичь этих целей при поддержке принятия решений на уровне отдельных пациентов. Мы рассматриваем современные методы объяснения и показываем, как различные сценарии их несостоятельности могут создавать проблемы при принятии решений в отношении конкретных пациентов. При отсутствии подходящих методов объяснения мы выступаем за строгую внутреннюю и внешнюю валидацию моделей ИИ как более прямой способ достижения целей, которые обычно связывают с объяснимостью, и предостерегаем от требования обязательной объяснимости для моделей, внедряемых в клиническую практику.