机器之心分析师网络
作者：仵冀颖
编辑：Joni
本文依托于综述性文章，首先回顾了可解释性方法的主要分类以及可解释深度学习在医疗图像诊断领域中应用的主要方法。然后，结合三篇文章具体分析了可解释深度学习模型在医疗图像分析中的应用。
作为一种领先的人工智能方法，深度学习应用于各种医学诊断任务都是非常有效的，在某些方面甚至超过了人类专家。其中，一些计算机视觉方面的最新技术已经应用于医学成像任务中，如阿尔茨海默病的分类、肺癌检测、视网膜疾病检测等。但是，这些方法都没有在医学领域中得以广泛推广，除了计算成本高、训练样本数据缺乏等因素外，深度学习方法本身的黑盒特性是阻碍其应用的主要原因。
尽管深度学习方法有着比较完备的数学统计原理，但对于给定任务的知识表征学习尚缺乏明确解释。深度学习的黑盒特性以及检查黑盒模型行为工具的缺乏影响了其在众多领域中的应用，比如医学领域以及金融领域、自动驾驶领域等。在这些领域中，所使用模型的可解释性和可靠性是影响最终用户信任的关键因素。由于深度学习模型不可解释，研究人员无法将模型中的神经元权重直接理解/解释为知识。此外，一些文章的研究结果表明，无论是激活的幅度或选择性，还是对网络决策的影响，都不足以决定一个神经元对给定任务的重要性[2]，即，现有的深度学习模型中的主要参数和结构都不能直接解释模型。因此，在医学、金融、自动驾驶等领域中深度学习方法尚未实现广泛的推广应用。
可解释性是指当人们在了解或解决一件事情的过程中，能够获得所需要的足够的可以理解的信息。深度学习方法的可解释性则是指能够理解深度学习模型内部机制以及能够理解深度学习模型的结果。关于“可解释性”英文有两个对应的单词，分别是“Explainability”和“Interpretability”。这两个单词在文献中经常是互换使用的。一般来说，“Interpretability”主要是指将一个抽象概念（如输出类别）映射到一个域示例（DomainExample），而“Explainability”则是指能够生成一组域特征（DomainFeatures），例如图像的像素，这些特征有助于模型的输出决策。本文聚焦的是医学影像学背景下深度学习模型的可解释性（Explainability）研究。
可解释性在医学领域中是非常重要的。一个医疗诊断系统必须是透明的（transparent）、可理解的（understandable）、可解释的（explainable），以获得医生、监管者和病人的信任。理想情况下，它应该能够向所有相关方解释做出某个决定的完整逻辑。公平、可信地使用人工智能，是在现实世界中部署人工智能方法或模型的关键因素。本文重点