如何解释AI做出的决策？一文梳理算法应用场景和可解释性( 二 ) 机器之心分析师网络作者：J

然而，关于医学预测领域RNN的可解释技术所提供的时间解释的质量，还存在着研究空白。支持和反对使用注意力作为解释方法的论点都存在，一些证据表明，使用注意力得分可以提供足够的透明度来解释单个特征如何影响预测结果。而还有一些证据则质疑了注意力机制的有效性，因为注意力值和更直观的特征重要性测量之间的相关性很弱。在实践中，用于模型解释的可视化平台已经成功地利用了注意力分数来为医学预测提供解释。然而，使用注意力值的整体效用还需要更深入的验证，特别是与利用其他可解释方法（如SHAP）相比。
本文的主要目标是探索具有内在可解释性的RNN通过注意力机制能够在多大程度上提供与临床兼容的时间解释，并评估这种解释应该如何通过应用事后方法来补充或取代，例如对黑盒RNN的SHAP 。本文具体在药物不良事件（AdverseDrugEvent ， ADE）预测的医学背景下探讨这个问题。结合我们所解读的《ExplanationdecisionsmadewithAI》指南，这篇文章所讨论的是典型的必须应用非线性统计技术的情况。在上一章节的梳理中，指南已经明确“由于曲线（极端非线性）的倾向和输入变量的高维度，导致ANN非常低的可解释性。 ANN被认为是"黑盒"技术的缩影。在适当的情况下，应当引入解释工具辅助ANN的使用。 ” 。因此，本文所做的工作就是为应用于医学领域的ANN方法引入适当的辅助解释工具（注意力机制和SHAP时间解释）。当然，正如我们在之前的解读中分析的，在一些应用场景中，简单的白盒模型/方法无法满足应用需要，为了保证较高的准确度/预测率，有时必须采用黑盒算法/模型。而如何在这种情况下通过引入辅助解释工具帮助模型/系统的用户更好的理解解释，就是下面这篇论文会详细介绍的了。
2.1方法介绍
令ε=表征n个病人的数据库。 Pj表征K个病人就诊数据记录， Pj= ，其中， x_k发生在时间点t_k ，包含一组描述该次诊疗的医疗变量，考虑到第j个病人在时间点t-1的病史数据Pj= ，我们的任务是预测时间点t的ADE的发生，并准确地解释为什么使用病人病史的整个时间结构来预测这种ADE 。为了解决这个问题，本文将RNN模型和可解释性技术结合起来，对全局和局部解释的方法进行了比较和临床验证的分析。
SHAP框架确定了加法特征重要性方法的类别，以提供模型无关的解释。 SHAP已经成为一种流行的模型可解释性方法，因为它拥有多种理想的特性，即全局一致的解释，这是其他事后方法所不能提供的，在这些方法中，局部定义的预测可能与全局模型的预测不一致。 SHAP建立在使用博弈论中的Shapley值的基础上，在博弈论中，通过将不同的特征视为联盟中的不同玩家来计算特定特征值对选定预测的影响。这些特征中的每一个都可以被看作是对预测的相对贡献，这些贡献可以通过计算可能的联盟中的边际贡献的平均值而被计算为Shapley值。
Shapley值（表示为φ_ij），可以理解为每个特征值x_ij对每个样本i和特征j的预测偏离数据集的平均预测的程度。在本研究中，每个医疗变量的Shapley值是针对病史中的每个时间点计算的，以解释每个医疗变量对预测的影响是如何高于或低于基于背景数据集的预测平均值的。
递归神经网络（RNN）是前馈神经网络模型的概括，用于处理连续的数据，拥有一个持续的内部状态h_t ，由j个隐藏单元h_j组成，作为处理连续状态之间的依赖关系的记忆机制，在本文案例中具体是指跨时间点的病人诊疗信息。