解释：如何判断人工智能是否按我们希望的方式工作

大约十年前，深度学习模型开始在各种任务中取得超人的成绩，从击败世界冠军桌游玩家到在诊断乳腺癌方面超过医生。

这些强大的深度学习模型通常基于人工神经网络，人工神经网络在20世纪40年代首次被提出，并已成为一种流行的机器学习类型。计算机学习使用模仿人脑的互联节点或神经元层来处理数据。

随着机器学习领域的发展，人工神经网络也随之发展。

现在，深度学习模型通常由许多层中的数百万或数十亿个相互连接的节点组成，这些节点经过训练，使用大量数据执行检测或分类任务。但是由于这些模型非常复杂，即使是设计它们的研究人员也不能完全理解它们是如何工作的。这使得我们很难知道它们是否正常工作。

例如，也许设计一个模型是为了帮助医生正确地诊断病人，但它是通过关注照片中有癌变组织时经常发生的一个不相关的标记，而不是癌变组织本身来实现的。这就是所谓的虚假关联。该模型的预测是正确的，但它的预测是错误的。在真实的临床环境中，该标记不会出现在癌症阳性图像上，这可能会导致漏诊。

围绕着这些所谓的“黑匣子”模型有如此多的不确定性，人们如何才能解开盒子里到底发生了什么?

这个谜题导致了一个新的快速增长的研究领域，研究人员开发和测试解释方法(也称为可解释性方法)，试图揭示黑箱机器学习模型如何做出预测。

解释方法有哪些?

在它们最基本的层次上，解释方法要么是全局的，要么是局部的。局部解释方法侧重于解释模型如何做出一个特定的预测，而全局解释则寻求描述整个模型的整体行为。这通常是通过开发一个独立的、更简单的(希望是可以理解的)模型来实现的，该模型模拟了更大的黑箱模型。

但由于深度学习模型的工作原理非常复杂和非线性，开发一个有效的全局解释模型尤其具有挑战性。计算机科学与人工智能实验室(CSAIL)交互式机器人小组的研究生周祎伦(Yilun Zhou)解释说，这导致研究人员将最近的大部分注意力转向了局部解释方法，他研究可解释机器学习中的模型、算法和评估。

最流行的本地解释方法分为三大类。

第一种也是使用最广泛的解释方法被称为特征归因。特征归因方法显示了当模型做出特定决策时，哪些特征是最重要的。

特征是输入到机器学习模型并用于其预测的输入变量。当数据是表格形式时，从数据集中的列中提取特征(使用各种技术对它们进行转换，以便模型能够处理原始数据)。另一方面，对于图像处理任务，图像中的每一个像素都是一个特征。例如，如果一个模型预测一张x射线图像显示了癌症，特征归因方法会突出显示x射线中对模型预测最重要的像素。

本质上，特征归因方法显示了模型在进行预测时最关注的内容。

“使用这种特征归因解释，你可以检查是否存在虚假相关性。例如，它会显示水印中的像素被高亮显示，或者实际肿瘤中的像素被高亮显示。”

第二种解释方法被称为反事实解释。给定一个输入和一个模型的预测，这些方法显示如何更改该输入，使其属于另一个类。例如，如果一个机器学习模型预测借款人将被拒绝贷款，反事实解释就会显示需要改变哪些因素才能让她的贷款申请被接受。也许她的信用评分或收入(这两个特征都用于模型的预测)需要更高才能被批准。

“这种解释方法的好处是，它确切地告诉你需要如何改变输入来翻转决策，这可能有实际用途。对于那些申请抵押贷款却没有拿到的人来说，这个解释会告诉他们需要做些什么来达到他们想要的结果，”他说。

第三类解释方法被称为样本重要性解释。与其他方法不同，此方法需要访问用于训练模型的数据。

样本重要性解释将显示模型在进行特定预测时最依赖哪个训练样本;理想情况下，这是与输入数据最相似的示例。如果观察到一个看似不合理的预测，这种解释尤其有用。可能存在一个数据输入错误，影响了用于训练模型的特定样本。有了这些知识，我们就可以修复样本并重新训练模型以提高其准确性。

如何使用解释方法?

开发这些解释的动机之一是执行质量保证和调试模型。例如，随着对特性如何影响模型决策的更多理解，人们可以识别出模型工作不正确，并干预以解决问题，或者抛弃模型并重新开始。

另一个最近的研究领域是探索使用机器学习模型来发现人类以前没有发现的科学模式。例如，一个比临床医生表现更好的癌症诊断模型可能是错误的，或者它实际上可能是在x光图像中发现了一些隐藏的模式，这些模式代表了癌症的早期病理路径，这些要么是人类医生不知道的，要么被认为是无关的，周说。

然而，这一领域的研究仍处于早期阶段。

警告的话

CSAIL健康ML小组的助理教授、负责人Marzyeh Ghassemi说，虽然解释方法有时对机器学习实践者很有用，当他们试图捕捉模型中的bug或了解系统的内部工作原理时，最终用户在尝试在实践中使用它们时应该谨慎行事。

随着机器学习被应用于从医疗到教育的更多学科，解释方法被用于帮助决策者更好地理解模型的预测，以便他们知道何时信任模型，并在实践中使用它的指导。但是Ghassemi警告不要以这种方式使用这些方法。

“我们发现，解释会让专家和非专家对特定推荐系统的能力或建议过于自信。我认为对人类来说，不要关闭自己的内在回路，‘让我质疑别人给我的建议’是非常重要的，”她说。

她补充说，科学家们知道，基于其他近期研究的解释会让人过度自信，她还引用了微软研究人员最近的一些研究。

解释方法远非灵丹妙药，它也存在一些问题。首先，Ghassemi最近的研究表明，解释方法会使偏见永久化，并导致来自弱势群体的人出现更糟糕的结果。

解释方法的另一个缺陷是，通常不可能从一开始就判断解释方法是否正确。Zhou说，人们需要将解释与实际模型进行比较，但由于用户不知道模型是如何工作的，这是循环逻辑。

他和其他研究人员正在努力改进解释方法，使它们更符合实际模型的预测，但周警告说，即使是最好的解释也应该持怀疑态度。

“此外，人们通常认为这些模型是类似人类的决策者，我们容易过度概括。我们需要让人们冷静下来，让他们冷静下来，真正确保他们基于这些局部解释建立的广义模型理解是平衡的，”他补充说。

周最近的研究正是为了做到这一点。

机器学习解释方法的下一个目标是什么?

Ghassemi认为，研究界需要付出更多努力，研究如何将信息呈现给决策者，让他们了解信息，同时需要出台更多监管措施，确保机器学习模型在实践中负责任地使用。只有更好的解释方法并不能解决问题。

“我一直很兴奋地看到，越来越多的人认识到，甚至在行业中，我们不能只是利用这些信息，做出一个漂亮的仪表盘，并假设人们会用它表现得更好。你需要在行动中有可衡量的改进，我希望这能带来真正的指导方针，改善我们在这些深度技术领域展示信息的方式，比如医学，”她说。

除了专注于改进解释的新工作，周希望看到更多与具体用例解释方法相关的研究，如模型调试、科学发现、公平审计和安全保证。通过识别解释方法的细粒度特征和不同用例的需求，研究人员可以建立一个理论，将解释与特定的场景匹配，这可以帮助克服在现实场景中使用它们所带来的一些陷阱。