基于真实解释的解释方法评估框架及实例应用.pdf

摘要

基于真实解释的解释方法评估框架及实例应用

近年来，关于神经网络模型解释性的研究发展迅速。然而，当前在解释方法

评估方面的研究仍然相对有限，主要分为模型和用户两个研究方向。在模型方向

上，通常根据解释方法结果扰动输入，以验证解释的正确性。该方法本质上是依

赖于解释结果的后置验证手段，无法了解真实的特征关系，在面对多个相关特征

时表现较差。在用户方向上，通常采用问卷以及生理监测等方式，需要用户参与，

耗时较长且成本较高。针对上述问题，提出了一种用于分析卷积神经网络解释方

法的性能的先验评估框架，该框架无需用户参与，可用于评估多种解释方法。

评估框架由真实解释、白盒模型以及度量指标共同构成。框架的设计需要基

于真实解释，即模型的“解释”标签。根据解释的定义与评价标准，从模型本身

和用户理解出发，设计了感知、认知以及直观三种评估角度，分别对应解释对模

型感知范围的捕捉能力、对模型决策归因的认知能力，以及在用户直观上的表现。

针对不同角度，框架内定义了相应的“真实解释”标签作为基准，通过引入白盒

神经网络模型，获取特定模型的“真实解释”标签，进而将不同解释方法得到的

解释结果与“真实解释”进行比较，以实现对解释方法的评估。白盒模型的设计

从神经网络的功能出发，结合传统图像算法以及规则分类的思路，完成计数和分

类两种白盒模型的构建。其后，在Hamming距离的基础上完成指标设计，得到不

重叠度这一度量指标，实现量化评估。将该框架应用到遮盖法、显著图法以及层

级关联传播法这三种经典解释方法的评估中，得到定性和定量的评估结果。

本文提出的评估框架同时关注模型本身和用户感知，通过量化真实解释，使

得评估不再受到解释方法限制。实验结果表明，该框架可应用到不同任务上，同

时拓展到自然数据集，是一种有效的评估手段。在实际应用中，这一评估框架可

以作为一种低成本的初步筛选工具，根据使用者需求搭建评估平台，筛选出符合

当前场景的解释方法。

关键词：

可解释研究，多角度评估，真实解释，白盒模型，评估应用

I

Abstract

AGround-truth-basedFrameworkforEvaluatingExplanation

MethodsandItsApplication

Inrecentyears,researchontheexplanationofneuralnetworkmodelshas

developedrapidly.However,currentresearchintheevaluationisstilllimited.The

evaluationofexplanationmethodsfallsintotwoaspects,modelanduser.Inthemodel

aspect,awidelyusedapproachistoperturbtheinputbasedontheexplanation.This

methodisessentiallyavalidationtoolanddoesnotknowtheactualfeature

relationships.Asaresult,itperformspoorlywhenfacingmultiplerelatedfeatures.In

theuseraspect,commonlyusedtechniquesincludequestionnairesandphysiological

monitoring.Theyallrequireuserstoparticipate,whichistime-consumingandcostly.

Toaddresstheseproblems,weproposeanapriorievaluationframeworkthatdoesnot

requireusersandapplyittomultipleexplanationmethods.

Theeva