DS证据理论相关内-培训课件.pptxVIP

D-S证据理论相关内容整理 信息熵 Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。 香农用信息熵的概念来描述信源的不确定度。 信息熵 所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwells Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。 信息熵 一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。 信息熵 计算公式 H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n) 其中，x表示随机变量，与之相对应的是所有可能输出的集合，定义为符号集,随机变量的输出用x表示。P(x)表示输出概率函数。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大. 信息熵的特点 变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低； 反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。 熵的概念源自热物理学。 信息熵 信息熵的计算是非常复杂的。而具有多重前置条件的信息，更是几乎不能计算的。所以在现实世界中信息的价值大多是不能被计算出来的。但因为信息熵和热力学熵的紧密相关性，所以信息熵是可以在衰减的过程中被测定出来的。因此信息的价值是通过信息的传递体现出来的。在没有引入附加价值（负熵）的情况下，传播得越广、流传时间越长的信息越有价值。 熵首先是物理学里的名词。 在传播中是指信息的不确定性，一则高信息度的信息熵是很低的,低信息度的熵则高。具体说来，凡是导致随机事件集合的肯定性，组织性，法则性或有序性等增加或减少的活动过程，都可以用信息熵的改变量这个统一的标尺来度量。 知识融合 知识融合是在信息融合基础上发展起来的一个新的融合概念,它的提出是知识以及知识管理等技术快速发展的结果.知识融合是知识管理的一个重要工具,它的融合对象不局限于传感器获取的数据和信息,而是可拓广到各种方法、专家经验、甚至思想等等. 知识融合 知识融合是来自不同知识源的知识,相互作用和支持,形成新知识的过程. ZETA评分模型概述 ZETA信用风险模型（ZETA Credit Risk Model）是继Z模型后的第二代信用评分模型 ，变量由原始模型的五个增加到了7个，适应范围更宽，对不良借款人的辨认精度也大大提高。 logistic回归 logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。然后通过logistic回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可能性。 D-S证据组合理论 D-S(Dempster-Shafer)证据组合理论是由De-mpster[2]于1967年首先提出,再由Shafer[3]于1976年进一步发展和完善而形成的结果.利用证据理论作为融合方法,就是通过不同观测结果的信任函数,利用Dempster证据组合规则将之融合,再根据一定的规则对组合后的信任函数进行判断,最终实现融合和决策选择. D-S证据理论 D-S证据理论是关于证据和可能性推理的理论.它主要处理证据加权和证据支持度问题,并且利用可能性推理来实现证据的组合.从数学角度来讲,证据理论是概率论的一种推广.对应于概率论中的分布函数和概率密度分函数,D-S证据理论中定义了信任函数和基本概率分配. D-S证据理论中的相关概念 1.识别框架Θ --------可以看做是可能性的集合 2. 2Θ为Θ的所有子集的集合. 3.信任函数BEL--------表示对可能性的信任程度 4.基本概率分配m 5.似然函数-------------表示对可能性的怀疑程程度 D-S证据理论 信任函数: 设Θ(在D-S理论中