信源与信息熵2.2 离散信源熵和互信息.pptVIP

信源与信息熵;2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度;2.2 离散信源熵和互信息;离散信源熵和互信息;离散信源熵和互信息;2.2.3 互信息;单个符号之间的互信息 定义为 xi的后验概率与先验概率比值的对数;平均互信息;H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息量的损失。又可看作由于信道上存在干扰和噪声，接收端获得Ｙ后还剩余的对信源Ｘ的平均不确定度，故又称为疑义度。 信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声熵，散布熵 它反映了信道中噪声源的不确定性。 输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。;收发两端的熵关系; 熵的意义（对通信系统） H(X)：表示信源中每个符号的平均信息量（信源熵） H(Y)：表示信宿中每个符号的平均信息量（信宿熵） H(X|Y)：表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。信道疑义度(损失熵，含糊度) H(Y|X)：表示在已知X的全部符号后，对于输出Y尚存的平均不确定性。信道散布度(噪声熵) H(XY)：表示整个信息传输系统的平均不确定性（联合熵）。;平均互信息与各类熵的关系 ;三个变量的互信息量;第一级处理器;信息熵是信源概率空间的一种特殊矩函数，其大小与信源的符号数及其概率分布有关。 H(P)是概率矢量P的函数，称为熵函数。 1、对称性：H(P) 的取值与分量 p1, p2 , ··· , pq的顺序无关。 2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 3、非负性： H(P) ? 0 4、扩展性：信源的取值数增多时，若这些取值对应的概率很小(接近于零)，则信源的熵不变。 5、可加性：统计独立信源X和Y ：H(XY) = H(X)+ H(Y) 6、强可加性：两个互相关联的信源H(XY)=H(X)+ H(Y/X) 7、递增性 8、极值性：离散信源，各符号等概分布时，熵值达到最大。 9、 香农辅助定理 10、上凸性 ;2.3 离散序列信源的熵;2.3.1 离散无记忆信源的序列熵 ;离散无记忆信源的序列熵 ;离散无记忆信源的序列熵;2.3.2 离散有记忆信源的序列熵;离散平稳信源的序列熵;二维离散平稳信源;离散平稳信源的序列熵;条件熵： （1）由于信源X发出的符号序列中前后两个符号之间有依赖性，可以先求出在已知前面一个符号Xl＝ai时，信源输出下一个符号的平均不确定性：;根据概率关系，可以得到联合熵与条件熵的关系：;离散平稳信源的序列熵;;由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表;联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为: ;若信源输出一个L长序列,则信源的序列熵为;离散平稳信源;⑶ HL(X)是L的单调非增函数 HL(X)≤HL-1(X) ⑷;马尔可夫信源的信息熵 ;s2;对3个状态统计平均后得到信源每输出一个符号的信息量，即马尔科夫信源的熵;2.4 连续信源的信息熵 ;2.4.1 单符号连续信源的熵;2.4.1 单符号连续信源的熵;一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵为： 由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。 这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。既然如此，那么为什么还要那样来定义连续信源的熵呢？;一方面，这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）； 另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵　 称为相对熵或差熵，以区别于原来的绝对熵。 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，如非负性。 ;例;0 ;Date;2.4.2 波形信源的熵;2.4.3 最大熵定理;（2）平均功率受限条件下信源的最大熵 定理：若一个连续