总结与复习20126.ppt

信息论与编码 总结与复习 2012;本课程主要内容;第一部分、信息论基础;2、信息熵的定义： （1）离散信源;3、信息熵的特点 （1）非负性：H(X) ≥ 0 （2）对称性：H(p1p2……)=H(p2p1……) （3）极值性： 《1》离散信源各符号等概率时出现极大值： H0=log m 《2》连续信源信号幅度受限时均匀分布出现 极大值： hmax(X)=log (b-a)； 《3》连续信源信号方差有限时高斯分布出现 极大值：;4、离散序列的信息熵 （1）无记忆信源的联合熵与单符号熵： H(X1X2……XN) = H(X1)+H(X2)+H(X3)+……+H (XN) = NH(X1) （2）有记忆信源的联合熵与条件熵： H(X1X2……XN)=H(X1) + H(X2|X1) + H(X3|X1X2) + ……+H (XN|X1X2……XN-1) （3）平均符号熵： HN =H(X1X2……XN) / N;（4）序列信息熵的性质： 《1》条件熵不大于无条件熵，强条件熵不大于弱 条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ … …… ≥H (XN|X1X2……XN-1) 《2》条件熵不大于同阶的平均符号熵: HN ≥H (XN|X1X2……XN-1) 《3》序列越长，平均每个符号的信息熵就越小： H1 ≥ H2 ≥ H3 ≥ …… ≥H N 总之：H0 > H1 ≥ H2 ≥ H3 ≥ …… ≥HN ≥ H∞ （无记忆信源取等号。）;第一部分、信息论基础 1.1 信源的信息理论;[例1] 已知二阶马尔可夫信源的条件概率： p(0|00)=p(1|11)=0.8；p(0|01)=p(1|10)=0.6； 求稳态概率、稳态符号概率、稳态符号熵和稳态信息熵。 解：二阶马氏信源关联长度=3，状态由2符号组成，共有 4个状态，分别为：E1=00；E2=01；E3=10；E4=11； 已知的条件概率即是： p(0|E1)=p(1|E4 )=0.8；p(0|E2)=p(1|E3 )=0.6； 根据归一化条件可求出另外4个状态符号依赖关系为： p(1|E1)=p(0|E4 )=0.2；p(1|E2 )=p(0|E3 )=0.4； ;;可解得：;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;[例2]已知信源先验概率p(x)={0.7, 0.3}，信道传输 矩阵 ；试计算各信息熵和互信息。; H(Y | X)= – 0.21log0.3 –0.14log0.2 –0.35log0.5 –0.12log0.4 –0.09log0.3–0.09log0.3 = 1.5114 bit/符号 (4)接收符号熵：由; H(X|Y)= -0.21log(7/11) - ……0.09log(9/44)=0.8558 bit/符号 或：H(X|Y)=H(XY)-H(Y)=2.3924-1.5266=0.8558 bit/符号 (6)平均互信息： I(X;Y)=H(X)-H(X|Y)= 0.881 –0.8558=0.0252 bit/符号;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第二部分、无失真信源编码;第二部分、无失真信源编码 2.1 信源编码理论;第二部分、无失真信源编码 2.1 信源编码理论;[例5] 以下哪些编码一定不是惟一可译码？写出每种编码克拉夫特不等式的计算结果。 码A：0，10，11，101； 码B：1，01，001，0001； 码C：0，10，1