信息论与编码习题参考.doc

由于亮度电相同概出现 ，由熵的极值性： 每个像素的熵是：H(x 10 p(a)logp(a) log103.322bit/pels ) 0 i i i 1 每帧图像的熵是：H(X) 5 105H(x0) 5 1053.322 1.661106 bit/frame 所需信息速率为：R r(frame/s)H(X)(bit/frame) 301.661 1064.983107bit/s 增加30个不相同色彩度 ,在满足黑白电视系统要 求下,每个色彩度需要 10个亮度, 所以每个像素需要用 30 10 300bit量化 300 每个像素的熵是： H(x1) p(bi)logp(bi) log300bit/pels i1 H(x1) log300 2.477 2.5 H(x0) log10 彩色电视系统每个像素 信息量比黑白电视系统 大2.5倍作用,所以传输相同的 图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右. 每帧图象所含信息量 : H(X)3 105H(x) 3 105 log128 2.1 106bit/symble 每个汉字所出现概率p 1000 0.1 10000 每个汉字所包含信息量 :H(c) logp 描述一帧图像需要汉字 数n,H(X)nH(c) nH(X) 2.1106 6.322105/frame H(c) log0.1 最少需要6.322105 个汉字 (p1,p2,...,pn) 0 m nq m 1 pH(p1,p2,...,pn)H(p1,p2,...,pm,qm)qmlog(nm) m i i1 先证明f(x) xlogx(x 0)为凸函数，以下： f (x) ( xlogx) loge 又x0 x f (x) ( xlogx) loge 0即f(x) xlogx(x0)为凸函数。 x m n 又 H(p1,p2,...,pn) pi logpi pilogpi i1 im1 由凸函数的性质，变量 函数的平均值小于变量 的算术平均值的函数， 可得： n n n n n f(pi) pi pi pi logqm pilogpi (n m)im1 (n m)f(im1 ) (n m)i m1 logim1 qm im1 nm nm nm nm nm n 即 pilog pi qmlogqm qmlog(n m) im 1 当且仅当pm1 pm 2 ... pn时等式成立。 m n m H(p1,p2,...,pn) pi logpi pi logpi pi logpi qm logqmqmlog(n m) i1 im 1 i 1 m H(p1,p2,...,pm,qm) pilogpi qm logqm i 1 H(p1,p2,...,pn) H(p1,p2,...,pm,qm) qmlog(n m) 当且仅当p m1 p m 2 ... p 时等式成立。 n BSC X1 BSC BSC X0 X2 Xn I II ? N 用数学归纳法证明: 当n2时由: [P2] 1 p p ? 1 p p 2p2p2 p1p 12p2p2 p1p p2 2p 2p2 1[1(12p)2] 2 假设n k时公式成立,则 1[1 (1 2p)k] 1[1 (1 2p)k] 1p 2 2 [Pk1 ] ? 1 1 (1 2p)k] (1 2p)k] p [1 [1 2 2 1 [1 (1 2p)k1] 1[1 (1 2p)k ] 2 2 1 [1 (1 2p)k1] 1[1 (1 2p)k ] 2 2 P 1[1 (1 2p)k ] 2 故Pn 1[1 (12p)n] 2  12p 2p2 2p 2p2 p 1p 12p 1limP lim1[1 (1 2p)n] 1 2 2 设输入信源空间X0 : p(X0 0) a,p(X0 1)1 a(其中0 a 1) 则输出信源X :p(X 0) p(X0 0)?p(X 0X0 0) p(X0 0)?p(X 0X0 p(X 1) 1 2 p(xx0)p(x)(x0、x取0或1) p(XjX0i) p(Xj X0i) limI(X ;X ) p(X X )log p(X X )log p(Xj) p(Xj) p(X0iXj)log1 0 (1)  1)  1 2 [P1] (2) [P2] (3) b1 b2 b3 a1 0.1 0.2 0.3 [P3]a2 0 0 0 a3 0 0 0 (1)信道为一一对应确定关系的无噪信道 Clogrlog42bit/symble 信道为归并性无噪信道 C logs log3 1.585 bit/symble (3)信道为扩大性无噪信道 : C logr log3 1.585 bit/symble [P] (1)  b1b2b