信息论第四章失真率函数.pptVIP

*(5)由式(4-43)，即，得=DlnD+(1-D)ln(1-D)+H2(?) =H2(?)-H2(D)*4.4限失真信源编码定理一、定理设有一离散、平稳、无记忆信源，其率失真函数为R(D)。则对任意选定的D≥0，当传信率RR(D)时，只要信源序列长度L足够长，必存在一种编码方式C，使译码后的失真且当L→∞时，?→0反之,若RR(D),则无论采用什么编码方式，*4.4限失真信源编码定理(续)一、定理[说明]1.若系统RR(D)则必可设计一种编码方式,满足若系统RR(D)则无法满足要求2.[逆定理]若已规定满足失真度准则,则对所有设计均有R≥R(D)3.RR(D)与不能同时满足*4.4限失真信源编码定理(续)[说明]4.任何设计所得到的工作点必在率失真函数曲线R(D)上面RQ与R1之比——理论上存在的最大可能压缩比二、香农信息论三个基本概念——信源熵、信道容量、率失真函数，都是临界值三个编码定理——无失真信源编码、限失真信源编码、信道编码，都是存在性定理[END]0D1DmaxDR(D)H(X)R1RQQ*（3）如何求R(D)的定义域和值域（2）平均失真对给定信源q(x)进行压缩编码，不同的编码方法对应不同的实验信道，可用信道转移概率p(y︱x)来描述该实验信道，用概率分布p(xy)=q(x)p(y︱x)对给定的失真测度求统计平均值就得到平均失真.（1）失真测度可以理解为误码带来的代价，实际上发送同一符号而错成不同符号所带来的代价是不同的。本章小结本章介绍在允许一定失真条件下，对给定信源进行压缩编码,信息传输率可压缩的最低下界谓之率失真函数R(D)。重点讨论了以下几个问题*（5）香农第三定理——保真度准则下的率失真编码定理，这是信息理论的重要定理之一。（4）求率失真函数R(D)本章通过两个例子讨论了两种特殊情况下R(D)的求法，在一般的离散无记忆情况下，可用书中介绍的参数法求解。当然一般离散信源的率失真函数的计算是相当困难和冗繁的，往往要借助计算机进行。**第4章率失真编码*内容提要数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定理）指出：率失真函数R(D)就是在给定失真测度条件下，对信源熵可压缩的最低程度。本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性质及定量计算。R(D)的计算很烦琐，文中通过二个例子介绍了几种特殊情况下R(D)的求法，一般情况只能用参数法求解。第4章率失真编码*信息率失真函数R(D)——香农1959年提出在允许一定失真度D的情况下，信源输出的信息率可压缩为R(D)值数据压缩的理论基础I(X;Y)——H(X)、H(Y/X)的二元函数固定H(Y/X)，改变H(X)得I(X;Y)最大值——信道容量固定H(X)，改变H(Y/X)得I(X;Y)最小值——率失真函数第4章率失真编码*1．失真测度d(x,y)给定离散信源，信道输出符号yj引起的失真用d(xi,yj)（i=1,…,Ij=1,…,J）表示，简记为dij，将所有的dij列出来，可以得到下面的失真测度矩阵(4-1)在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低