第讲连续信源的熵与互信息量.ppt

连续信源的熵与互信息量 第四讲 连续信源的熵与互信息量 第四讲 例题 令X是在区间(a，b)上均匀分布的随机变量，求X的相 对熵。 解：x的概率密度为 注意:连续变量的微分熵不具有非负性 当 b－a> 1 时， b－a< 1 时， b－a=1 时， 例 令X是数学期望为m，方差为 的正态随机变量，求 它的熵。 解：正态随机变量x的概率密度 它的值视 的大小可正、可负或零，且与数学期望无关。 X 和Y 之间的平均互信息由定义有 奈特 表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。 例:设原连续随机变量X是数学期望为m，方差为 的正态随机变量，经一个放大倍数为k的放大器放大输出为Y,求Y的相对熵。 解：y=kx为数学期望为km，方差为 的正态随机变量， 注意:相对熵值通过线性放大器后发生变化. 连续熵可为负值（为什么？连续熵的相对性所致） 可加性 平均互信息的非负性，对称性，信息处理定理 最大连续熵定理 解： 证明： 考虑到约束条件 应用拉格朗日乘因子法计算极大值 当且仅当 时，等号成立。 将其代入两个约束条件，即可求得 和 于是有 X的方差一定 均值受限的最大熵定理 若连续随机变量X非负的均值为M，则X服从指数分布时 的相对熵最大，即 最大连续熵定理 当平均功率受限时，高斯分布信源的熵最大，若令 其平均功率为 ，则其熵为 熵功率 若平均功率为 的信源具有熵为HC(X)，则称熵为HC(X)的 高斯信源的平均功率为熵功率 若另一信源的平均功率仍为 ，则它的熵一定小于 连续信源的剩余度 平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率 总小于信号的实际平均功率 。 熵功率的大小可以表示连续信源剩余的大小。信号平均功 率和熵功率之差 ，称为连续信源的剩余度。 * * * * Review 离散信源的非平均自信息与熵 离散随机变量的非平均自信息： 离散信源的平均自信息即熵： 扩展 离散无记忆信源：H ∞(X)= HL(X)=H(X) 离散有记忆信源：H∞(X)≤ HL(X) ≤ H(X) Review 离散信源序列的熵 信源的序列熵： Review 离散信源的互信息 系统1 系统2 X Y Z 两级串联信道的情况 X-Y-Z构成Markov链 当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 数据处理定理 Review 输出消息取值上连续的信源，如语音，电视等， 对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。 连续信源的数学模型 考虑一个定义在[a,b]区间的连续随机变量，如下图 ? ? ?首先把X的取值区间[a,b]等分割为n个小区间，小区间宽度为 △=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系 x取值为第i个小区间xi的概率为p(xi).△, xi为小区间xi中的一 点，于是得到分割后的离散信源Xn的概率源空间为： p(x) p(xi) △ a 0 xi b x 连续信源的熵？ 其中 按离散信源熵的定义 当△→0，n→∞时，Xn接近于连续随机变量X，这时可得连续信源的熵为： 绝对熵 相对熵 p(xn)△ … p(x2)△ p(x1)△ xn … x2 x1 定义:连续随机