与编码第2讲离散信源熵互信息.pdf

第二讲 离散信源熵与互信息 外语 ： 熵: Entropy 互信息: Average Mutual Information 噪声熵: Noise Entropy 损失熵: Loss Entropy 信道容量: Channel Capacity 联合熵: Joint Entropy 平均互信息: Average Mutual Information 第二章 信源与信息熵 信源的描述与分类 马尔可夫信源 离散信源熵 离散信源熵与互信息 互信息 熵的性质 离散序列信源的熵 无 序列信源 连续信源熵和互信息 有 序列信源 最大熵定理 冗余度 2021/7/20 3 /59 问题的引出  信息论的发展是以信息可以度量为基础的，度量 信息的量称为信息量。  对于随机出现的 ，它的出现会给人们带来多 大的信息量？  举例： 甲告诉乙“你考上 ”，那么乙是否得到信息？ 丙再次告诉乙同样的话，那么乙是否得到信息？ 2021/7/20 4 /59  信源是产生消息 （符号）、消息序列和连续消息 的来源。从数学上，由于消息的不确定性，因此， 信源是产生随 量、随机序列和随机过程的源  信源的基本特性是具有随机不确定性 2021/7/20 5 /59 单符号 随 量 离 散 信 源 多符号 随机矢量 信源 连 续 随机过程 信 源 2021/7/20 6 /59 无 信源 1、单符号离散信源  信源发出的消息是离散的，有限的或可数的，且一个符 号代表一条完整的消息。  例如：投 每次只能是{1，2，…6}中的某一个。其 中的数叫做 /元素，以一定的概率出现；  信源可看作是具有一定概率分布的某些