2-6-第2章-2.2.4-5-马尔可夫信源.ppt

第2章信源熵2.2多符号离散平稳信源2.2.1序列信息的熵2.2.2离散平稳信源的数学模型2.2.3离散平稳信源的信息熵和极限熵2.2.4马尔可夫信源2.2.5信源冗余度和信息变差1有限状态马尔可夫链2马尔可夫信源有记忆信源在任一时刻发出符号的概率通常仅与前面的若干个符号有关，与更前面的符号无关，因此我们可以认为信源在某一时刻发出的符号与信源的状态有关。设信源状态空间为，在每一状态下信源可能输出的符号每一时刻，当信源发出一个符号后，信源所处的状态将发生变化，并转入一个新的状态。马尔可夫信源定义马尔可夫信源状态的一步转移概率马尔可夫信源输出的符号序列Xl完全由信源所处的状态Sl决定。所以，可将信源的输出符号系列变换成状态系列，将信源输出符号的不确定性问题变成信源状态的转换问题，即，信源在l-1时刻的状态Sj，当它发出一个符号后，所处的状态变成l时刻的状态Si，这种状态间的变化可用一步转移概率描述马尔可夫信源与马尔可夫链马尔可夫链状态转移图-例题通常我们用马尔可夫链的状态转移图来描述马尔可夫信源。信源状态转移图马尔可夫信源-例题马尔可夫信源-例题（续）马尔可夫链状态转移图-例题马尔可夫链状态转移图-例题（续）马尔可夫链状态转移图-例题（续）一步转移矩阵为PM阶马尔可夫信源的极限熵H∞当时间足够长时，遍历的m阶马尔可夫信源可以视为平稳信源，又因为信源发出的符号只与最近的m个符号有关，所以由极限熵定理Hm+1的计算马尔可夫信源的极限熵H∞=Hm+1计算此马尔可夫信源熵-例题马尔可夫信源熵-例题(续)第2章信源熵2.2多符号离散平稳信源2.2.1序列信息的熵2.2.2离散平稳信源的数学模型2.2.3离散平稳信源的信息熵和极限熵2.2.4马尔可夫信源2.2.5信源冗余度和信息变差信源的相关性和剩余度信源剩余度为了衡量信源的相关性程度，引入剩余度概念定义信源剩余度**