第2章-2.7马尔可夫信源.ppt

2.7马尔可夫信源马尔可夫链Markovchain是马尔可夫过程中的一个特例。该过程中，在给定当前知识或信息的情况下，只有当前的状态用来预测将来，过去(即当前以前的历史状态)对于预测将来(即当前以后的未来状态)是无关的。马尔可夫信源－研究意义为了求解平稳信源的极限熵，可以用N维的条件熵来近似要计算近似离散平稳信源的极限熵，需要知道从1维－N维的条件概率分布，这在一般情况下比较困难马尔可夫信源－研究意义虽然马尔可夫信源是一个非平稳的信源，但是当马尔可夫信源进入稳定状态后，就可以看成一个平稳信源马尔可夫信源熵的求解，只需要知道与前面N－1个分量的相互关系，即只需要知道N维条件概率分布即可，受约束程度大大降低有限状态马尔可夫链转移概率pij(m,n)为了知道系统状态的转化情况，引入转移概率它表示，已知在时刻m系统处于状态Ei（Sm取值Ei）的条件下，经(n-m)步后转移到状态Ej的概率；转移概率的性质：基本(一步)转移概率1,...,k步转移概率K步转移矩阵时齐马尔可夫链切普曼-柯尔莫哥洛夫方程马尔可夫信源－基本概念绝对的平稳信源是不存在的，非平稳信源仍然是主流。但一般的非平稳信源研究起来非常复杂。马尔可夫信源是非平稳信源中的一个特例，满足马尔可夫链的性质，因此可以用马尔可夫链的性质求解信源熵。马尔可夫信源－基本概念为了描述马尔可夫信源，除了信源符号集外，还必须引入信源当时所处的“状态”，信源在某时刻输出符号的概率与此时信源所处的状态有关.定义信源符号集，表示信源每一个分量可能的输出：定义了信源所处的状态马尔可夫信源－基本概念【定义】如果信源的输出序列和信源所处的状态满足以下两个条件，该信源为马尔可夫信源1、某时刻信源输出的符号只与信源所处的状态相关，与以前的状态及以前的输出无关。即2、信源所处的状态由前一时刻所处的状态，和前一时刻输出的符号唯一确定马尔可夫信源－基本概念第一个条件表明：信源的输出只与信源当前所处的状态有关，而与其他因素无关。第二个条件表明：在特定的状态下，发出特定的符号后，信源状态发生跳变，且必定100％跳变到一个特定的状态。马尔可夫信源－基本概念马尔可夫信源输出的符号序列Xl完全由信源所处的状态Sl决定。所以，可将信源的输出符号系列变换成状态系列，将信源输出符号的不确定性问题变成信源状态的转换问题马尔可夫信源－状态转移图描述马尔可夫信源，可以用马尔可夫链的状态转移图。1、把每个可能出现的状态用一个圆圈表示；2、圆圈之间用有向线段连接，表示状态的迁移；3、在有向线段旁边，注明发出的符号及在状态 下发出的条件概率马尔可夫信源－状态转移图该马尔可夫信源有三个状态：，其中设为初始状态，初始概率为，等概率的转移到这两个状态马尔可夫信源－状态转移图马尔可夫信源－状态转移图为什么马尔可夫信源是非平稳的信源：初始概率为：进入或两个状态。之后无论在哪个状态，下一个输出的符号有80％的可能性是1，转移到，有20％的可能性是0，转移到，所以 ，与初始概率不同，不满足平稳信源的定义。马尔可夫信源－状态转移图但是，如果我们把初始状态除外，信源总是以80％的概率发1，以20％的概率发0，处在稳定的状态，这时可以看作是平稳信源从初始状态到平稳状态总是有个过程的。一般经过足够长的时间后，总能达到稳定状态正是因为初始概率和稳定概率不一样，在进入稳定状态以前，马尔可夫信源是非平稳的；而在进入稳定状态后，马尔可夫信源可以看做是平稳的m阶马尔可夫信源m阶马尔可夫信源：在任何时刻l，输出分量的概率分布只与前面m个分量的输出有关。可以把前面m个分量组成的序列做为l时刻信源所处的状态。如果信源的符号集是则信源的状态共有个m阶马尔可夫信源例2.9二元二阶马尔可夫信源。二元指信源可能的输出有2种取值，如0，1；马尔可夫信源共有个状态，前两个分量可能取值的排列m阶马尔可夫信源对于m阶马尔可夫信源，状态的定义已经给出，状态转移图也可以很容易的画出