随机过程七）－马氏链.doc

第四章 Markov过程 主要内容 离散时间Markov链 转移概率 平稳分布 状态分类 极限定理 连续时间Markov链 Kolomogrov微分方程 连续时间马氏过程 离散时间Markov链 一、Markov链的定义 直观含义：要确定过程将来的状态，只需知道过程现在的状态就足够了，并不需要知道过程以往的状态。 定义：随机过程称为马氏链（Markov链），若它只取有限或可列个值E0, E1,E2,…，且对任意的n≥0及状态有 用条件概率的语言来说 注： 1、E0, E1,E2,…称为Markov链的状态，通常用0，1，2，…来标记E0, E1,E2,…。{0，1，2，…}称为过程的状态空间，记为S。 2、若Markov链的状态是有限的，则称为有限链，否则称为无限链。 2、条件概率，n＝1，2，……称为Markov链的一步转移概率。 3、若转移概率只与状态有关，而与时间n无关，则称该Markov链是时齐Markov链，并记，否则称Markov链是非时齐的。矩阵 称为转移矩阵。 4、称为k步转移概率，称为k步转移矩阵。当n＝1时，，。此外规定 二、转移矩阵的性质 ； C－K方程：， 用矩阵可以表示为 3的证明： 4的证明： 由3知 四、Markov链的例子 例1（随机游动）假设一个球在全直线上做无限制的随机游动，它每次以概率p向左移动一步，以概率1－p向右移动一步，因此它的状态空间为，请写出它的转移矩阵。 例2 假设有一蚂蚁在下面的图上爬行，当两个结点相临时，蚂蚁将爬向图临近一点，并且爬向任何一个邻居的概率是相同的，请写出它的转移矩阵。 2 1 5 3 6 4 例3 设当日有雨，则第二天有雨的概率为0.7，当日无雨第二天有雨的概率为0.5。已知今天没有雨，求四天后有雨的概率。 解： 假设0表示有雨，1表示没有雨，则转移矩阵可以写为 因此 已知今天没雨，四天后没有雨的概率是? 三、Markov链的分布 一维分布 假设初始分布已知，记为Xt的分布，则 从而 或者 有限维分布 利用条件期望的性质，可以得到 证明 练习：请同学们写出任意有限维分布的表达式 ＝ 注： （1）一旦知道Markov链的初始分布和条件概率 ，n＝1，2，…… Markov链的分布性质完全就可以决定。 （2）若，即，则称Markov链是始于i的Markov链，它的分布记为Pi，即 （3）*由（2）可得到Markov链的等价定义 即 3、平稳分布 定义：若Markov链的一维分布族{}满足 则称Markov链是平稳Markov链。 注： （1）注意到，因此若满足 （*） 则Markov链是平稳Markov链，此时 练习：请证明平稳Markov链是强平稳过程。 定义：对于Markov链，概率分布称为是不变（或平稳）的，如果 ， 用矩阵表示为。 可见，当Markov链的初始分布是不变（或平稳）分布时，Markov链都是平稳Markov链。 思考：已知Markov链的转移矩阵P，如何求解不变分布？ 方法一：解线性方程,。 方法二：由于，或，则 因此，是的特征向量（特征根等于1），且。 注意： （1）由于P是随机矩阵，满足，因此P至少有一个特征根为1。 （2）由于1有可能是P的多重特征根，因此，平稳分布不一定唯一。 例：假设Markov链的转移矩阵 求该Markov链的不变分布。 解：由于可以写为 的解为和，因此任何满足的分布都是P的平稳分布，即 ， 这里状态1和3称为吸收态。 假设两个Markov链的转移矩阵分别为 （1）；（2）， 计算它们的平稳分布。 答案： （1）解方程 解得。 （2）解方程 得。 5、马氏链的期望 无条件期望 根据全概率公式 条件期望 记Pi，i∈S表示初始状态为i时的马氏链的分布，即 Ei，i∈S表示初始状态为i时马氏链的期望，即 记表示基于t时刻及t时刻以前信息集的条件期望，即 根据Markov性， 假设g是取值于空间S的可测函数，则根据马氏链的定义可证明 注： 注意到 因此 从而有。 2、Markov链的另一个等价定义 定理：设是以E为状态空间的随机序列，则下列陈述等价 （1）是Markov链； （2）任意的n≥0及状态有 （3）对任何n，及状态，任何，为正整数， （4）对任何n，任何，为正整数，对任何取值于空间S的可测函数g，