随机过程-马尔科夫链.ppt

则从状态i(注意到是常返的)出发最终不能到达i的概率为:证明所以,i,j或者同为非常返态，或者同为常返态.下面考虑当i,j同为常返态时的情况:所以,i,j或者同为零常返态,或者同为正常返态.下面证明当i,j同为正常返态时,周期相同所以,i,j或者同为正常返非周期状态(遍历态),或者同为正常返周期状态,且周期相同.例6.3.4设马氏链的状态空间S={0,1,2,…},一步转移概率为试分析马氏链各状态的类型解:马氏链的状态转移图为120n状态空间的分解证明(1)用数学归纳法闭集C的性质下面讨论状态空间的分解证明定理6.3.8齐次马氏链的状态空间S可唯一地分解为有限或可列无限多个互不相交的状态子集的并.即其中D是所有非常返状态构成的状态子集.均是由常返态构成的不可约闭集.每个状态子集中的状态有着相同的状态类型:(即或者均为零常返,或者均为正常返非周期,或者均为正常返周期且周期相同.)定理6.3.9设X是状态有限的齐次马氏链，则(1)X的非常返状态集D不可能是闭集.(2)X不存在零常返状态.(3)若X是不可约的，则X所有的状态都是正常返的.证明例6.3.5设状态空间S={0,1,2}的马氏链,一步转移概率矩阵为分解状态空间，并指出状态类型120利用量可以进一步定义状态类型例6.3.1设状态空间S={1,2,3,4}的马尔可夫链,它的一步转移概率矩阵为试分析马氏链的状态的常返与否2314解:马氏链的状态转移图为2314类似可以讨论状态2和4.例6.3.2设状态空间S={1,2,3,4,5}的齐次马氏链,一步转移概率矩阵为马氏链的状态转移图为23145定义6.3.4证明引理6.3.1状态类型的判断定理6.3.2引理6.3.2定理6.3.3证明推论6.3.1定理6.3.4非周期态的判断则利用hi有可以计算di例6.3.3证明定义6.3.5状态之间的关系状态的可达与互通满足以下性质上述性质的验证留作练习.定理6.3.5证明例6.1.7切谱曼—柯尔莫哥洛夫方程马尔可夫链的概率分布初始分布绝对分布有限维分布本节主要内容马尔可夫链的概率分布Chapman-kolmogorov方程(C-K方程)定理6.2.1或矩阵形式证明系统在n时从状态i出发,经k+m步转移,于n+k+m时到达状态j,可以是系统在n时从状态i出发，先经k步转移，于n+k时到达某种中间状态l,再在n+k时从该中间状态l出发又经m步转移，于n+k+m时到达状态j，而中间状态l要取遍整个状态空间S.C-K方程的直观意义：若取m=1,则由C-K方程的矩阵形式:得结论：马尔可夫链的k步转移概率由其一步转移概率所完全确定.分量形式例6.2.1设X={Xn，n≥0}是描述天气变化的齐次马氏链.状态空间为S={0，1}，其中0与1分别表示有雨和无雨天气.X的一步转移概率矩阵为对任意的状态i，j∈S，计算三步转移概率比较各个概率值，并思考如果转移步数增大，上述概率如何变化或有什么规律？初始分布马尔可夫链的概率分布称向量为马尔可夫链的初始分布向量.定义6.2.1马氏链X={Xn，n≥0}的状态空间为S绝对分布称向量为马氏链X的绝对分布向量.定义6.2.2马氏链X={Xn，n≥0}的状态空间为S定理6.2.3马尔可夫链X的绝对分布由其初始分布和一步转移概率完全确定.对于齐次马尔可夫链，上述结论可表示为有限维分布定理6.2.2马尔可夫链X的有限维分布由其初始分布和一步转移概率所完全确定.证明又因为马尔可夫链的k步转移概率由一步转移概率所完全确定.所以马尔可夫链的有限维分布由其初始分布和一步转移概率完全确定.为齐次马氏链，状态空间为S={0，1，2}.转移概率矩阵为初始分布试求：解例6.2.3社会学家将家庭的个体收入分为低、中、高三个等级，分别表示为1、2、3。研究者发现，个体收入等级在很大程度上取决于其父代收入的等级，令Xn，表示一个家庭第n代个体的收入等级，则该家庭相继后代收入等级的变化可用齐次马氏链X={Xn，n≥0}描述，状态空间为S={1，2，3}.且有一步转移概率矩阵如果个体当前收入等级为3，试分析经过三代后个体收入等级转变为2的可能性，进一步分析经过n代后个体收入等级的概率分布，并具体计算n