HMM隐马尔可夫模型解析课件.pptxVIP

Hidden Markov model n HMM n HMM n HMM 的表述 的分类 的应用 HMM进行了深入浅出的介绍 n 90年代，HMM被引入计算机文字识别和移 动通信核心技术“多用户的检测” n 近年来，HMM在生物信息科学、故障诊断 等领域也开始得到应用 n 隐马尔可夫模型 n 马尔可夫链 马尔可夫性 n 如果一个过程的“将来”仅依赖“现在”而不依 赖“过去”，则此过程具有马尔可夫性,或称此 过程为马尔可夫过程。由俄国数学家A.A.马 尔可夫与1907年提出。 n X(t+1) = f(X(t) ) n 现实中存在很多马尔可夫过程 n 在时间集T1 = {0,1,2, …}上对离散状态的过程相继观察的结果 n 链的状态空间记做I = {a1, a2, …}, ai∈R. n 条件概率Pij(m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时 率。 刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概 阴天 阴天 0.25 0.25 0.125 下雨 下雨 0.25 0.375 0.625 马尔可夫链—转移概率矩阵 0.50 0.375 0.25 晴天 阴天 下雨 晴天 晴天 n 当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马 尔可夫链，通常说的马尔科夫链都是指齐次马尔 科夫链。 几种典型形状的马尔可夫链 n (a)转移矩阵没有零值 的Markov链 n (b)转移矩阵有零值的 Markov链 n (c)和(d)是左-右形式表 示的Markov链 HMM实例 Urn 2 Urn 1 Observed Ball Sequence Urn 3 Veil n 根据缸中球颜色的概率分布，随机选择一个球，记球 的颜色为O1，并把球放回缸中 n 根据描述缸的转移的概率分布，随机选择下一口缸， 重复以上步骤。 n 最后得到一个描述球的颜色的序列O1,O2, … ，称 为观察值序列O。 n 从缸中所选取的球的颜色和缸并不是一一对应的 n 每次选取哪个缸由一组转移概率决定 n 不能被直接观察缸间的转移 一组概率分布相联系 n HMM是一个双重随机过程，两个组成部分： n 马尔可夫链：描述状态的转移，用转移概率 描述。 n 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 随机过程 (B) Markov链 (冗, A) 观察值序列 o1, o2, ..., oT HMM组成 状态序列 q1, q2, ..., qT HMM组成示意图 参数 含义 实例 N 状态数目 缸的数目 M 每个状态可能的观察值数 目 彩球颜色数目 A 与时间无关的状态转移概 率矩阵 在选定某个缸的情况下， 选择另一个缸的概率 B 给定状态下，观察值概率 分布 每个缸中的颜色分布 p 初始状态空间的概率分布 初始时选择某口缸的概率 n 解码问题：给定观察序列O=O1,O2, …OT以及模型λ,如何选 择一个对应的状态序列S = q1,q2, …qT ，使得S能够最为合 理的解释观察序列O？ 算法：Viterbi算法 n 学习问题：如何调整模型参数λ =(π，A，B),对于给定观 测值序列O=O1,O2, …OT，使得P(O|λ)最大？ 算法：Baum-Welch算法 转移矩阵aij和词性到单词的输 bbiikk 性性 阵阵 词词 矩矩 计计 出出 统统 将词性理解为状态 将单词理解为输出值 Viterbi算法 求解： 训练： 将每种疾病理解为状态 将输入的表征现象理解为输出值 统计从一种疾病转移到另一种疾病的转移 矩阵aij和某一疾病呈现出某一症状的概率 Viterbi算法 状态转移过程 矩阵bik 求解： 训练： 3) 学习问题 表示在qt状态下观测到Ot的概率 n n 由此的复杂度：2T×NT,N=5, M=100, 计算 量10^72 n 给定一个固定的状态序列Q=(q1，q2， q3 …) 基本问题之一：评估问题 n 基本问题之一：前向算法 n 定义前向变量 n 初始化： n 递归： n 终结： 复杂度： N2T 基本问题之一：前向后向算法 N . qi . qj . . 1 a1j at aNj aij i at at q q t 1 N 1 基本问题之一：后向算法 n 与前向法类似，只是递推方向不同. n 定义后向变量 n 初始化： n 递归： n 终结： 基本问题之一：后向算法 后向算法示意图： n N和T分别为状态个数和序列长度 n 定义： n 我们所要找的，就是T时刻最大的 的那个状态序列 所代表 n 求S序列： n 递归： n 终结： 我们考虑计算t时刻到达状态X的最可能的路径；这条到达状态X的路径将通过t- 1时刻的状 态A ，B或C中的某一个。 因此，最可能的到达状