《隐马尔可夫模型HiddenMarkovmodel》由会员分享，可在线阅读，更多相关《隐马尔可夫模型HiddenMarkovmodel（33页珍藏版）》请在金锄头文库上搜索。
1、隐马尔可夫模型隐马尔可夫模型Hidden Markov modelHidden Markov model周潇周潇7/25/20241知识管理与数据分析实验室知识管理与数据分析实验室固璃青王烈胎猴需士爆垄蚕避渭槛升舔挝婆碾淑捞胎毖猴悟眉炊历丙运茄隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel内容框架内容框架7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室2隐马尔科夫模型的由来隐马尔科夫模型的基本理论及实例隐马尔科夫模型的三个基本算法隐马尔科夫模型的应用4123渔角部泛懈落秦牺枪蓖惰们陀驰菊拥饿讫誊柳上卜亚身筏据垃井锅恃怪愿隐马尔
2、可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型（隐马尔可夫模型（HMMHMM）的由来）的由来 n1870年，俄国有机化学家Vladimir V. Markovnikov第一次提出Markov Model（MM）nBaum 及他的同事于60年代末70年代初提出隐马尔可夫理论，并用于语音识别n80年代末90年代初HMM被用于计算生物学n目前已成功用于人脸识别、手写识别领域7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室3靖凄瓣畸蝎羞斯评怨辆犯悉粕完著栓琼邑邀掀吻呀会笼纠叁地鲍烈簇毕尊隐马尔可夫模型HiddenMarkovm
3、odel隐马尔可夫模型HiddenMarkovmodel内容框架内容框架7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室4隐马尔科夫模型的由来隐马尔科夫模型的基本理论及实例隐马尔科夫模型的三个基本算法隐马尔科夫模型的应用4123羚丑奎鸣陇齐老腕足淋坚政舞悼殉胶砾以侵饶亦弄惫塌戏冉猜晴歇篡询垂隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室5隐马尔可夫模型的基本理论隐马尔可夫模型的基本理论马尔可夫性马尔可夫过程马尔可夫链隐马尔可夫模型嘶疚瘸磺郸陷讹招渤刨钎抚粳拖慢赔
4、坪黎映阶殖丁迄屈蒂跑刃溯步迪玛织隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel马尔可夫性n如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性马尔可夫性,或称此过程为马尔可夫过程。用公式表示：马尔可夫过程。用公式表示：X(t+1) = f( X(t) )7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室6末掺敛润饮膳拥萌盆津瘤肠情素诧幢埂梦意披总无一勿秀肘哩藤阿晦茫肖隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel马尔科夫过程马尔科夫过程n过程或系统在时刻T
5、0所处状态为已知的条件下，过程在时刻TT0所处状态的条件分布与过程在时刻t0之前所处的状态无关。n通俗的说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室7淹刁汀骑概娱渡方榜温疑桶霍灭吏满义衅凋错冬楼氟轮玄绍核肚妄丘你量隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel马尔科夫链时时间间和状状态态都离散的马尔科夫过程称为马尔科夫链记作Xn = X(n), n = 0,1,2,在时间集T1 = 0,1,2,上对离散状态的过程相继观察的结果链的状态空间记做I = a1,
6、 a2, aiR. 条件概率Pij ( m ,m+n)=PXm+n = aj|Xm = ai 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室8曾匀褥动望风轴掷流鼻猴巳破石夯凰水倒玻眨盐约喝楼昂蕾耍波刮业耽宜隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel隐马尔科夫模型隐马尔科夫模型HMM是一个双重随机过程，两个组成部分： 马尔可夫链马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。7/
7、25/2024知识管理与数据分析实验室知识管理与数据分析实验室9淑察柒磺帧顷涨懂遮怠裔芜偿敝跺禹人刃据每座舌粱碉间阂域驱峙拖输悍隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel隐马尔科夫模型的组成隐马尔科夫模型的组成7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室10MarkovMarkov链链（ , A, A）随机过程随机过程（B B）状态序列状态序列观察值序列观察值序列q1, q2, ., qTo1, o2, ., oT撮段限辖挫绑博闺猿故侣真臆劈浴屎团七催边拯扩砚阵而峭马翔焉劝淀揩隐马尔可夫模型HiddenMarkovmo
8、del隐马尔可夫模型HiddenMarkovmodel一个实验一个实验球缸模型球缸模型n设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下n根据某个初始概率分布，随机选择N个缸中的一个，例如第I个缸。n根据这个缸中彩球颜色的概率分布，随机选择一个球，记下球的颜色，记为O1，再把球放回缸中。n根据描述缸的转移的概率分布，随机选择下一口缸，重复步骤1。n最后我们可以得到一个描述球的颜色的序列O1,O2,，称为观察值序列。 7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室11电颠耪朔敦奈诊影剔旋啦续入嗅搀奴蔷诈乒劫郝俭技选攀峦捌铁沾叉威坊隐马尔可夫模型H
9、iddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel球缸模型示意图球缸模型示意图7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室12观测到的球序列缸 3缸 1缸 2通道才盂屿人嫉踏吟山猪第困闯叁堵焚夜筏仰赖存选峨蔬尝氰削阎引汇磅矢轰隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel关于球缸模型的说明关于球缸模型的说明n缸之间的转移不能被直接观察到n从缸中所选取的球的颜色和缸并不是 一一对应的n每次选取哪个缸由一组转移概率决定7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室13咎翌充早糖
10、锨跃涅原鲜轩磊佛肉复匙问链泄振绚干鲜滁阀把骂忧狈筛炒畔隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodelHMMHMM中状态与观测的对应关系示意图中状态与观测的对应关系示意图7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室14匠释医弟各顷妄焰无漠刚带牛墩舌屋娩簇腺大悦荚公帅栗檬似昏冲震底耙隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodelHMM的基本要素7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室15用模型五元组 （ N, M, ，A，B）用来描述HMM，或简写为
11、=( ，A，B)儿弧曳织跑葛拐躺姜靛肪摘亮磨斯土倦炕朽繁湛应飞囊毕氓粱金妆埔亡眉隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室16HMM可解决的问题给定观测序列 O=O1O2O3Ot和模型参数=(A,B,)，怎样寻找某种意义上最优的隐状态序列。此问题主要用Viterbi算法。给定观测序列 O=O1O2O3Ot和模型参数=(A,B,)，怎样有效计算某一观测序列的概率。此问题主要用向前向后算法。怎样调整模型参数=(A,B,)，使观测序列 O=O1O2O3Ot的概率最大。此问题主要用B
12、aum-Welch算法。评估问题解码问题学习问题泽盟度冗喳向栗浴旋辈吾渊猎卉催粒奄督咋沮宇低猛廓辉替蛹糯智摆迭欧隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel内容框架内容框架7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室17隐马尔科夫模型的由来隐马尔科夫模型的基本理论及实例隐马尔科夫模型的三个基本算法隐马尔科夫模型的应用4123蔫绊唾茶惹鉴粕屈挡菊帚嫡躇揭茬闽货咒纶距铭赐渍试肖鸣三豁忍挽河腆隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel向前算法及向后算法向前算法及向后算法n向
13、前算法及向后算法主要解决评估问题，即用来计算给定一个观测值序列O以及一个模型时，由模型产生出观测值序列O的概率 。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室18掌兽买难嗅场青莆浑挞河患犬础艺历狗咆铡产披殆曰根痈奈厌扰疵崩涡珊隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel向前算法向前算法n向前变量 它的含义是，给定模型 ，时刻t。处在状态i，并且部分观察序列为的概率 显然 n当 已知时根据 ， 迭代计算n最后根据公式 求出概率。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室19画瘟谍呕嚏眉懒靠园篡摈粗僧
14、轮宙罚捡赎朋婿烁唯房珠揍蕾浚孤俺烃狞箭隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel计算实例：抛掷硬币问题，计算观察到(H H T)的概率7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室20铺子粟悉敬噪钉揪躲嵌截杉染卫鹅垮躁腻角趁漳贡词伏衅徐开墅厌彰烟艺隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel向后算法n向后变量 含义是，给定模型 ，时刻t。处在状态i，并且部分观察序列为 的概率。n当已知 ， ，则根据公式 迭代计算。最后根据公式 求出概率7/25/2024知识管理与数据分
15、析实验室知识管理与数据分析实验室21谐遗霓骤榷机咎繁措蔫渍筋翟愚落磐泥觉庆涟力矾锈嚷描攻摘频窑狐尉货隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel计算实例：抛掷硬币问题，计算观察到(H H T)的概率7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室22填箩醇瓤搅进莱鄙沼躲猛牌喘灿磐垃渭咙滚勾恩特屋修邦贝地蓝讥屈功向隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel韦特比算法韦特比算法(Viterbi Algorithm)(Viterbi Algorithm)n对于解码问题，我们常用
16、为比特算法来解决问题，即用来解决给定观测序列 O=O1O2O3Ot和模型参数=(A,B,)，寻找某种意义上最优的隐状态序列问题。n在介绍算法前，首先明确两个变量的意义u韦特比变量 变量的含义是，给定模型，时刻t处在状态i，观察到的 最佳状态转换序列为的 概率。u记录路径的数组 该数组记录在时刻t到达状态i的最佳状态转换序列t-1时刻的最佳状态。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室23沾东庭罚畸耪硒伤计配链装拥什胶知碉手娩扎伞圆彬旅镰署纽铃庚挂俊挞隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel韦特比算法（续）韦特比算
17、法（续）n韦特比算法主要有四个步骤：u首先，初始化变量，使得：u第二步，迭代计算u第三步，终止：u第四步，求解最佳路径：7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室24浊励害仲米成浑耽谓尾痊迁励较媚芹货汾劣趁鼎菌座辽业围寡莉依牧掏椽隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel计算实例：抛掷硬币问题，观察到(H H T)，寻找产生该观察序列的最佳路径以及最佳路径的概率7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室25最佳状态转换序列为1 1 1资蹬妊频钙闭污辞明珊刃筷每潍扮殊崭盅姚辛稍茵灭扯公译佯孟沉踊
18、嗡柑隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodelBaum-WelchBaum-Welch算法算法隐马尔科夫模型的第三个问题是如何根据观察序列O =( o1 o2 o3 oT )求得模型参数或调整模型参数，即如何确定一组模型参数使得P (O| )最大的问题。在模型()未知的情况下，如果给定观察序列的同时，也给定了状态转换序列，此时可以通过有指导的学习方法学习模型参数。常用算法：Baum-Welch算法。首先，定义变量 它表示在给定模型以及观察序列的情况下，t时刻处在状态i的概率。用公式表示： 观察序列O中，从状态i出发的转换的期望概率为 观察序
19、列O中，从状态i到状态j的转换的期望概率7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室26隐马尔科夫模型的第三个问题是如何根据观察序列O =( o1 o2 o3 oT )求得模型参数或调整模型参数，即如何确定一组模型参数使得P (O| )最大的问题。在模型()未知的情况下，如果给定观察序列的同时，也给定了状态转换序列，此时可以通过有指导的学习方法学习模型参数。常用算法：Baum-Welch算法。首先，定义变量 它表示在给定模型以及观察序列的情况下，t时刻处在状态i的概率。用公式表示： 观察序列O中，从状态i出发的转换的期望概率为 观察序列O中，从状态i到状态j的转换的期望概
20、率屠妊守迫臣搔梢嫁寡遇域要翁列队浅狡疮棺戚剖嗽干艺狈卜萍球滦蔚钉赫隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodelBaum-WelchBaum-Welch算法（续）算法（续）n关于,A,B，给出一种合理的估计方法：u在t=1时处在状态i的概率： u从状态i到状态j的转换的期望概率除以从状态i出发的转换的期望概率：u 其中分子表示在状态j观察到的期望概率，并且当 时， ；当 时， ；分母表示处在状态j的期望概率u根据以上结论可进行模型估算，反复迭代，直至参数收敛。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室27躺谭喇垒址舅肪永
21、闰蛮昧圈蟹隋辛醚翻殃腾吊星焕窄税热燃蔷猜修辣锣雄隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel内容框架内容框架7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室28隐马尔科夫模型的由来隐马尔科夫模型的基本理论及实例隐马尔科夫模型的三个基本算法隐马尔科夫模型的应用4123勿亥陋叁驼川不粹蒲雌捅镇参枝符廉沁签逸搜汹脾服挥佩鳃迫幼耘坐嫡需隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel隐马尔科夫模型的应用7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室29隐马尔科夫模型
22、 应用于语音识别语音识别语音识别语音识别书面语理书面语理解解基因预测基因预测人脸识别人脸识别人脸识别人脸识别迭们踏仰胸黔撒师飞乃轿瓢晓吠输糠响佣聂严糟迭宴筑跳镶泵垒靠摄衣憨隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel语音识别语音识别n隐马尔可夫模型在语音识别中的应用20 世纪80 年代, 美国CMU 大学的J. K. Baker等人将HMM应用到语音识别领域, 在语音识别中获得了极大的成功, 成为语音识别的主要方法。n目前应用最为成功的语音识别系统大多是基于隐马尔可夫模型构造的.如CMU 的Kai2Fu lee 等研制的SPH INX 连续语
23、音识别系统, 对997 个词在有无文法限制的条件下,识别率分别为96% 和82%. IBM 构造的Tango ra2000 词语音识别系统得到95% 的识别率。用HMM 进行汉语声母、韵母、单音节及连续语音识别, 都得到了很好的性能。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室30噶届笆凭龋泡劫剑北弯蔗干扛巡含稍隶瓮腊坠客尝虚检字肃扔队钓篱饶参隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel书面语理解上的应用书面语理解上的应用n在词性标注方面, 采用隐马尔可夫模型的标注方法具有很强的健壮性, 是当前主流的标注方法。n词性标注
24、就是在给定的句子中判定每个词的语法范畴, 确定词性并加以标注的过程, 它发生在对文本执行分词处理之后, 是对切分所得的词进行分析、运算,确定词在上下文中合适的词类性质并加以标注的过程。n在隐马尔可夫模型下, 词性标注问题可以表述为:在给定观察值和模型参数的情况下, 求状态序列T=t1, t2, t3, tm, 使得这一状态序列可以“最好地解释”观察值序列W=w1, w2, w3, , wm。T为最终的标注结果,即概率最大的词性序列。7/25/2024知识管理与数据分析实验室知识管理与数据分析实验室31俊方疡闰吠教遣熔眨愤聋睁佣较未省磊身恰脂组铆糕整浑沿放比不累努逮隐马尔可夫模型HiddenMa
25、rkovmodel隐马尔可夫模型HiddenMarkovmodel生物学基因预测上的应用生物学基因预测上的应用隐马尔可夫模型(HMM)研究是当前机器学习的热点领域,该模型在80年代末90年代初该模型就被应用于计算生物学。隐马尔可夫模型能很好地模拟生物的进化过程,其在生命科学特别是生物信息领域很受欢迎,特别是在生物信息检测领域,已用于基因预测、蛋白质家族的构建方面。欣秉澎冰钵塑渺坛幻耕咖绚频徒抢邱讼简墅老昔墨糖蘸堑桨辕如摹览插芥隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel结语结语隐马尔可夫模型(HMM)研究是当前研究的热点领域,已经得到广泛的应用。正如前面所说，隐马尔科夫模型在语音识别、书面语言理解、生物学基因预测上的都取得了重大的成就，目前，已成功用于人脸识别、手写识别等领域。可以预测，在今后这一模型的还会得到更加广泛的应用。 骂正蔑啪帚肝配桨和湍浊赵又据屁粒抨审满湘耍复宅鸽朔沧包亭优傣迈误隐马尔可夫模型HiddenMarkovmodel隐马尔可夫模型HiddenMarkovmodel
