《EM算法及其应用》由会员分享，可在线阅读，更多相关《EM算法及其应用（59页珍藏版）》请在金锄头文库上搜索。
1、分类号：Fs ；D 7 弓 密级：么开单位代码：1 0 4 2 2学号：I ) r l 鼍乙d 户紊只番 S H A N D O N GU N I V E R S l T Y 硕士学位论文T h e s i sf o rM a s t e rD e g r e e ( 专业学位)论文题目：E 从靖；乏辱宴劫司叭A k o “t j l ma n 以A J p p 如C o l l 6 n 5U作者姓名毯当石1 培养单位垒应玄五叠望豳专业名j | 9 ：焘团缝生 指导教师琢f 习t )合作导师、仲年r 月7日原创性声明f i lllUl II II I II II IU I Y 2 5 9 8
2、3 6 7本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：I 妖蜂日期：关于学位论文使用授权的声明本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。( 保密论文在解
3、密后应遵守此规定)论文作者签名：么宜左持师日期：21 兰：7山东大学硕士学位论文目录中文摘要I英文摘要I I I第一章绪论11 1 研究背景和意义11 2 国内外的研究现状21 3 本文研究内容及框架4第二章理论回顾62 1 似然推断62 2 缺失数据、边际化和符号7第三章E M 算法相关理论83 1E M 算法概述。83 2E M 算法收敛性的证明1 13 3E M 算法的收敛速度1 43 4 本章小结1 5第四章E M 算法的改进1 64 1 改进E 步的算法1 64 2 改进M 步的算法1 94 3P X - E M 算法2 14 3 本章小结：2 4第五章E M 算法的重要应用2 55
4、 1 二元正态分布的参数估计2 5一T 一山东大学硕士学位论文5 2 高斯混合模型参数估计2 85 3 隐马尔科夫模型的参数估计3 55 4 本章小结4 1第六章总结与展望4 2参考文献4 4致谢4 7C O N T E N T SC e s eA b s t r a c t IE n g l i s hA b s t r a c t I I IC h a p t e r1I n t r o d u c t i o n - 11 1B a c k g r o u n da n dS i g n i f i c a n c eo fR e s e a r c h l1 2R e s e a r
5、c hS t a t u s 21 3C o n t e n t sa n dF r a m e w o r k 4C h a p t e r2P r i m a r yK n o w l e d g e - 6S 2 1L i k e h h o o dI n f e r e n c e 62 2M i s s i n gD a t a ，M a r g i n a l i z a t i o n ，N o t a t i o n 1 7C h a p t e r3T h e o r yo fE MA l g o r i t b _ m 83 1O v e r v i e wo fE MA
6、l g o r i t h m 83 2C o n v e r g e n c eo fE MA l g o r i t h m 1 13 3C o n v e r g e n c eS p e e do fE MA l g o r i t h m 1 43 4C o n c l u s i o n 1 5C h a p t e r4I m p r o v e m e n to fE MA l g o r i t h m 1 64 1I m p r o v e m e n to fE - s t e p 1 64 2I m p r o v e m e n to fM s t e p 1 94
7、3P X - E MA l g o r i t h m2 14 4C o n c l u s i o n 2 4C h a p t e r5I m p o r t a n tA p p l i c a t i o n so ft h eE Ma l g o r i t h m 2 55 1P a r a m e t e rE s t i m a t i o no fB i v a r i a t eN o r m a lD i s t r i b u t i o n 2 55 2P a r a m e t e rE s t i m a t i o no fG a u s s i a nM i
8、x t u r eM o d e l 2 8l l I 山东大学硕士学位论文5 3P a r a m e t e rE s t i m a t i o no fH i d d e nM a r k o vM o d e l s 3 55 4C o n c l u s i o n 4 1C h a p t e r6C o n c l u s i o na n dO u t l o o k s 4 2R e f e r e n c e s 4 4A c k n o w l e d g e m e n t s 4 7一I V 山东大学硕士学位论文E M 算法及其应用张宏东( 山东大学金融研究院，济南
9、，2 5 0 1 0 0 )( 指导老师：魏刚)中文摘要E M ( e x p e c t a t i o n - m a x i m i z a t i o n ) 算法又称期望最大化算法，是D e m p s t e r ，L a i n d ，R u b i n 于1 9 7 7 年提出的求参数极大似然估计的一种迭代优化策略，它可以从非完整数据集中对参数进行极大似然估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据，截尾数据，带有噪声等所谓的不完全数据，E M 算法是在缺失数据等不完全数据下进行参数的极大似然估计或者极大后验估计一种行之有效的方法。文章的首先主要介绍
10、来了E M 算法的研究背景意义，国内外研究现状，以及E M 算法优化迭代的理论和一般步骤，接着给出了一个启发性的例子从而让我们更好的理解E M 算法，接着对E M 算法的收敛性进行了证明，说明了E M 算法每次迭代总是能提高似然函数值直到收敛到一个稳定点，之后研究了E M 算法的收敛速度。从上一部分可以看出，E M 算法的优势是显然的，基于其简单、收敛、稳定上升，但是它也有诸多缺点，本文之后阐述了针对E M 算法的缺点对其进行的各方面改进，包括改进E 步的M o n t eC a r l oE M 算法原理、迭代的一般 步骤；改进M 步的E C M 、E C M E 算法韵理论、算法及其收敛速
11、度分析，以及针对E M 算法收敛速度慢的加速方法和P X - E M 算法；文章的最后一部分给出了E M 算法的三个非常重要的应用，包括E M 算法在二元正态分布上的参数估计的应用、混合高斯分布参数估计方面的应 用以及E M 算法在隐马尔科夫模型( H M M ) 参数估计方面的应用，即著名的B a u m W e l c h 算法，一种E M 算法的特例。最后用编程实现算法，得到的参数估计结果还是比较理想的。综合本文对E M 算法的研究，可以看出E M 算法在处理数据缺失问题中有明显优势，算法和原理简单，收敛稳定，应用广泛。当然如本文第四章所说，E M 算法也存在诸多缺点( 比如收敛速度慢；
12、E 步、M 步计算困难)山东大学硕士学位论文等，但是相信随着更多的学者对E M 算法进行深入的研究，E M 算法会得到更大的推广和改进，这些问题也都会逐步得到解决。关键字：E M 算法；缺失数据；极大似然估计；M o n t eC a r l o ；混合高斯模型：B a u m - W e l c h 算法。I I 山东大学硕士学位论文E Ma l g o r i t h ma n dA p p l i c a t i o n sH o n g d o n gZ h a n g( I n s t i t u t ef o rF i n a n c i a lR e s e a r c h ，S
13、 h a n d o n gU n i v e r s i t y , J i n a n ，2 5 0 1 0 0 )( P r o f e s s o r ：G a n gW e i )A B S T R A C TE M ( e x p e c t a t i o n - m a x i m i z a t i o n ) a l g o r i t h mw h i c hp r o p o s e di n1 9 7 7b yD e m p s t e r ，L a i n da n dR u b i ni sa l li t e r a t i v em a x i m u ml i k e l i h o o de s t i m a t i o no ft h eo p t i m i z a t i o ns t r a t e g yf o rs e e k i n gp a r a m e t e r s I tc a nf o c u so nt h en o n -c o m p l e t ed a t a f r o mt h ep
