《随机过程报告——马尔可夫链》由会员分享，可在线阅读，更多相关《随机过程报告——马尔可夫链（8页珍藏版）》请在金锄头文库上搜索。
1、马尔可夫链马尔可夫链是一种特殊的随机过程，最初由A.A.Markov所研究。它的直观背 景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为 E ,E总共有可数个或者有穷个。这系统只可能在时刻t=l,2,n,上0 1 n改变它的状态。随着工的运动进程，定义一列随机变量Xn,n=0,l, 2,其中 Xn=k，如在t二n时，工 位于Ek。定义1.1设有随机过程&，n e T ，假设对任意的整数n e T和任意的ni ,i ,.i e I ,条件概率满足01 n+1PX 二 i X 二 i，,X 二 i 二 PX 二 i |X 二 i n+1 n+100n nn+1 n+1 n
2、 n则称&，n e T 为马尔可夫链，简称为马氏链。n实际中常常碰到具有以下性质的运动系统工。如果己知它在t二n时的状态， 则关于它在n时以前所处的状态的补充知识，对预言工在n时以后所处的状态， 不起任何作用。或者说，在己知的“现在”的条件下， “将来”与“过去”是 无关的。这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。假设马尔可夫过程&，n e T 的参数集T是离散时间集合，即T=0,1,2, n其相应Xn可能取值的全体组成的状态空间是离散状态空间1=1,2,.。定义1.2 条件概率P( n) = p X = j|X = iijn+1n称为马尔可夫链&，n e T 在时刻n
3、的一步转移矩阵，其中i，j eI,简称为转 n移概率。一般地，转移概率P(n)不仅与状态i,j有关，而且与时刻n有关。当P(n)不依赖ijij于时刻n时，表示马尔可夫链具有平稳转移概率。假设对任意的i, j eI，马尔可夫链Xn,nG T的转移概率P（n）与n无关，则称马尔可夫链是齐次的。定义1.3设p表示一步转移概率p,所组成的矩阵，且状态空间l=l,2,n，则称为马尔可夫链的一步转移概率矩阵。它具有如下性质：丫 P 二 1, i e I P 0, i, j e I;.丿刃 jij定理1.1设& ,n e T为马尔可夫链，则对任意的i i，.i e I和n 1,有n1, 2n巩船二爪也 7二
4、工口附口皿O这说明马尔可夫链的有限维分布完全由它的初始概率和一部转移概率所决 定。因此，只要知道初始概率和一部转移概率，就可以知道马尔可夫链的统 计特性。定义1.4假设Xn，n 0是齐次马尔可夫链，其状态空间为I,转移概率为Pij, 称概率分布r j，j e 1为马尔可夫链的平稳分布，假设它满足二兀舄工巧二込 0对于不可约马尔可夫链，假设它的状态是非周期，正常返的，则它是遍历的； 对 于不可约马尔可夫链，假设它的状态是有限且非周期的，则它是遍历的。值得注意的是，对于一个马尔可夫链，并不是一定存在limp（n）。例如设马尔可n s夫链的一部转移矩阵为：（0 1）P -U。丿易知p（2n）二I （
5、单位矩阵），p（2n+1）二p，所以limp（n）不存在。在随机过程理论中，马尔可夫链是一类占有重要地位，具有普遍意义的随机过程。它广泛应用于现代社会的各个领域，尤其在预测领域有着广泛的应用。马尔可夫链的预测方法分为很多种。根据指标值序列分组有3种。1数据序列约定俗成的分组方法：根据人们长 久的经验进行分组：由于人们在现实生活中积累了生活经验，人们对认识的事物 有了感性的了解，就可以对现象进行分组。2样本均值一均方差分组法：对于 数据序列x ,x x，可看作是一个时间序列的前n个观测值，算出样本均值X和12n样本均方差S,根据具体情况以样本均值为中心，S为标准进行分组。3有序聚 类分组法：有序
6、聚类是对有序样品进行分类的一种方法，更加充分地考虑序列的 数据结构，使划分的区间更加合理。有序聚类实现的经典算法是Fisher算法，其 基本原理为:设时间序列x ,x x的某一归类是12n(兀X什人Ji定义其均值向量为将公式D亿沪士区-和茅i=f定义为x ,xx 的直径，其含义表示该变量段内部各变量之间的差异情况。12n其值越小，表示该段内变量之间差异越小，或说相互间越接近;反之，表示该段 内变量之间差异越大，或说相互间越分散。三种马氏链预测方法：1)基于绝对分布的马尔可夫链预测步骤1对历史数据进行分组；步骤2确定观测值的状态，写出频数矩阵(n)，和一步转移矩阵(f),ij i，jeEij i
7、，jeE其中f =，其中n为样本容量，当时n Ta，可用频数估计概率p = f，从ijn -1ijij而得到一步转移概率矩阵0 =B。1 lj步骤3 “马氏性”检验步骤4已知时刻l时系统取各个状态的概率可视为马尔可夫链的初始分布， 比方xl取状态2, m=5，则始分布P(0)=0,1, 0, 0, 0，于是l+l时的绝对分布 P = P P = (Pd),P(2),P(3),P(4),P(5)，可认为时刻1 +1时系统所取的状态j满足(1)(0)12345Pj二maxP(i)，从而预测1+ t时刻的状态。11士 5 1步骤5还可以用马氏链的平稳性，遍历性对系统分析。2)叠加马氏链预测步骤1对历
8、史数据进行分组；步骤2计算各阶的一步转移矩阵P，P，P，I = l,2,.k，其中P = (f 2)，12 k2ij i, jeEn(2)f2 =ij ，其他类推。ijn - 2步骤3 “马氏性”检验步骤4如果要预测时刻1+1的状态，可分别利用1, 1T, , 1-k+1作为初始态， 1+1所处的状态j满足P二maxP 。列表分析1士5初始甘段状怂1734来源I4%1耳1-23l-i21-43件计%、%)A 5)图1叠加马氏链预测分析表步骤5重复步骤1-4递推预测；步骤6进行平稳性，遍历性及其他分析。3加权马氏链预测步骤1对历史数据进行分组；步骤2计算各阶的一步转移矩阵P, P，P , I =
9、 l,2,.k，其中P = (f 2)12 k2ij i, jeE f 2 亠,其他类推。a n - 2步骤3 “马氏性”检验；步骤4计算各阶相关系数：上_工（兀-刘匕戟一兀）% =-_e E、 也 - xfr=l计算标准的相关系数：渔刀口 I粽步骤5预测n+1时刻的状态步骤6重复1-5,预测n+2时刻的状态，其余类推步骤7讨论其他性质。马尔可夫预测方法是马尔可夫链在预测领域的一种应用方法。最初这种方法在 水文，气象，地震等方面有广泛的应用，之后经济学家将其应用于研究市场占有 率，预测经营利润等方面。在马尔可夫预测方法中，一个非常重要的问题就是对 一步状态转移概率矩阵的估算。下面以实例分析马尔
10、可夫链在现实生活中的应用。下面给出长江水域6类水质 所占的比例。年符时间11类IU类IV覽类劣V类014.659.5血92.71.72.5映112.216.254.49.53.83,91W7110. 513.643.226. (J3.22g1% 925.64fi.28.22.73.4199945, fl-)1.730.312.44,95.757.935.2Sii14.95.96価654.3Bfi. 1156. 37.420027o.s35.73L 1J2.913 4S1.3卫1,54L7g.&3.4145200490.926.740.215. J5.211.9现在要对长江未来10年的水质污染的
11、发展趋势做一个总体的预测。为此可建立长江水质污染的马尔可夫链趋势预测的一步转移概率矩阵估计的 最优化模型。设枯水期长江全流域水质在第t年属于I类、II类、III类、W类、 V类、劣V类这6类状态的比例向量分别为a (t) = (P(l),P(2),.P (6),t = 0,1,2,.9设P = (p )为6类状态矩阵的一步转 tttij 6x6移概率，根据误差平方和到达最小的准则，建立如下最优化模型：min /( P)=工( 十 I ) q( f)尸)(十 I ) - a(t)P)1t =06J,5=1I 2.6y =用ma tl ab软件求解得r0.460 70.000 00.539 30.
12、000 00.000 00.000 0-10,034 50.277 80.504 90.061 20.060 30.061 4P =0.000 00.270 50.330 80.323 00,000 00.014 2().()(X) 0I. ()00 00.000 00JW0 0().00() 00.000 0L(). 00() 0(L 110 70.174 70.000 00.000 00.174 6由下式q(9 +k)二 q(9)PA = I ,2,JO可以对长江未来10年的水质污染属于I类、II类、III类、W类、V类、劣V类这6类状态的比例向量作出预测，预测结果见下表年恃时间11类II
13、类in类IV类Y类劣*类20)15Lh3.76fi g30. 338 336 268 】14.a. K25 011. S5 72U06|5.7655 L58.005 U3571 3J. S27 a也 SIU E2007J25 539 62R.235 137.922 2J4.O29 33.R22 0JO. 460 421HJK135.784 928.219 L牺一刪3IS.76 *3.79(2 10-189 I2期145歸928. I7&O38.144 2I4.0J6 93.70a I9.W6 020L01562S.181 33K.19J 514. OU 63.800 49.857 6201 1165.9701?28.194 33S.229 814.M6?.血72012175.W7 228. 206 738.255 114.073 73.806 69.693 42013185.997 328,217 338.272 9I4.QS2 73. 808 7鼻碌72
