《马尔可夫过程》由会员分享，可在线阅读，更多相关《马尔可夫过程（8页珍藏版）》请在金锄头文库上搜索。
1、马尔可夫过程马尔科夫讨稈和马尔可夫过程是同义词，已合并。一类随机过稈。它的原始模型马尔可夫链，由俄国数学家A.A马尔可夫于1907年提 出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依 赖于它以往的演变（过去）。例如森林中动物头数的变化构成马尔可夫过程。在现实 世界中，有很多过程都是马尔可夫过程,如液体中微粒所作的布朗运动、传染病受感染的人 数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫 哥洛夫在概率论的解析方法一文中首先将微分方程等分析的方法用于这类过程，奠定了 马尔可夫过程的理论基础。目录1名词定义2形成过程2.1时间
2、链2.2连续时间2.3牛灭过程2.4 一般过程3扩散过程资料个人收集整理，勿做商业用途1名词定义在马尔可夫性的定义中,现在是指固定的时刻，但实际问题中常需把马尔可夫性中 的“现在”这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运 动，如果要研究首次到达圆周的时刻T以前的事件和以后的事件的条件独立性，这里T为停 时，并且认为T是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下， “将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔 可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出 对强
3、马尔可夫性需要严格证明的是J丄.杜布。直到1956年，才有人找到马尔可夫过程不是 强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明,强马尔可夫过程才是马尔可 夫过程真正研究的对象。资料个人收集整理，勿做商业用途2形成过程Markov process1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的 道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、 马尔可夫向量场等都是正待深入研究的领域。类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家A.A 马尔可夫于1907 年提出。人们在实际中常遇到具有下述特性的随机过程：在已知
4、它所处的状态的条件下，它 未来的演变不依赖于它以往的演变。这种已知现在”的条件下，将来”与过去”独立的特性称 为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马 尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶 上，因为青蛙是没有记忆的，当所处的位置已知时，它下一步跳往何处和它以往走过的路径 无关。如果将荷叶编号并用X0,X1,X2,分别表示青蛙最初处的荷叶号码及第一次、第二 次、跳跃后所处的荷叶号码，那么Xn, n0就是马尔可夫过程。液体中微粒所作的布 朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃,人口增长过程等
5、等 都可视为马尔可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用马尔可夫过 程来近似。资料个人收集整理，勿做商业用途关于马尔可夫过程的理论研究,1931年A.H.柯尔莫哥洛夫发表了概率论的解析方 法，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊 藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马 尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫 过程的研究中，E.5.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初， 角谷静夫和J.L.杜布等发现了布朗运动与偏微分方稈论
6、中狄利克雷问题的关系，后来G.A. 亨特研究了相当一般的马尔可夫过程(亨特过程)与位势的关系。流形上的马尔可夫过程、 马尔可夫场等都是正待深入研究的领域。口料个人收集整理，勿做商业用途时间链以上述荷花池中的青蛙跳跃过程为例，荷叶号码的集合E叫做状态空间,马尔可夫性 表示为：对任意的OsnKn2v.vnl0,i0,i1,i2,，i(n-1), i,jE，有资料个人收集整理,(1)Px( n)=i n|x(0)=i0,x(1)=i1,.,x( n-1)=i( n-1)=Px( n)=i n|x(n-1)=i( n-1)料个人收集整理，(以下n与m的区别请注意！)只要其中条件概率(见概率)有意义。一
7、般地，设E=0, 1,，M(M为正整数)或 E=0,1,2,/n, n0为取值于E的随机变量序列，如果(1)式成立，则称X,n0为马 尔可夫链。如果（1）式右方与m无关，则称为齐次马尔可夫链。这时（1）式右方是马尔 可夫链从i出发经n步转移到j的概率，称为转移概率，记为。对于马尔可夫链，人们最关 心的是它的转移的概率规律，而n步转移矩阵正好描述了链的n步转移规律。由于从i出发 经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发（与过去无关地） 经m步再转移至叮，因此有资料个人收集整理，勿做商业用途这就是柯尔莫哥洛夫一查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步 转移
8、矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来 刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0p0,则称i可以 直达j,记作i-j,如还有pji0,则记作i凮j,采用这样的记号，可以用图形表示运动的进 程。例如图形资料个人收集整理，勿做商业用途表示一个马尔可夫链的运动情况，当链处于b1,b2,b3状态时，将永远在b1,b2,b3中 运动，当链处于al, a2, a3, a4状态时，将永远在al, a2, a3, a4中运动，而d1,d2, 不具有这种性质，因为从di可一步转移到bl或d2,自d3可到al或d4,等等。对一般 的马尔可
9、夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态，它将永远 在C中转移，C就称为这个链的闭集。对闭集C,如果从C中任一状态出发经有限步转 移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的b1,b2, b3。至于 b1,b2,b3, c1,c2虽然也是闭集，但却是可约的。如果从状态i出发经有限次转移后回到i 的概率为1,则称i为常返状态。状态空间E可以分解为由一切非常返状态组成的集E0 （如 上例中的d1,d2,.）和一些由常返状态组成的不可约闭集Ea（如上例中的b1,b2,b3,a1, a2, a3, a4,c1,c2）的并。这样，在链的转移中，它或者总是在E0中转移，
10、或者转移到 某个常返类Ea中，一旦转移到Ea,它将永远在Ea中转移，而且不时回到其中的每一个状 态。特别，当E本身是不可约常返闭集时，极限存在，其中0r0为连续时间马尔可 夫链。若还与s0无关，记为pij(t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的 转移矩阵P(t)=(pij(t)(i,jwE,t0)所刻画。P(t)满足下述条件：pij(t) 0，；柯尔莫哥洛 夫-查普曼方程；通常假定：标准性这里6ii=1，Bij=O(iMj)。有时直接称满足、 的一族矩阵P(t)=(pij(t), t0为转移矩阵或马尔可夫链。当中条件放宽为时，称为广转 移矩阵，它有很好的解析性质。例如，每个pij
11、(t)在t0时具有连续的有穷导数P (t)； 在t=0,右导数P (0)存在，闫时P (0)非负有穷，但P (0)可能为无穷。矩阵Q =(qij) 呏(P (0)称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链X.t0，钟开莱找 到一个具有较好轨道性质(右下半连续)的修正X(t), t0(即对一切t0, P(X(t)MXt)=O, 且对每个轨道对一切t0有)，而且以概率1,对任意tO,s从大于t的一侧趋于t时，X最 多只有一个有穷的极限点。资料个人收集整理，勿做商业用途以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或Q过程。在一定条件下，Q广转 移矩阵P(t),t0满足向后微分方程组或者向前微
12、分方程组。资料个人收集整理，勿做商业用途上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方 程组的问题，这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足Oqijv+8(iMj), 是否存在Q广转移矩阵？如果存在，何时唯一？如果不唯一，如何求出全部的Q广转移矩阵？ 对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t)，证明了 Q广转移矩阵 总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了 Q广转移矩阵的唯一 性准则；至于求出全部Q广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于Q的 对角线元素全为无穷的情形，D.威廉斯
13、曾获得了完满的结果。资料个人收集整理，勿做商业用途 生灭过程考察一个群体成员的数目，在时间的进程中可增可减，假定在时刻t群体有i个成员， 在很短的时间间隔(t, t+At)中，群体数目增加或减少两个或两个以上几乎是不可能的， 它只可能增加一个或减少(当i0时)一个或保持不变。而增加一个的概率为，减少一个的 概率为，保持不变的概率为。(pij(t)的密度矩阵是资料个人收集整理，勿做商业用途式中a00,b00，对一切i0, ai0,bi0。具有上述形状的密度矩阵的齐次马尔可夫 链称为生灭过程。资料个人收集整理，勿做商业用途物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程
14、有着广泛的实际应用。不仅如此，生灭过程还有重要的理论研究意义。关于生灭过程的结果 已经十分丰富。当a0=0,b00时，只有一个生灭过稈的充分必要条件是。对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全 部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此 外，甚至对a00, b00的情形，或更一般的双边生灭Q矩阵(即为一切整数)的情形, 全部Q广转移矩阵也都已构造出来。一般过程设(E, B)为可测空间，X=X, t0为一族取值于E的随机变量，如果对任意的B， 以概率1有资料个人收集整理，勿做商业用途(2)则称X为马尔可夫过程。马尔可夫过程的定义还可以进一步扩充。第一，所谓过去可以作更广泛的理解，即 (2)中由，Xs所产生的域(见概率)可以扩大为一般的o域Fs
