《第十讲 几种常用的随机过程》由会员分享，可在线阅读，更多相关《第十讲 几种常用的随机过程（23页珍藏版）》请在金锄头文库上搜索。
1、第十讲 几种常用的随机过程10.1 马尔可夫过程10.1.1 马尔可夫序列 马尔可夫序列是指时间参数离散，状态 连续的马尔可夫过程。一个随机变量序列x(n=l,2,)，若对n于任意的 n 有F(x i x ,x ,.,x)= F(x i x)(10.1)X nn-1n - 21X nn-1或f (x Ix ,x，,x) = f (x Ix ) (10.2)X nn-1n-21 X nn-1则称 x 为马尔可夫序列。 x 的联合概率密 nn度为/ (x,x,.,x) = f (x I x )f (x I x )X 12 n X nn -1Xn -1 n -2Xf (x I x) f (x)X 2
2、1 X 1(10.3)马尔可夫序列有如下性质：(1) 一个马尔可夫序列的子序列仍为马尔 可夫序列。(2) F (x I x ,x ,x ) = f (x I x )X NN + 1N + 2N + kX NN 一1( 104 )(3) E (X | X ,X )二 E (X | X )NN -11NN -1( 105 ) ( 4 ) 在一个马尔可夫序列中，若已知现在， 则未来与过去相互独立。即/ (X , X | X ) = / (X | X ) / (X | X )X N s rX NN -1X s r，nrs( 106)(5) 若条件概率密度 f(X |X )与 n 无关，X NN -1则
3、称马尔可夫序列是齐次的。( 6 ) 若一个马尔可夫序列是齐次的，且所 有的随机变量 X 具有同样的概率密度，N 则称该马尔可夫序列为平稳的。( 7 ) 马尔可夫序列的转移概率满足切普曼 柯尔莫哥洛夫方程，即/ (x | X ) J /(X| X ) / (X | X )X N sgX N rX r s，nrs(107)1012 马尔可夫链马尔可夫链是指时间参数，状态方程皆为离散的马尔可夫过程。1 马 尔 可 夫 链 的 定 义 设x (n = 12)为离散时间随机过程，其状态 n空间1二匕,a2，,aN。如果过程在t时刻为m+k任一状态a (i = 12 N)的概率，只与过程 im+k在t时刻
4、的状态有关，而与过程在t时刻以mm前 的 状 态 无 关 ， 即pX 二a. |X 二a.，,X a.m+kIm .1Im小 m V c 1pX a.丨X a.（10.8）m+k.m.m+ km则称该过程为马尔可夫链，或简称马氏链。2 马氏链的转移概率及有限维分布马氏链的转移概率定义为p (m,m + k) pX a | X a,.jm+kj m .i,j 12N;m,k皆为正整数(10.9)如果p.(m，m + k)与m无关，则称该马氏.j链为齐次的。下面我们仅研讨齐次马氏链，m+1二a j iX 二a.j m i并习惯上省去“齐次”二字。 马氏链的一步转移概率及其矩阵分别定 义为p p (
5、1) = p (m, m +1)= PXijijij(10.10)P11P = P (1) =.21PN1PP1222PN21N2NPNN10.11)一步转移概率矩阵 P 有以下两个性质0 p 1ijij(10.12)i=l10.13)马氏链的高阶转移概率及其矩阵分别 定义为p (m,m + n) = PX=a | Xjijm+nP (n)11P (n)12P (n)1NP (n)21P (n).22P (n)2 NP (n)N1P(n).N 2P(n)NNmP (n)=p (n)=ij=S( 10.14 )(10.15)n 步转移概率矩阵 P(n) 具有如下的性质：(10.16)0 p (n
6、) 1ijij(10.17)i=1此外，还规定P (0) = p (m,m) =s= p 0, 工p = 1(10.23)iii若绝对概率“(k)=別Xk=a，则有JJ(10.24)p (k +1)二工 p p (k +1)二工 p (k)pji i iji i ij马氏链的有限维分布可表示为p x = a, X = X = a. 0i1ini=pX = a. PX = a. |X 0 i1 i 0.PX=n.n-1n=p p p iiiii00 1n-1 nza=za011-(10.25)3遍历性及平稳分布(1)遍历性 设X(n)为齐次马氏链，若 对于一切状态i与j,存在不依赖于i的极限 l
7、im p (n) = p(10.36)n * ijj则称马氏链X (n)具有遍历性。定理 (有限马氏链具有遍历性的充分条 件)对有限状态的齐次马氏链X (n)，若存 在正整数m,使p (m) 0, i, j = 1, 2,，N (10.37)ij则此链是遍历的。而且，式( 1036)中的Pj =pr p2,pn是方程组Np =E P P , j = 1,2,., N ji iji=1(10.38)在满足条件No p 0和v = 1,如有 jjjj=0v E =ji=0vpiij10.40 )则称它为该链的平稳分布。并有gv = E v p (n) ii iji=0(10.41)10.1.3 马
8、尔可夫过程这里论及的马尔可夫过程是指时间状态皆连续的马尔可夫过程。扩散过程就是 这类马尔可夫过程的一个特例。设有一随机过程：X (t), t g T, t t . t 3的整数X n nn -1 n -1则称此类过程为马尔可夫过程，简称马氏过 程。马氏过程的转移概率分布定义为：F (x ;t I x ; t ) = PX(t) X(t ) = x (10.43 )X n n n -1 n-1nn -1n -1或F (x;11x ;t) = PX(t) t (10.44 )X 0 0000转移概率分布是关于 x 的分布函数，故有：x； t)1 0 010.48 )马氏过程的转移概率密度定义为10
9、.49 )故有d/ (x;t I x ;t) =一F (x;11 x ;t)X 0 0dx x 0 0广 / (x; t / x ; t )dx = 18 X0 0F (x; t / x ; t ) -8 (x X ), z当t -t 时寸 X0 000F (x ;t /x ,x,., x ,x;t ,t.,t ,t )X n n n 1n 221 n 1 n 22 1= F (x ;t /x;t),n 3的整数X n nn 1 n 1它也满足切普曼柯尔莫哥洛夫方程10.50)10.51)10.52)(1) F (x； 11 x ； t ) 0(10.45 )X 0 0(2) F S 11 x
10、 ； t ) = 1(10.46 )X 0 0(3) F ( 8； 11 x ； t ) = 0(10.47 )X 0 0(4) F (x； 11 x ； t )是关于x单调不减，右连续的函数。X 0 05)满足切普曼 柯尔莫哥洛夫方程F (x； 11 x ； t ) = J8 F (x； 11 x ； t) d F (x ； t I X008 X11X 1 Xf ( x ;t / x ;t )X n n k k/ (x ; n / x ; t ) / (x ; t / x ; t ) dX,8 X n n r r X r r k k10.53 )t t tkrn如果马氏过程X (t)有F (x;t/x ;t) = F (x/x ；t),t = t -1( 10.54 )X 0 0 X 0 0或 f (x;t/x ;t) = f (x/x ;t),t = t 一 t(10.55 )X 0 0 X 0 0则称它为为齐次马尔可夫过程。马氏过程X (t)的n维概率密度可写成t 一1(10.56 )f (x;t )nf (x ;t /x ；t ),t t .tX 1 1Xi+1 i+1i i 12ni=110.2 独立增量过程10.2.1 独立增量过程设有一个随机过程X(t)(t e T，若对任意的时刻0 t t t t b，过程的增量0 1 2 nX(t)- X(t)、X(t )- X
