《中南大学随机过程第六章》由会员分享，可在线阅读，更多相关《中南大学随机过程第六章（26页珍藏版）》请在金锄头文库上搜索。
1、*胡朝明261泊松过程 泊松过程的两个定义及其等价性 泊松过程的概率分布 泊松过程的数字特征 泊松过程的性质 非齐次泊松过程 复合泊松过程 更新计数过程上一讲内容回顾*胡朝明262 平稳独立增量过程； 点间间距序列Tn相互独立同分布，服从参数为 的指数分布； 等待时间序列n服从参数为的n阶爱而朗分布 ；PN(h)=1h+o(h)；PN(h)2o(h)均值函数 m(t)EN(t)t； 方差函数 D(t)DN(t)t；特征函数 ； 协方差函数 C(s,t)min(s,t)； 相关函数 R(s,t)min(s,t)2st。*胡朝明263本讲主要内容马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的分类
2、 离散参数马氏链 k步转移概率、 k步转移矩阵 齐次马尔可夫链*胡朝明264第三章 马尔可夫过程v 当过程在t=t0时刻所处的状态已知的情况下，过程在时刻t(tt0)所处的状态与过程在t=t0时刻之前的状态无关。这种已知“现在”的条件下，“将来”与“过去”无关的性质，就是直观意义下的马尔可夫性或称为无后效性。具有无后效性的过程称为马尔可夫过程。v 马尔可夫过程是理论和实际应用都十分重要的一类随机过程。在工程系统中的噪声和信号分析、通信网络和输送现象的模拟、统计物理学、生物学、数字计算方法、经济管理和市场预测等领域中都有十分重要的作用和广泛应用。*胡朝明2653.1 马尔可夫过程的概念给定随机过
3、程X(t),tT，如果对于参数中任意n个时 刻ti,i=1,2,n，t1t2tn有 PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1PX(tn)xn|X(tn-1)=xn-1(3.1) 则称随机过程X(t),tT为马尔可夫过程，简称马氏过程。 具有(3.1)式性质称为具有马尔可夫性、无后效性或无记忆性 。由条件分布函数的定义，(3.1)等价于 F(xn;tn|x1,x2,xn-1;t1,t2,tn-1)F(xn;tn|xn-1;tn-1)。如果概率密度函数存在，它等价于 f(xn;tn|x1,x2,xn-1;t1,t2,tn-1)f(xn;tn|xn-1;tn-1
4、)。随机过程具有马尔可夫性质是说：当给定X(t1), X(t2), ,X(tn-1)时，X(tn)的条件分布只依赖于X(tn-1)的已知值， 而与在tn-1以前X(t)的取值无关。*胡朝明266转移概率给定马氏过程X(t),tT，条件概率 p(s,t;x,y)PX(t)y|X(s)=x称为马氏过程的转移概率。若转移概率与s无关，则此过程称为齐次(时)马氏过程。马氏过程X(t),tT中，X(t)的取值x称为状态 ，X(t)x表示过程在时刻t处于状态x，过程所取状态的全体 Ex：X(t)=x,tT称为状态空间。*胡朝明267马尔可夫过程的分类参数集T离散连续状态空间E 离散离散参数马氏链连续参数马
5、氏链连续 离散参数马氏序列 连续参数马氏过程*胡朝明268例1 一维随机游动在直线上非负整数点作随机游动的质点，当时 刻n时处于位置i(i0)，时刻n+1时处于i+1的概率为 pi，处于i-1的概率为qi，不动的概率为ri(pi+qi+ri =1)，若以X(n)表示时刻n质点的位置，那么X(n), n=0,1,2,离散参数马氏链。这是因为，当X(n)i时，X(n+1),X(n+2), 等以后的行为只与X(n)=i有关，而与质点在n以前 如何到达i是无关的。它的状态空间E=0,1,2,。*胡朝明269例2独立过程X(t),tT是马尔可夫过程。证明 设X(t),tT是独立过程，对于t1t2tn T
6、，X(t1),X(t2),X(tn)相互独立，因此PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1PX(tn)xnPX(tn)xn|X(tn-1)=xn-1马氏性成立，故独立过程X(t),tT是马尔可夫过程。*胡朝明2610贝努里随机序列特例 贝努里随机序列，即X(n)，n=0,1,2,是相互独立同分布的贝努里随机变量，X(n)01Pqp0p1,p+q=1n=1,2,X(n)，n=0,1, 2,是离散参数马氏链。*胡朝明2611例3独立增量过程X(t),t0，(X(0)=0)是马尔可夫过程。证明 设X(t),tT是独立增量过程，X(0)=0，对任意t1t2tn，有
7、PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1PX(tn)-X(tn-1)xn-xn-1|X(t1)-X(t0)=x1,X(t2)-X(t1)=x2-x1,X(tn-1)-X(tn-2)=xn-1-xn-2PX(tn)-X(tn-1)xn-xn-1PX(tn)xn|X(tn-1)=xn-1马氏性成立，故独立增量过程X(t),t0是马尔可夫过程。*胡朝明2612二项计数过程设X(n),n=1,2,是贝努里随机序列，X(0) =0，X(n),n=1,2,是相互独立同分布的贝努里随机变量，设称Y(n),n=0,1,2,为二项计数过程(广义随机游 动)，它是平稳独立增量
8、过程，因而是离散参数马氏链。*胡朝明2613例4泊松过程N(t),t0 是马尔可夫过程。证明 因为泊松过程N(t),t0是平稳独立增量过程，因而是马尔可夫过程。*胡朝明26143.2 离散参数马氏链状态空间E和参数集T都是离散的马尔可夫过程称为离散参数马氏链，简称马氏链。即设X(n),n=0,1,2,为随机序列，状态空间 E=0,1,2,。如果对于任意非负整数k、n1n2njm及in1,in2,inj,im,im+kE马尔可夫性PX(m+k)=im+k|X(n1)=in1,X(n2)=in2,X(nj)=inj,X(m)=imPX(m+k)=im+k|X(m)=im 成立，则称X(n),n=0
9、,1,2,为离散参数马尔可夫链，简称马氏链。*胡朝明2615k步转移概率设X(n),n=0,1,2,为马氏链，E=0,1,2, ，称条件概率 pij(m,k)PX(m+k)=j|X(m)=i 为马氏链X(n),n=0,1,在m时刻的k步转移概率.k步转移概率的直观意义是：质点在时刻m时 处于状态i，再经过k步(k个单位时间)处于状态j的条件概率。特别地，k=1时， pij(m,1)PX(m+1)=j|X(m)=i称为一步转移概率，简称转移概率。*胡朝明2616k步转移矩阵称矩阵为马氏链X(n),n=0,1,在m时刻的k步转移矩阵 。一步转移矩阵P(m,1)简称转移矩阵。由转移概率的定义，显然有
10、：*胡朝明2617齐次马尔可夫链若马氏链X(n),n=0,1,2,的转移概率pij(m,k)与m 无关，即 pij(m,k)PX(m+k)=j|X(m)=ipij(k)； pij(m,1)PX(m+1)=j|X(m)=ipij(1)pij； 则称X(n),n=0,1,2,为齐次马尔可夫链，简称齐次马氏 链。 齐次马氏链的k步转移矩阵记为： P(m,k)P(k)(pij(k)i,jE 一步转移矩阵，简称转移矩阵，记为： P(m,1)P(1)P(pij)i,jE 齐次马氏链的转移概率具有如下性质： 0pij(k)1， 0pij1，*胡朝明2618例1 贝努里序列如上节例2所述，贝努里序列是一个齐次
11、马氏链，其转移矩阵为一般地，独立同分布的离散随机变量序列 X(n),n=0,1,2,都是齐次马氏链。 *胡朝明2619例2 随机游动一质点在数轴上的整数点上作随机游动的， 以X(n)表示时刻n质点的位置。质点在某一时刻m 时处于状态i，即X(m)=i，则下一步以概率q左移 到状态i-1，即pi,i-1(m,1)=q；而以概率p右移到状 态i+1，即pi,i+1(m,1)=p。因而质点将来所处的状 态X(m+1),X(m+2),X(m+k)等仅与现在所处的 状态X(m)=i有关，而与过去所处的状态无关。因 此，随机游动X(n),n=0,1,2,是齐次马氏链。随机游动的统计特征由它在边界的特点决定
12、， 下面给出几种特殊的情形。*胡朝明26201.自由(无限制)随机游动状态空间E,-2,-1,0,1,2,两端无限制。转移概率： pi,i-1q，pi,i+1p，其余pi,j0，ji-1,i+1转移矩阵：*胡朝明26212.两个吸收壁随机游动状态空间E1,2,3,4,5。转移概率 p11p551；p1j0，j1；p5j0，j5； pi,i-1q，pi,i+1p，i=2,3,4； pi,j0，ji-1,i+1。 质点运动到1,5时，永远留在那里，称状态1,5为 吸收壁(状态)。转移矩阵：*胡朝明26223.带有两个反射壁的随机游动状态空间E1,2,3,4,5。转移概率： p110，p121，p1
13、j0，j=3,4,5； p550，p541，p5j0，j=1,2,3； pi,i-1q，pi,i+1p，i=2,3,4； pij0，ji-1,i+1，i=2,3,4。 状态1和5永远不能停留，称为反射壁。转移矩阵：*胡朝明26233.带有两个弹性壁的随机游动状态空间E1,2,3,4,5。转移概率： p11q，p12p，p1j0，j=3,4,5； p55p，p54q，p5j0，j=1,2,3； pi,i-1q，pi,i+1p，i=2,3,4； pij0，ji-1,i+1，i=2,3,4。 状态1和5称为弹性壁。转移矩阵：*胡朝明2624本讲主要内容马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的分类 离散参数马氏链 k步转移概率、 k步转移矩阵 齐次马尔可夫链*胡朝明2625下一讲内容预告离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布、 极限分布 遍历性 平稳性*胡朝明2626P1524.习 题 四
