《第五章 马尔可夫过程-4》由会员分享，可在线阅读，更多相关《第五章 马尔可夫过程-4（47页珍藏版）》请在金锄头文库上搜索。
1、5 马尔可夫过程马尔可夫过程的概念离散参数马尔可夫链连续参数马尔可夫链生灭过程及排队系统马尔可夫过程的概念离散参数马尔可夫链连续参数马尔可夫链生灭过程及排队系统5.4 生灭过程生灭过程5.4.1 定义5.4.1 定义 如果连续参数马尔可夫链如果连续参数马尔可夫链X(t), t 0满足：（1）状态转移仅限于从一个状态向其邻近状态转移； （2）若满足：（1）状态转移仅限于从一个状态向其邻近状态转移； （2）若X(t)= i，则在，则在t, t+内由状态内由状态i转移状态转移状态i +1的概率为 ；由状态的概率为 ；由状态i转移状态转移状态i -1的概率为； 状态的概率为； 状态i不变的概率为不变的
2、概率为； （3）若）若X(t)= i，则在，则在t,t+内由状态内由状态i转移二个或二个以上状 态的概率为转移二个或二个以上状 态的概率为 o()。 则称该链。 则称该链X(t), t 0为为生灭过程生灭过程。 状态空间。 状态空间E=0,1,2,3,(状态无限状态无限); T=0, 。 如果。 如果 i , i均是均是t的函数，则称为的函数，则称为非齐次生灭过程非齐次生灭过程； 如果； 如果 i, i均是均是t的线性函数，则称为的线性函数，则称为非齐次线性生灭过程非齐次线性生灭过程； 如果； 如果 i, i 均与均与t无关，则称为无关，则称为齐次生灭过程齐次生灭过程。( )( )it +(
3、)( )it + 1( )( )( )iitt +5.4 生灭过程生灭过程5.4.2 转移概率5.4.2 转移概率齐次生灭过程转移概率如下：可见，在一小段时间内，忽略高阶无穷小齐次生灭过程转移概率如下：可见，在一小段时间内，忽略高阶无穷小o()，生灭过程的状 态变化只有三种情况： （1）状态，生灭过程的状 态变化只有三种情况： （1）状态i转移至状态转移至状态i +1，状态增加，状态增加1，群体，群体“生生”了一个个体，了一个个体， “生长率生长率”为为 i；（2）状态；（2）状态i转移至状态转移至状态i -1，状态减少，状态减少1，群体，群体“死死”了一个个体，了一个个体， “灭亡率灭亡率”
4、为为i；（；（3）状态不增不减，群体个数不变。）状态不增不减，群体个数不变。生灭过程所有状态都是相通的。生灭过程所有状态都是相通的。110(1) ( )( ), 0 (2) ( )( ), 0, =0(3) ( )1()( )(4) ( )( ), |2.iiiiiiiiiiiiijpopopopoij +=+=+=+=5.4 生灭过程生灭过程5.4.3 转移速率矩阵5.4.3 转移速率矩阵根据转移速率的定义，转移速率矩阵为当根据转移速率的定义，转移速率矩阵为当i=0,为=0,为纯生过程纯生过程；当；当 i=0,为=0,为纯灭过程纯灭过程。0, 1 ( ), 1lim(), 0, |2iiji
5、ji ij iiji pjiqji ji =+ =+= 00111122220000()000 0()0000()00 00iiii + + = + Q? ? ? ? ?5.4 生灭过程生灭过程5.4.4 转移速率图5.4.4 转移速率图生灭过程生灭过程012N0112N-1N23NN+1012N0012N-1N0000纯生过程纯灭过程纯生过程纯灭过程012N01000023NN+15.4 生灭过程生灭过程5.4.5 微分方程5.4.5 微分方程柯尔莫哥洛夫前进方程、后退方程：转移概率与转移速 率的微分关系。柯尔莫哥洛夫前进方程、后退方程：转移概率与转移速 率的微分关系。( )( ) , (0
6、)tt=PPQPI1,11,100011( )()( )( )( ), 1( )( )( )ijjjijji jji jiiip tp tptptjp tp tp t+=+=+前进方程前进方程5.4 生灭过程生灭过程5.4.5 微分方程5.4.5 微分方程柯尔莫哥洛夫前进方程、后退方程：转移概率与转移速 率的微分关系。柯尔莫哥洛夫前进方程、后退方程：转移概率与转移速 率的微分关系。( )( ), (0)tt=PQPPI1,1,00001( )()( )( )( ), 1( )( )( )ijiiijiijjijjjjp tp tptptiptptp t+=+ =+后退方程后退方程5.4 生灭过
7、程生灭过程5.4.5 微分方程5.4.5 微分方程福克-普朗克方程：绝对概率与转移速率的微分关系。福克-普朗克方程：绝对概率与转移速率的微分关系。111100011( )()( )( )( ), 1( )( )( )jjjjjjjjp tp tptptjp tp tp t+= += +0101( ) ( ) ( )( ) ( ) ( )NNp t p tptp t p tpt=Q?( )( )tt=PPQ5.4 生灭过程生灭过程5.4.6 平稳分布5.4.6 平稳分布若极限分布存在若极限分布存在,则存在平稳状态则存在平稳状态.根据定理，若平稳分布根据定理，若平稳分布 i, i=1,2,存在，必
8、满足线性 方程组又把转移速率代入，方程组化为存在，必满足线性 方程组又把转移速率代入，方程组化为()01i=Q0?01i i+=0011111100 ()0, 1,2,.1 iiiiiiii ii += +=+= =5.4 生灭过程生灭过程5.4.6 平稳分布5.4.6 平稳分布解该方程组得解该方程组得0 10 1011 210 212011 0 12011 00 1121i i iiii + =+=? ? ?5.4 生灭过程生灭过程5.4.6 平稳分布5.4.6 平稳分布当收敛时，存在平稳分布当发散时，生灭过程不存在平稳分布。当收敛时，存在平稳分布当发散时，生灭过程不存在平稳分布。1011
9、0 112011 0 121, 1, 2, 3,.iiii i ii + =+=? ? ?011112iii + =? ?011112iii + =? ?5.4 生灭过程生灭过程5.4.6 平稳分布5.4.6 平稳分布平衡方程平衡方程当过程渐近平稳状态时，有称为当过程渐近平稳状态时，有称为整体平衡方程整体平衡方程, 即它表示进入状态即它表示进入状态i的平均速率等于离开状态的平均速率等于离开状态i的平均速率。的平均速率。001111110 ()0, 1,2,.iiiiiiii +=+=1111iiiiiiii +=+5.4 生灭过程生灭过程5.4.6 平稳分布5.4.6 平稳分布平衡方程平衡方程
10、生灭过程的平稳分布，从该式得到称为生灭过程的平稳分布，从该式得到称为详细平衡方程详细平衡方程，它表示从状态它表示从状态i-1转移到状态转移到状态i的平均速 率等于从状态的平均速 率等于从状态i转移到状态转移到状态i-1的平均速率。的平均速率。11iiii =011 0 12, 1, 2, 3,.i i ii =? ?5.4 生灭过程生灭过程5.4.7 有限状态5.4.7 有限状态状态空间状态空间E=0,1,2,3,N; T=0, 当当iN, i=0; 当当iN,i=0.微分方程：微分方程：1111000111111( )()( )( )( ), ( )( )( )( )( )( )jjjjjj
11、jjNNNNNjNp tp tptptp tp tp tptptpt+= + = + =( )( )tt=PPQ5.4 生灭过程生灭过程5.4.7 有限状态5.4.7 有限状态状态空间状态空间E=0,1,2,3,N; T=0, 当当iN, i=0; 当当iN,i=0.平稳分布：平稳分布：001111111100()0, 1,2,., 01iiiiiiiNNNNi iiN +=+= += =有限状态的生灭过程必存在平稳分布有限状态的生灭过程必存在平稳分布5.4 生灭过程生灭过程5.4.8 纯生过程5.4.8 纯生过程状态空间状态空间E=0,1,2,3,; T=0, 当当j0,j=0.微分方程:初
12、始概率:微分方程:初始概率:p0(0)=1, 对对i1,pi(0)=011000( )( )( ), 1( )( )jjjjjp tp tptjp tp t= += 100( )ljj t jjlj lkpttc e =1 ()lj lj ljc=5.5 生灭过程在排队论中的应用生灭过程在排队论中的应用5.5.1 随机服务系统（排队论）的基本概念5.5.1 随机服务系统（排队论）的基本概念一、随机服务系统模型一、随机服务系统模型顾客到达顾客到达等待服务等待服务接受服务接受服务顾客离去顾客离去排队规则等待时间排队顾客数服务台数接受服务顾客数服务时间系统顾客数系统时间排队规则等待时间排队顾客数服务
13、台数接受服务顾客数服务时间系统顾客数系统时间5.5.1 随机服务系统（排队论）的基本概念5.5.1 随机服务系统（排队论）的基本概念二、有关定义、概念二、有关定义、概念若顾客在时刻若顾客在时刻tk到达，则称到达，则称tk为为到达时间到达时间； 随机变量； 随机变量Tk=tk+1-tk称为称为到达间隔到达间隔； 若； 若Tk是独立同分布的，则称是独立同分布的，则称ETk为为平均到达间隔平均到达间隔； 若顾客在0,t)内到达的数目为随机过程； 若顾客在0,t)内到达的数目为随机过程N(t),则称,则称N(t)/t 为该区间上的为该区间上的平均到达率平均到达率(),即单位时间内平均到达系统的 顾客数量,反映了顾客到达系统的快慢程度。 (),即单位时间内平均到达系统的 顾客数量,反映了顾客到达系统的快慢程度。 =1/ ETk 例如，强度为泊松过程的平均到达间隔为1/,平均到达 率则为。例如，强度为泊松过程的平均到达间隔为1/,平均到达 率则为。5.5.1 随机服务系统（排队论）的基本概念5.5.1 随机服务系统（排队论）的基本概念二、有关定义、概念二、有关定义、概念服务台对第服务台对第k个顾客的个顾客的服务时间服务时间tk是一个随机变量序 列，若该序列是独立同分布的，则期望是一个随机变量序 列，若该序列是独立同分布的，则期望Etk便是便是平均服务平均服务 时间
