《连续时间Markov链说课讲解》由会员分享,可在线阅读,更多相关《连续时间Markov链说课讲解(14页珍藏版)》请在金锄头文库上搜索。
1、第三节 连续时间Markov链,复习: Markov 链是离散时间参数、离散状态的且满足Markov性的随机过程.,注:Markov链的状态空间是离散的,时间参数集也是离散的.,状态空间的离散性保持不变, 但时间是连续变化的.,即连续时间的Markov链.,Kolmogrov方程及生灭过程.,【教学内容】,连续时间的Markov链的定义和性质、,5.7.1 连续时间Markov链,定义,注: (1)式反映了Markov性,即考虑未来时刻t+s的状态,它只与时刻s的状态有关,而与时刻s之前的无关.,定义中的条件概率,在时刻s处在状态i,经过时间t后转移到j的 转移概率,并,表示过程,为 转移概率
2、矩阵.,我们先看:,时齐性,定义:称连续Markov链是时齐的,,记忆性”,即服从指数分布.,注:我们只讨论时齐的连续时间Markov链,简称连续时间Markov链.,我们学习连续时间Markov链,不仅要考虑它在某一时刻将处于什么状态,,同时还要关心它在离开这个状态之前,会停留多长时间,,由Markov性,此“停留时间”具有“无,证明:只需证,因为,则,上定理说明:连续时间Markov链在某个状态的停留时间 服从指数分布.,定义,称一个连续时间Markov链是正则的,,若以概率1,在任意有限长的时间内转移的次数是有限的.,注: 今后我们所考虑的Markov链都满足正则性条件.,由连续性条件,
3、知,例题:,(1) Poisson 过程;,(2) 生灭过程.,5.7.2 转移概率 和Kolmogrov微分方程,回顾:对时齐的离散时间Markov链,,于连续时间Markov链而言,,转移概率,又会怎样呢?,那么对,一般比较复杂.,现在,我们先介绍 的一些性质.,定理: 时齐的连续时间Markov链的转移概率,满足,以下性质:,注: (3) 称为连续时间Markov链的C-K方程, 其矩阵形式:,证明,证明:,(1)和(2)是很显然的.,我们只需证(3).,上面的定理给出 的概率性质, 接下来我们讨论它的,分析性质,即把 看作是t的函数,再考虑这个函数的性质.,Go on,证明:,由上定理
4、中的(3), 知,又由于,所以,,定理:,注: (1) 由定理易知:,定理:,(2) 称作从状态i转移到j的转移概率.,推论:,对有限状态的时齐连续时间的Markov链,有,证明:,由前面的一个定理,知,所以,,注: 对无限状态的情况,一般有,设S=1,2,n, 记,称为连续时间Markov链的Q-矩阵.,称该矩阵为保守的.,补充说明:,当矩阵元素满足,时,,Q-矩阵就是转移矩阵的密度矩阵.,判断:,有限状态的时齐连续时间的Markov链的Q-矩,阵为保守的.,(2)保守Q-矩阵的每一行元素之和为0.,根据上面两个定理及推论,导出重要的微分方程,即,定理,有,注: 向后方程的矩阵形式 :,向前方程的矩阵形式 :,Kolmogorov 微分方程.,无论是Markov链还是连续时间Markov链,他们的状态,空间都是离散的,,现在我们进一步学习状态空间是连续,的,即一般的Markov过程.,定义,例题:,(1)讨论 Poisson 过程 所满足的微分方程;,(2)讨论 生灭过程 所满足的微分方程.,