《5--连续时间马尔可夫链--beamer》由会员分享，可在线阅读，更多相关《5--连续时间马尔可夫链--beamer（61页珍藏版）》请在金锄头文库上搜索。
1、第五章:连续时间马尔可夫链韩 参 变 量开课单位:某某大学数学与统计学院 手机号码:+1234567654321 电子邮件:某某大学邮箱韩参变量(某某大学)第五章:连续时间马尔可夫链1 / 61S5.1连续时间马氏链的定义韩参变量(某某大学)第五章:连续时间马尔可夫链2 / 61马尔可夫链Definition 1如果对于任意正整数 , 0 0 时, 称马氏链为时齐马氏链.称概率 () , ( + ) = |() = ), , 为马氏链的转移概率,称矩阵 = (),为马氏链的一步转移概率矩阵, 简称为转移矩阵.韩参变量(某某大学)第五章:连续时间马尔可夫链3 / 61连续时间马氏链的性质1. 是
2、函数,即(0) = = 1, = ,0, = .2.对于 0,在已知() = 的条件下,将来()| 与过去()|0 6 0,有( + ) =()()或( + ) = ()().4.马氏链的有限维分布由转移概率()和初始分布= (0) = )唯一确定.且对于0 0,有( + ) ()(), () ( ).韩参变量(某某大学)第五章:连续时间马尔可夫链4 / 61S5.2泊松过程是马氏链韩参变量(某某大学)第五章:连续时间马尔可夫链5 / 61泊松过程是马氏链设 是泊松过程 () 的强度, 0 ,0,当 , 规定 = 0. 定义()= ()(1), 1, , ,利用 (0) = 得到= (), 0
3、= 单位矩阵.韩参变量(某某大学)第五章:连续时间马尔可夫链8 / 61泊松过程是马氏链并且对于 , 有=0 !()=0 !()(1)=0 !()()+=() ( )! ( )!()()=() ( )!= ()写成矩阵的形式有() =0 !() =0() != .显然, (0) = .韩参变量(某某大学)第五章:连续时间马尔可夫链9 / 61S5.3转移速率矩阵韩参变量(某某大学)第五章:连续时间马尔可夫链10 / 61规则马氏链对于泊松过程(),有(, + 0,即,在概率1 的意义下,泊松过程在任何有限时间内只有有限次转移,因而它的轨迹是右 连续的.若规定在概率1的意义下,所研究的马氏链在任
4、何有限时间内只能 转移有限次,则称之为规则马氏链.显然,在概率1的意义下,规则马氏链()轨迹是右连续的:对 0,lim 0( + ) = () .即, ( + )依概率收敛到():对任何 0, 0,lim 0(|( + ) ()| ) = 0.如无特殊声明,本章的马氏链都是规则马氏链.韩参变量(某某大学)第五章:连续时间马尔可夫链11 / 61马氏链的性质Theorem 2对于状态空间为 的马氏链 (),(1) () 在 = 0 连续: lim 0() = (0);(2) () 在 0,+) 上一致连续, 而且|( + ) ()| 6 2(1 ();(3) 对于 0, 恒有 () 0;(4)
5、() 在 = 0 有右导数 lim 0+()(0) = , 其中 6 6 0, 当 = 时, 0;(5) 对于 , 有=6 |.韩参变量(某某大学)第五章:连续时间马尔可夫链12 / 61一个推论Theorem 3定义, .(1)如果= 0,则对所有的 0, () = 1;(2) = sup 01() .韩参变量(某某大学)第五章:连续时间马尔可夫链13 / 61转移速率矩阵由于()是马氏链从出发, 时处于的概率,所以称= (0) 是质点从出发,下一步向转移的速率或强度,称 = (),为马氏链 的转移速率矩阵或转移强度矩阵.又知是转移概率()在 = 0的导 数,所以也称为马氏链的无穷小矩阵,简
6、称矩阵.韩参变量(某某大学)第五章:连续时间马尔可夫链14 / 61S5.4连续时间马氏链的结构韩参变量(某某大学)第五章:连续时间马尔可夫链15 / 61保守马氏链Definition 4如果对于一切 ,有= | 0,() = () = |(0) = ) = 1,这说明是吸引状态:质点一旦到达状态就不再离开. 当(0) = 时,质点在的停留时间为 , inf|() = ,则由= 0知( = +) = 1.韩参变量(某某大学)第五章:连续时间马尔可夫链17 / 61简单的例子Example 5对于马氏链(), = |和, 0,有(1) ( + ) = |() = , 0,) = ();(2)
7、() = , 0,|(0) = ) = .韩参变量(某某大学)第五章:连续时间马尔可夫链18 / 61规则马氏链是保守的Theorem 6对于马氏链(), = |,用表示质点在状态的停留时间,(1) ( |(0) = ) = , 0;(2) (|(0) = ) =1 ;(3)当 = 时, () = , 6 |(0) = ) = (1 );(4)当 = 时, () = |(0) = ) = ;(5)在条件(0) = 下, 和()相互独立;(6)当所有的 |(0) = ) = 0,于是( = 0|(0) = ) = 1.这说明是瞬时状态:质点在状态无法停留.本书不考虑瞬时状态,即认为所有的= |
8、0, = ,0, 0, = ,= 0,则 = ()的各行之和为1. 如果规定0= 0,则马氏链()的第次转移时刻可以表示为= inf 1|() = (1), = 1,2, .从而= +1 是第次转移后的停留时间.韩参变量(某某大学)第五章:连续时间马尔可夫链22 / 61马氏链的结构(1) = () ( = 0,1,2,)是以为转移矩阵的离散时间马氏链, 常称是()的嵌入链(embedded chain)或跳跃链(jump chain).(2)沿着嵌入链()的给定轨迹0 1 2 ,马氏链在各状 态的依次停留时间0,1,2,相互独立, 服从指数分布E(), = 0,1,2,;(3)设是离散时间马
9、氏链,转移矩阵为.对每个 ,假设质点 每次到达后,在的停留时间是相互独立的随机变量,服从共同的指数分 布E(),停留结束时以概率转移到状态 ( = ),进一步假设质点在不 同状态的停留时间相互独立,则用()表示时质点的状态时, ()是 连续时间的马氏链,且有转移矩阵.韩参变量(某某大学)第五章:连续时间马尔可夫链23 / 61简单的例子Example 7强度为的泊松过程,嵌入链有一步转移概率= 1, = + 1 1,0, = + 1.质点在任何状态的停留时间是相互独立的,服从指数分布E(),所以= . 并且= , = 0, = + 1 1,0,其它.韩参变量(某某大学)第五章:连续时间马尔可夫
10、链24 / 61简单的例子Example 8设连续时间马氏链()有转移概率矩阵() =1 52 + 331 32 232 231 + 432 232 231 32 + 33.(1)计算转移速率矩阵;(2)计算质点在各状态的平均停留时间;(3)计算嵌入链的一步转移概率矩阵;(4)对于马氏链的运行情况给予简单解释.韩参变量(某某大学)第五章:连续时间马尔可夫链25 / 61S5.5柯尔莫哥洛夫方程韩参变量(某某大学)第五章:连续时间马尔可夫链26 / 61柯尔莫哥洛夫方程Theorem 9设是马氏链()的转移速率矩阵, = |,则(1)向后方程: () = (),即() =(), , ;(2)向前方程:当 = sup| 0.韩参变量(某某大学)第五章:连续时间马尔可夫链28 / 61简单的例子Example 11设连续时间马氏链()有转移速率矩阵 = (0) =1 59366126639,计算转移概率矩阵().韩参变量(某某大学)第五章:连续时间马尔可夫链29 / 61柯尔莫哥洛夫方程的解Theorem 12马氏链的转移概率()满足柯尔莫哥洛夫向后和向前方程,而且是唯一解.韩参变量(某某大学)第五章:连续时间马尔可夫链30 / 61S5.6生灭过程韩参变量(某某大学)第五
