《连续时间马尔科夫链》由会员分享，可在线阅读，更多相关《连续时间马尔科夫链（13页珍藏版）》请在金锄头文库上搜索。
1、草稿 不要打印草稿 不要打印4.7?, ?.4.7.1? 4.62 设随机过程 Xt: t 0 的状态空间 E 是至多可数集, 若对任何整数n 1, 参数 0 t0 0,j i,0,j 0. ? C-K ?,pi,j(t + h) pi,j(t)=rEpi,r(h)pr,j(t) pi,j(t)=pi,i(h)pi,j(t) pi,j(t) +r=ipi,r(h)pr,j(t)(pi,i(h) 1)pi,j(t)pi,i(h) 1.?pi,j(t + h) pi,j(t) r=ipi,r(h)pr,j(t) r=ipi,r(h) = 1 pi,i(h)?|pi,j(t + h) pi,j(t)
2、| |1 pi,i(h)|.? t h 0 ? t h ? t ?|pi,j(t h) pi,j(t)| |1 pi,i(h)|.? (4.29) ?.? 4.65 对任何 i E, 极限 qi:= limh0+1pi,i(h) h存在（可以为 ）并且对任何 t 0, (1 pi,i(t)/t qi.?. ? qi= lim h0+1 pi,i(h) h? qi= , ? qi? qi= , ?.? qi 0,1 pi,i(t) t qi.(4.30)? 0 0, ?1 pi,i(h) h qi+ 2,h( qi+ 2)0 ? pi,i(s) 1 t 2.78草稿 不要打印草稿 不要打印? t
3、 = nh + s, ? n ?, 0 s 0, ? t ?,pi,i(t) 1 ,pj,j(t) 1 .(4.31)? 0 h t ?,pi,j(h) pi,j(t) n1 1 3.(4.32)? n = t/h. ? pi,k;j(mh) ? i ?, ? vh, 1 v m 1 不? j, ? mh ? k ?. ? 0 h t ?,1 pi,i(t) =k=ipi,k(t)pi,j(t)nm=1pi,j;j(mh)pj,j(t mh)(1 )nm=1pi,j;j(mh)79草稿 不要打印草稿 不要打印?, nm=1pi,j;j(mh) 1 .?pi,i(mh) = pi,i;j(mh)
4、 +m1l=1pi,j;j(lh)pj,i(m l)h) pi,i;j(mh) +m1l=1pi,j;j(lh),? (4.31) ?,pi,i;j(mh) pi,i(mh) m1l=1pi,j;j(lh) (1 ) 1 ,0 m n.?,pi,j(t)nm=1pi,j;j(mh)pj,j(t mh)nm=1pi,i;j(m 1)h)pi,j(h)pj,j(t mh)n( (1 ) 1 ) pi,j(h)pj,j(t mh)n(1 3)pi,j(h).?, (4.32) ?.? (4.32) ? h, ?pi,j(h) h1 1 3pi,j(t) nh.(4.33)? limh0+nh = t
5、, ?,lim h0+pi,j(h) h1 1 3pi,j(t) t.(4.34)? t 0+, ?lim h0+pi,j(h) h1 1 3lim h0+pi,j(t) t.? ?, ?,lim h0+pi,j(h) h lim h0+pi,j(t) t.?, ? qi,j= limh0+pi,j(t) t?. ? (4.34) ? qi,j 0, ? C-K ?,pi,j(t + h) pi,j(t) h=rEpi,r(h) pi,r(0) hpr,j(t).? E ? EK, ? i EK, ? ?pi,j(t + h) pi,j(t) hrEKpi,r(h) pi,r(0) hpr,j
6、(t)?rEEK?pi,r(h) pi,r(0) hpr,j(t)?rEEKpi,r(h) h=1 pi,i(h) hrEKipi,r(h) h.(4.35)? h 0, ?lim h0+pi,j(t + h) pi,j(t)hrEKqi,rpr,j(t)qi lim h0+rEKipi,r(h) hqirEKiqi,r.81草稿 不要打印草稿 不要打印? EK E ?lim h0+pi,j(t + h) pi,j(t)h rEqi,rpr,j(t).?,lim h0+pi,j(t + h) pi,j(t) hrEqi,rpr,j(t) lim h0+pi,j(t + h) pi,j(t) h
7、?, pi,j(t) ?. ? 0 0, ? C-K ?,pi,j(t + h) pi,j(t) h=rEpi,r(t)pr,j(h) pr,j(0)h.?, ?pi,j(t + h) pi,j(t) hrEpi,r(t)qr,j?rEpi,r(t)?pr,j(h) pr,j(0) h qr,j?.?, ? M, ? h ?, ?pr,j(h) pr,j(0) h qr,j? M,r E.?,lim h0+?pi,j(t + h) pi,j(t) hrEpi,r(t)qr,j?= 0.?, pi,j(t) ? Kolmogorov ?. ?.82草稿 不要打印草稿 不要打印?pj(t + h)
8、 pj(t) h=iEpi(0)rEpi,r(t)pr,j(h) pr,j(0)h=rEpr(t)pr,j(h) pr,j(0)h,? (4.36) ?.? 4.70 有限状态齐次马尔可夫链的转移概率函数满足 Kolmogorov 向前和向后方程.Kolmogorov ?P(t) = P(t)Q (?),P(t) = QP(t) (?).? P(s + t) = P(s)P(t) ? 4.68 ?,P(s + t) = P(t)P(s) = P(s)P(t),s,t 0.? 4.69 ?,P(s + t) = P(t)P(s) = P(s)P(t),s,t 0.4.7.3?, ?.? 4.71
9、 给定常数 h 0, 称 Xnh: n 0 为 Xt: t 0 的 h-骨架.? Xt: t 0 ? i,j, ? t 0 ? pi,j(t) 0, ? i? j, ? i j.? i j, j i, ? i ? j ?, ? i j. ? E ?, ?不?.? 4.72 Xt: t 0 与它的 h-骨架的状态具有相同的可达性.?. ? i,j E, ? t 0 ? pi,j(t) 0, ? n, ?pi,j(nh) 0.?, ? lims0pi,i(s) = 1 ? pi,i(s) (pi,i(s/n)n?s 0, pi,i(s) 0. ?, ? nh t ?,pi,j(nh) pi,i(n
10、h t)pi,j(t) 0.?, Xnh: n 0 ? 1. ?83草稿 不要打印草稿 不要打印? 4.73 对任何 h 0 以及 i,j E, limnpi,j(nh) 存在.? 4.74 若0pi,i(t)dt = , 则称 i 常返; 否则, 称 i 非常返.? 4.75(i). 互通的状态具有相同的常返性.(ii). Xt: t 0 与它的 h-骨架具有相同的常返状态.?. (i). ? j ? i j. ? s,t 0, ? pi,j(s) 0, pj,i(t) 0, ?,pi,i(s + t + u) pi,j(s)pj,j(u)pj,i(t).(4.37)?,0pi,i(u)du
11、 pi,j(s)pj,i(t)0pj,j(u)du = .?, i ?. ?, ? i ?, j ?.(ii). ?0pi,i(t)dt 0.?, ? pi,i(n + 1)h) pi,i(nh + s)pi,i(h s) ?max 0shpi,i(nh + s) pi,i(n + 1)h) min0shpi,i(h s)=pi,i(n + 1)h) .?,hn=0pi,i(nh) 0pi,i(t)dt h n=0pi,i(n + 1)h).?, ?.? 4.76 对任何 i,j E, limtpi,j(t) 存在.84草稿 不要打印草稿 不要打印?. ? 0, ? pi,j?, ? h 0,
12、 ? |s t| h ?,|pi,j(t) pi,j(s)| Nh ?, ? n,n? |t nh| 0, 则称 i 为正常返状态; 若limtpi,i(t) = 0, 则称 i 为零常返状态.? 4.78(i). 若 i j, 则 i 与 j 同为正常返或零常返;(ii). Xt: t 0 与它的 h-骨架具有相同的正 (零) 常返状态.?. (i) ? (4.37) ?.? limnpi,i(nh) ? h 0 ?, ? (ii) ?.? 4.79 设 j: j E 是一个概率分布并且j=iEipi,j(t),j E,t 0,则称 j: j E 为 Xt: t 0 的平稳分布.?:? 4.80 设 Xt: t 0 不可分, 则(i). j:= limtpi,j(t) 存在, 与 i 无关, 并且满足j=iEipi,j(t),j E,t 0,此外, 或者 j= 0,j E, 或者 uj 0,j E 并且 jEj= 1.85草稿 不要打印草稿 不要打印(ii). 若 wi: i E 是概率分布并且wj=iEwipi,j(t),j E对某个 t 0 成立, 则上式对所有 t 成立并且 i= wi.?. (i).? Xt: t 0 ? h-? Xnh: n 0. ? Xnh: n 0 不?, ? j= limn
