《马尔可夫过程的概率分布》由会员分享，可在线阅读，更多相关《马尔可夫过程的概率分布（32页珍藏版）》请在金锄头文库上搜索。
1、马尔可夫过程的概率分布研究时间和状态都是离散的随机序列1. 用分布律描述马尔可夫性有称条件概率说明: 转移概率具有特点 2. 转移概率由转移概率组成的矩阵称为马氏链的转移概率矩阵.此矩阵的每一行元素之和等于1.它是随机矩阵.3. 平稳性有关时, 称转移概率具有平稳性.同时也称此链是齐次的或时齐的.称为马氏链的n步转移概率一步转移概率特别的, 当 k = 1 时,一步转移概率矩阵的状态记为P证明由独立增量过程的定义知,即有例1说明: 泊松过程是时间连续状态离散的马氏过程;维纳过程是时间状态都连续的马氏过程.设一个单位时间传输一级,如图:分析:例2只传输数字0和1的串联系统( 传输系统)而与时刻
2、n 以前所处的状态无关.所以它是一个马氏链, 且是齐次的. 一步转移概率一步转移概率矩阵例3 一维随机游动游动的概率规则1/3的概率向左或向右移动一格, 或以1/3的概率留在原处; 如果Q 现在位于点 i (1 i 5),则下一时刻各以以概率1移动到2 (或4) 这一点上.如果Q 现在位于1(或5)这点上, 则下一时刻就1和5这两点称为反射壁.上面这种游动称为带有两个反射壁的随机游动.模拟方法:产生均匀分布的随机数序列132322 11122,其中1表示左移;2表示不动;3表示右移.理论分析:状态空间就是I .而与时刻 n 以前所处的状态无关.所以它是一个马氏链, 且是齐次的. 一步转移概率说
3、明:相应链的转移概率矩阵只须把P 中第1行改为改变游动的概率规则, 就可得到不同方式的 随机游动和相应的马氏链.如果把点 1 改为吸收壁, 一步转移概率矩阵解例4例5解解例6排队模型设服务系统由一个服务员和只可以容纳两个人的等候室组成:服务规则假定一个需要服务的顾客到达系统时发现系统内已先到先服务, 后来者需在等候室依次排队.有3个顾客(一个正在接受服务, 两个在等候室排队), 则该顾客立即离去.随机到达者系 统 等候室服务台离去者例7分析假设:有一原来被服务的顾客离开系统 (即服务完毕)的进入或离开系统实际上是不可能的.3. 再设有无顾客来到与服务是否完毕是相互独立 的.以下用马氏链来描述这
4、个服务系统.系统状态可知它是一个齐次马氏链.在系统内没有顾客的条件下, 在系统内没有顾客的条件下, 系统内恰有一顾客正在接受服务的条件下,系统内恰有一顾客的条件下,他因服务完毕而离去而另一顾客进入系统或者正在接受服务的顾客将继续要求服务,且无人进入系统的概率.正在接受服务的顾客继续要求服务,且在正在接受服务的顾客继续要求服务, 且另一个顾客进入系统的概率.间隔内有两个客顾进入系统的概率,由假设, 后者实际上是不可能发生的.类似的,或者一人将离去且另一人将进入系统,或者无人离开系统的概率.该马氏链的一步转移概率为某计算机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行状态,收集了2
5、4小时的数据(共作97次观察) . 用1表示正常状态, 用0表示不正常状态, 所得的数据序列如下:1110010011111110011110111111001111111110001101101分析状态空间: I=0,1. 例811101101101011110111011110111111001101111110011196 次状态转移的情况:因此, 一步转移概率可用频率近似地表示为:以下研究齐次马氏链的有限维分布.特点:用行向量表示为一维分布由初始分布和 转移概率矩阵决定马氏链的 n 维分布有限维分布仍由初始分布 和转移概率矩阵决定由以上讨论知,转移概率决定了马氏链的运动的统计规律. 因此, 确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一.
