第三节第三节 遍历性遍历性 一、遍历性的概念一、遍历性的概念三、应用举例三、应用举例 四、小结四、小结二、二、( (有限链有限链) )遍历性的充分条件遍历性的充分条件 一、遍历性的概念一、遍历性的概念对于一般的两个状态的马氏链对于一般的两个状态的马氏链, 由上节内容可知由上节内容可知,意义意义对固定的状态对固定的状态j,不管链在某一时刻的什么不管链在某一时刻的什么状状态态 i出发出发, 通过长时间的转移到达状态通过长时间的转移到达状态 j 的概率都趋的概率都趋 定义定义则称此链具有则称此链具有遍历性遍历性. 二、二、( (有限链有限链) )遍历性的充分条件遍历性的充分条件 说明说明2. 极限分布转化为了求解方程组极限分布转化为了求解方程组.3. 在定理的条件下马氏链的极限分布是平稳分布在定理的条件下马氏链的极限分布是平稳分布. 三、应用举例三、应用举例 解解 试说明带有两个反射壁的随机游动是遍历的试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布并求其极限分布( (平稳分布平稳分布) ).例例1 试说明带有两个反射壁的随机游动是遍历的试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布并求其极限分布( (平稳分布平稳分布) ).解解例例1三、应用举例三、应用举例 无零元无零元,链是遍历的链是遍历的 代入最后一个方程代入最后一个方程 (归一条件归一条件), 得唯一解得唯一解 所以极限分布为所以极限分布为这个这个分布表明分布表明经过长时间游动之后经过长时间游动之后, 醉汉醉汉 Q 位于点位于点 2 (或或 3 或或 4 ) 的概率约为的概率约为 3/11, 位于点位于点 1 (或或 5) 的概率约为的概率约为 1/11. 试说明排队模型中的链是遍历的试说明排队模型中的链是遍历的, 并求其极限并求其极限分布分布.解解由此问题的一步转移概率矩阵由此问题的一步转移概率矩阵P ,链是遍历的链是遍历的.例例2 解之解之, 得唯一解得唯一解其中其中 经过相当长的时间以后经过相当长的时间以后, 系统中无人的情形系统中无人的情形约占约占 14% 的时间的时间, 而系统中有一人、而系统中有一人、 二人、二人、 三三人的情形约各占人的情形约各占 29% 的时间的时间.结论结论 设一马氏链的一步转移概率阵为设一马氏链的一步转移概率阵为试讨论它的遍历性试讨论它的遍历性.解解例例3 表明表明此链不具遍历性此链不具遍历性. 在直线上带有反射壁的随机游动在直线上带有反射壁的随机游动, 如果质点只如果质点只能取能取1, 2, 3三个点三个点, 一步转移概率矩阵为一步转移概率矩阵为讨论它是否为遍历链讨论它是否为遍历链. 解解例例4 所以此链是遍历链所以此链是遍历链. 在直线上带有完全反射壁的随机游动在直线上带有完全反射壁的随机游动, 如果质如果质点只能取点只能取1, 2, 3三个点三个点, 一步转移概率矩阵为一步转移概率矩阵为 讨论它是否为遍历链讨论它是否为遍历链. 解解二步转移二步转移概率矩阵概率矩阵例例5 三步转移概率矩阵三步转移概率矩阵因此此链不是遍历链因此此链不是遍历链. 四、小结四、小结 遍历性的概念遍历性的概念则称此链具有遍历性则称此链具有遍历性. (有限链有限链) 遍历性的充分条件遍历性的充分条件 。