《马尔可夫过程06973》由会员分享，可在线阅读，更多相关《马尔可夫过程06973（54页珍藏版）》请在金锄头文库上搜索。
1、第一节 马尔可夫过程及其概率分布 一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结 一、马尔可夫过程的概念 1. 马尔可夫性(无后效性) 马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是无关的 . 2. 马尔可夫过程的定义 具有马尔可夫性的随机过程称为马尔可夫过程. 用分布函数表述马尔可夫过程 恰有 或写成 并称此过程为马尔可夫过程. 3. 马尔可夫链的定义 时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 研究时间和状态都是离散的随机序列 二、马尔可夫过程的概率分布 1. 用分布律描述马尔可夫性 有 称条件概率 说明: 转移概率具有特点
2、2. 转移概率 由转移概率组成的矩阵 称为马氏链的转移概率矩阵. 此矩阵的每一行元 素之和等于1. 它是随机矩阵. 3. 平稳性 有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 称为马氏链的n步转移概率 一步转移概率 特别的, 当 k=1 时, 一步转移概率矩阵 的状态 记为P 三、应用举例 证明由独立增量过程的定义知, 即有 例1 马尔可夫过程. 说明: 泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程. 设每一级的传真率为 p, 误码率为 q=1-p. 设一个单位时间传输一级, 只传输数字0和1的串联系统 ( 传输系统) 如图: 分析: 例2 而
3、与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率 一步转移概率矩阵 例3 一维随机游动 游动的概率规则 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处; 如果Q现在位于点 i (1 i 5),则下一时刻各以 以概率1移动到2(或4)这一点上. 如果Q现在位于1(或5)这点上, 则下一时刻就 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122,其中1表示左移;2表示不动;3表示右移. 理论分析: 状态空间就是I. 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链,
4、且是齐次的. 一步转移概率 说明: 相应链的转移概率矩阵只须把P 中第1行改为 改变游动的概率规则, 就可得到不同方式的 随机游动和相应的马氏链. 如果把点 1 改为吸收壁, 一步转移概率矩阵 解 例4 某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小 时的数据 (共作97次观察) . 用1表示正常状态, 用0 表示不正常状态, 所得的数据序列如下: 1110010011111110011110111111001111111110001101101 分析 状态空间: I=0, 1. 例5 11101101101011110111011110111111
5、0011011111100111 96 次状态转移的情况: 因此, 一步转移概率可用频率近似地表示为: 以下研究齐次马氏链的有限维分布. 特点: 用行向量表示为 一维分布由初始分布和 转移概率矩阵决定 由以上讨论知,转移概率决定了马氏链的运 动的统计规律. 因此, 确定马氏链的任意n步转 移概率成为马氏链理论中的重要问题之一. 四、小结 齐次马氏链、平稳性的概念. 一步转移概率矩阵的计算. 一步转移概率 一步转移概率矩阵 第二节 多步转移概率的确定 一、C-K 方程 三、应用举例 四、小结 二、多步转移概率的确定 一、C-K 方程 是一齐次马氏链, 则对任意的 切普曼-柯尔莫哥洛夫方程(简称C
6、 -K方程) 说明 C-K 方程基于下列事实: 这一事件可分解成: 件的和事件.如下图所示: 证明 由条件概率定义和乘法定理得 (马氏性和齐次性) 所以 考虑到马氏性和齐次性, 即得 C-K 方程. C-K 方程也可写成矩阵形式: 二、多步转移概率的确定 利用 C-K 方程我们容易确定 n 步转移概率. 得递推关系: 从而可得 马氏链的n步转移概率是一步转移概率的 n 次 方,链的有限维分布可由初始分布和一步转移概率 完全确定. 结论 解 (1)先求出2步转移概率矩阵: 例1 在 传输系统中, 传输后的误码率; 系统经 n 级传输后输出为 1, 问原发字符也是 1 的 概率是多少? 例2 解先
7、求出 n 步转移概率矩阵. 有相异的特征值 所以可将 P 表示成对角阵 传输后的误码率分别为: (2) 根据贝叶斯公式, 当系统经 n 级传输后输出 为 1, 原发字符也是 1 的概率为: 说明 n步转移概率矩阵为 矩阵一般可表示为: 对于只有两个状态的马氏链, 一步转移概率 例3 解 概率为 四、小结 切普曼-柯尔莫哥洛夫方程 (简称 C K 方程) 马氏链的n 步转移概率是一步转移概率的n 次 方, 链的有限维分布可由初始分布和一步移概率完 全确定. 由 C K 方程可得 第三节 遍历性 一、遍历性的概念 三、应用举例 四、小结 二、(有限链)遍历性的充分条件 一、遍历性的概念 对于一般的
8、两个状态的马氏链, 由上节内容可知, 意义对固定的状态j,不管链在某一时刻的什么状 态 i出发, 通过长时间的转移到达状态 j 的概率都趋 定义 则称此链具有遍历性. 二、(有限链)遍历性的充分条件 说明 2. 极限分布转化为了求解方程组. 3. 在定理的条件下马氏链的极限分布是平稳分布. 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解 例1 三、应用举例 无零元,链是遍历的 代入最后一个方程 (归一条件), 得唯一解 所以极限分布为 这个分布表明 经过长时间游动之后, 醉汉 Q 位于点 2 (或 3 或 4 ) 的概率约为 3/11, 位于点 1 (或 5) 的概率约为 1/11. 设一马氏链的一步转移概率阵为 试讨论它的遍历性. 解 例2 表明 此链不具遍历性. 四、小结 遍历性的概念 则称此链具有遍历性. (有限链) 遍历性的充分条件
