《清华电子系随机过程课件第6章1》由会员分享，可在线阅读，更多相关《清华电子系随机过程课件第6章1（49页珍藏版）》请在金锄头文库上搜索。
1、第六章 马尔可夫链第六章 马尔可夫链 教师：樊平毅教授 清华大学电子工程系 教师：樊平毅教授 清华大学电子工程系 2007年年12月月 内容简介内容简介 ?6.1 引言引言 ?6.2 基本概念基本概念 ?6.3 转移概率矩阵转移概率矩阵 ?6.4 Markov链状态的分类链状态的分类 ?6.5 状态空间的分解状态空间的分解 ?6.6 极限特性与平稳分布极限特性与平稳分布 ?6.7 转移矩阵的平均极限转移矩阵的平均极限 ?6.8 有限状态不可约有限状态不可约Markov链平稳分布的矩 阵计算 链平稳分布的矩 阵计算 内容简介内容简介 ?6.9 吸收概率的计算吸收概率的计算 ?6.10 Metro
2、polis抽样算法抽样算法 6.1 引言 近期发展与应 用 近期发展与应 用 近期的热点应用近期的热点应用 ?图上的图上的Markov链链 ?转移图的转移图的Shannon容量容量 ?网络流的状态分析网络流的状态分析 ?Markov链的时间转移特征链的时间转移特征 6.2 基本概念基本概念 基本定义基本定义 定义 重要特点重要特点 基本观点 与可能的 问题 基本观点 与可能的 问题 6.2 基本概念 关键关键 思考思考? 6.2 基本概念 Markov链 的判定定理 链 的判定定理 1.迭代迭代 2. 附加变量 独立同分布 附加变量 独立同分布 问题问题? 条件替换 简单的证明简单的证明 6.
3、2 基本概念 自然推断自然推断 6.2 基本概念 例题分析与应用例题分析与应用 6.2 基本概念 应用迭代公式应用迭代公式 注意函数构 造的特点 注意函数构 造的特点 问题的关键问题的关键 一步转移条件概率一步转移条件概率 注解注解 排队论的基本模型排队论的基本模型 小技巧小技巧 特别注意特别注意: 定理并不是所有构造模式定理并不是所有构造模式 思考要点思考要点 ?传统的传统的Markov链能否推广链能否推广 ?如何推广如何推广? ?推广要求的条件是什么推广要求的条件是什么? ?你能否给出一些应用的例子你能否给出一些应用的例子? ?判定定理是否可以进一步推广判定定理是否可以进一步推广? 如何做
4、如何做? ?不能利用判定定理的判定如何处理不能利用判定定理的判定如何处理? 6.3 转移概率矩阵转移概率矩阵 注意注意: 学习 观点 学习 观点 基本 概念 基本 概念 迭代公式迭代公式 全概率公式全概率公式 迭代公式迭代公式 物理背景与应用物理背景与应用 知识要点知识要点 ?Markov链的特点链的特点 ?一步转移概率的计算一步转移概率的计算 ?多步转移概率的计算多步转移概率的计算 Markov链状态的分类链状态的分类 基本问题基本问题: 为什么要研究状态的分类为什么要研究状态的分类? 如何分类如何分类? 分类理论分类理论, 可以帮助我们得到什么有价值的结论可以帮助我们得到什么有价值的结论?
5、 6.4 Markov链状态的分类链状态的分类 为什么要 研究状态分类 为什么要 研究状态分类? 6.4 Markov链状态的分类链状态的分类 首达时间首达时间, 首达概率首达概率 6.4 Markov链状态的分类链状态的分类 几种基本 状态的定义 几种基本 状态的定义 物理意义物理意义? 6.4 Markov链状态的分类 迭代公式迭代公式 观察与 思考 观察与 思考 情况 分解 情况 分解 条件概率 两步处理 条件概率 两步处理 离开离开i首次 到达 首次 到达k 6.4 Markov链状态的分类 迭代公式迭代公式 细节讨论细节讨论? 7个方面的观察与讨论 能解决的问题是什么 个方面的观察与
6、讨论 能解决的问题是什么? 6.4 Markov链状态的分类链状态的分类 多方面 细节讨论 多方面 细节讨论 初始条件初始条件 先讨论特殊情况先讨论特殊情况 离散卷积的基本 工具 离散卷积的基本 工具: Z 变换变换 讨论讨论: 逆向思维逆向思维 物理 背景 揭密 物理 背景 揭密 利用利用 Z 变换变换 本公式 给出计算 平均返回时间的计算公式 本公式 给出计算 平均返回时间的计算公式 物理意义物理意义? 简洁处理简洁处理 非周期非周期 正常返 零常返 正常返 零常返 总结总结: 注解注解: 此定理表明： 对零常返的情 况，状态的周 期性对极限分 布没有影响。 此定理表明： 对零常返的情 况，状态的周 期性对极限分 布没有影响。 学习要点学习要点: ?基本状态的定义基本状态的定义 ?CK方程方程 ?基本状态的判定关系式基本状态的判定关系式 ?正常返正常返,零常返零常返, 非常返非常返 ?周期周期,非周期非周期 ?遍历态遍历态 ?矩阵计算与迭代计算矩阵计算与迭代计算
