《随机过程理论：15 马尔可夫过程 2010》由会员分享，可在线阅读，更多相关《随机过程理论：15 马尔可夫过程 2010（26页珍藏版）》请在金锄头文库上搜索。
1、第第15讲：马尔可夫过程讲：马尔可夫过程马尔可夫过程基本定义马尔可夫过程基本定义 一阶马尔可夫过程可以看成是白噪声过一阶马尔可夫过程可以看成是白噪声过程（完全独立的随机过程）的简单推广。程（完全独立的随机过程）的简单推广。 Markov18561922，在，在1907年在有限状年在有限状态的离散参数系统中首次引入。态的离散参数系统中首次引入。 Kolmogorov1936年研究可列状态，年研究可列状态， 我国王梓坤院士进行了系统研究。我国王梓坤院士进行了系统研究。马尔可夫过程马尔可夫过程分类分类l马尔可夫链马尔可夫链时间离散、状态离散时间离散、状态离散l马尔可夫序列马尔可夫序列时间离散、状态连
2、续时间离散、状态连续l马尔可夫过程马尔可夫过程连续时间参数，可分为状态离散和状连续时间参数，可分为状态离散和状态连续的马尔可夫过程态连续的马尔可夫过程主要内容主要内容l一、马尔可夫序列一、马尔可夫序列l二、马尔可夫过程二、马尔可夫过程一、马尔可夫序列一、马尔可夫序列l1、马尔可夫序列、马尔可夫序列 基本定义基本定义l2、齐次性与平稳性、齐次性与平稳性l3、马尔可夫序列的性质、马尔可夫序列的性质1、基本定义、基本定义l一个随机变量序列一个随机变量序列Xn，若对任意的，若对任意的n2、马尔可夫序列的齐次性平稳性、马尔可夫序列的齐次性平稳性3、马尔可夫序列性质、马尔可夫序列性质l马尔可夫序列的子序列
3、也是马尔可马尔可夫序列的子序列也是马尔可夫序列。夫序列。l马尔可夫序列的逆也是马尔可夫序马尔可夫序列的逆也是马尔可夫序列列l马尔可夫序列具备马尔可夫序列具备3、马尔可夫序列性质、马尔可夫序列性质l已知现在，过去与未来相互独立已知现在，过去与未来相互独立l转移概率密度函数满足转移概率密度函数满足(CK方程方程)：三、马尔可夫过程三、马尔可夫过程l1、马尔可夫过程、马尔可夫过程定义定义l2、马尔可夫过程、马尔可夫过程特性特性l3、切普曼、切普曼-柯尔莫哥洛夫方程柯尔莫哥洛夫方程l4、相关例题、相关例题1、马尔可夫过程、马尔可夫过程定义定义设设 为一随机过为一随机过程，若对任一程，若对任一 n 和对
4、于和对于 T 中的中的 有有则称此过程为马尔可夫过程。则称此过程为马尔可夫过程。问题：问题：与其他与其他定义的定义的区别？区别？2、马尔可夫过程、马尔可夫过程特性特性当条件概率密度函数存在时，有当条件概率密度函数存在时，有此式说明若此式说明若 表过去时刻，则将表过去时刻，则将来时刻来时刻 的的X(t)的统计特性仅取决于现在时刻的统计特性仅取决于现在时刻 的状态，而与过去时刻的状态无关，这种特的状态，而与过去时刻的状态无关，这种特性称为马尔可夫特性，或称无后效性。性称为马尔可夫特性，或称无后效性。转移概率密度转移概率密度l转移概率密度转移概率密度2、马尔可夫过程、马尔可夫过程特性特性联合概率密度
5、联合概率密度可见，马氏过程的所有统计特性完全包可见，马氏过程的所有统计特性完全包含在它的一阶和二阶概率密度函数中。含在它的一阶和二阶概率密度函数中。 2、马尔可夫过程、马尔可夫过程特性特性l马尔可夫过程的逆也满足马尔可夫性马尔可夫过程的逆也满足马尔可夫性2、马尔可夫过程、马尔可夫过程特性特性l马尔可夫过程的子过程也是马尔可马尔可夫过程的子过程也是马尔可夫过程夫过程3、切普曼、切普曼-柯尔莫哥洛夫方程柯尔莫哥洛夫方程其意义：与马尔可夫链进行比较其意义：与马尔可夫链进行比较证明过程证明过程(序列时的证明序列时的证明)：4、相关例题（、相关例题（1）设随机过程设随机过程 由下述方由下述方程确定程确定
6、其中其中 是均值为是均值为0，方差为，方差为 的的高斯随机变量。试分析该过程的特性。高斯随机变量。试分析该过程的特性。例例1：解：解多个时刻构成的联合也是高斯分多个时刻构成的联合也是高斯分布，因而是高斯随机过程！布，因而是高斯随机过程！例例1：解：解4、相关例题（、相关例题（2）马尔可夫过程的逆仍是马尔可夫马尔可夫过程的逆仍是马尔可夫的，即对一组的，即对一组 有有第第15 讲小结讲小结l1、引入、引入“马尔可夫过程马尔可夫过程” l2、马尔可夫链的定义、特性、马尔可夫链的定义、特性l3、马尔可夫过程的定义、特性、马尔可夫过程的定义、特性本次作业本次作业lP242第第1、2、3谢谢大家！谢谢大家！
