马尔科夫过程

《马尔科夫过程》由会员分享，可在线阅读，更多相关《马尔科夫过程（50页珍藏版）》请在金锄头文库上搜索。

1、马尔可夫过程,一、马尔可夫过程的概念,当已知随机过程在时刻 所处的状态的条件下，过程在时刻 所处的状态与过程在时刻 以前的状态无关，而仅与过程在 所处的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。,分为四类： 1 T和E都取连续集时，称为马尔可夫过程。 2 若T取连续集而E取离散集时，称为可列马尔可夫过程。 3 若T取离散集而E取连续集时，称为马尔可夫序列。 4 若T和E都取离散集时，称为马尔可夫链。状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。,马尔可夫序列,一、马尔可夫序列的定义,设 表示随机过程 在 为整数时刻的取

2、样的随机序列，记为 （ 简记为 或 ），则可按以下方式定义马尔可夫序列。 定义33：若对于任意的n，有 则称此 为马尔可夫序列。这一概率密度函数称为转移概率密度函数。 可以推出 即联合概率密度函数可由转移概率密度和起始时刻的一维概率密度来确定。,二、马尔可夫序列的性质,一个马尔可夫序列的子序列仍为马尔可夫序列。,证：对于马尔可夫序列,2、 一个马尔可夫序列按其相反方向组成的逆序列仍为马尔可夫序列。即对于任意的整数n和k,有,证：因为,同理,根据条件概率定义和以上两式有,所以,3 若,，并在给定,条件下，随机变量,与,是独立的，则有,证：因为,所以原结论成立。 证毕,4、 如果条件概率密度,与,

3、5、 如果一个马尔可夫序列是齐次的，并且所有的随机变量,具有相同的概率密度，则称该马尔可夫序列是平稳的。,马尔可夫序列的转移概率满足,此式就是有名的切普曼柯尔莫哥洛夫方程（C-K方程）。,无关，则称该马尔可夫序列,6、 对于,是齐次的。,三、马尔可夫链,1、马尔可夫链的定义,为一随机序列，其状态空间,，若对于任意的,，满足,则称,为马尔可夫链（简称马氏链）。,定义：设,2、马尔可夫链的转移概率及性质,一步转移概率 在齐次条件下，令式（1.6.9）中,时，有,称为一步转移概率。由所有一步转移概率,构成的矩阵,称为一步转移概率矩阵，简称转移概率矩阵。,（1）,（2）,（一）,（二）n步转移概率,在

4、齐次条件下，,时，可得到,步转移概率,可构成,n步转移概率矩阵,由所有n步转移概率,（1）,（2）,为了数学处理便利，通常规定,3切普曼-柯尔莫哥洛夫方程（C-K方程）,对于 步转移概率，有如下的切普曼-柯尔莫哥洛夫方程的离散形式,若用概率矩阵表示，有,当,时，有,同理可推出，当,时，有,即任意 k 步转移概率矩阵可由一步转移概率矩阵自乘 k 次来得到。,例2-1 在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p，产生错误的概率为q=1-p ，求两级传输时的概率转移矩阵。,解：系统每一级的输入状态和输出状态构成一个两状态

5、的马氏链，其一步转移概率矩阵为,于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为,4初始分布与绝对分布,定义 设,为一马氏链，其状态空间,或为有限子集。令,，且对任意的,（1）,（2）,则称 为该马氏链的初始分布，也称初始概率。初始概率是马氏链在初始时间 时处于状态,i的概率。,当 时，马氏链处于状态i的概率称为绝对概率或绝对分布。,，均有,定义36 设,为一马氏链，其状态空间,或为有限子集。令,，且对任意的,（1）,（2）,则称 为该马氏链的绝对分布，也称绝对概率。,均有,定理3 马氏链的绝对概率由初始分布和相应的转移概率唯一确定。,为一马氏链，,为状态集，则对任意,时马氏链处于状态,

6、的概率为,即:,时,绝对概率,由初始概率,及一步转移概率,唯一确定。,时，绝对概率由下式确定：,即:绝对概率 由初始概率 及n步转移概率 唯一确定。,利用C-K方程，则n步转移矩阵可由一步转移矩阵唯一确定。,证：设,当,由马氏链的转移概率和初始分布，不仅可以完全确定其绝对分布，也可以完全确定其有限维分布。,5、 马尔科夫链的有限维分布,四、马尔科夫链中的状态分类,可达与相通 定义（可达定义）：如果对于状态 与 ，总存在某个 使得 ，则称自 i 状态经过 n 步可以到达 j 状态，并记为,反之，若对所有的 有 ，则称自 i 状态不可以到达 j 状态，并记为,可达具有传递性，即若 , ,则,定义（

7、相通或互达定义）：若自状态 i 可达状态 j，同时自状态 j 也可达状态 i，则称状态 i 和状态 j 相通，记为,相通具有以下等价关系：,（1） ,自返性,（2）若 ，则 ，对称性,（3）若 ， ，则 ，传递性,例2 设一两状态 的马氏链具有以下转移概率矩阵,解：要讨论这一马氏链两个状态的到达性，可先求出它的n步转移概率矩阵。由于,对于所有的 n, ，故状态“1”不能到达状态“0”；,而存在n，使得 ， 故状态“0”可以到达状态“1”。,讨论其状态的可达性。,2状态的分类,定义1 设 为一马氏链，对任一状态i与j，称,为 自状态 i 出发首次进入状态 j 的时刻，或称为自 i到 j 的首达时

8、间。,是一随机变量。,定义2 (首达概率)设 为一马氏链，对任一状态i与j，称,为 自状态i出发经过n步首次到达状态j的概率。,显然有,从而,定义3 设 为一马氏链，对任一状态i与j，称,为 自状态i出发迟早要到达状态j的概率。,显然有,定理4 对任何状态,， 有,证明：因为,定义4 如果 ，则称状态j是常返的。如果 ，则称状 态j是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。,定理5,的充要条件是,证明：充分性：若 ，则根据到达的定义，总存在某个 ，使,所以,这样 ，至少有一个为正（不为0），,必要性：若,，则由,至少有一个,使,，故,表示自状态

9、i 出发，在有限步内迟早要返回状态 i 的概率， 是在0与1之间的一个数。,所以,定理6 状态i为常返（ ）的充要条件为,证明：充分性：因为,有,所以,现已知,，则上式左边极限为1，于是有,状态j是常返态。,令,从而,状态i为非常返（ ）时,如果状态j是非常返的，则必有,设i是一常返态，则从i出发可经过n 步首次返回i， 在 的条件下的分布列为,由数学期望的定义，可得,称 为状态 i 的平均返回时间。,状态 的平均返回时间,定义 设 i 是常返态，如果 ，则称状态 i 是正常返态；如果 ，则称状态 i 是零常返态。,定理7 设 j 为常返状态，有周期 ,则,如果 j 是常返态，则,（1）,j

10、零常返当且仅当,（2）j 遍历当且仅当,定义 对于状态 i ，若正整数集合 非空，则称该集合的最大公约数 L 为状态 i 的周期。若 ，则称状态 i 是周期的，若 ，则称状态 i 是非周期的。如果状态 i 是非周期且正常返的，则称状态 i 是遍历的。,马氏状态分类图,状态分类判别法：,（1） i非常返,（2）i零常返,且,且,（4）i遍历,且,（3）i正常返,引理1 对任意i和j，若 ，则存在正数 、及正整数l、m，使对任一正整数n，有,、,定理8 若 ，则 （1）i与j同为常返或同为非常返； （2）若i与j常返，则i与j同为正常返或同为零常返； （3）i与j或同为非周期的，或同为周期的且有相

11、同的周期。,3遍历性与平稳分布,定义45：设齐次马氏链 的状态空间为E，若对一切 ，存在不依赖于i的极限,则称马尔可夫链具有遍历性。并 称为状态j的稳态概率。,定理9 对于一有限状态的马氏链 ，若存在一正整数m，使,（对所有的状态 ）,则此链是遍历性的，且 是,的满足条件 的唯一解。,对平稳分布 ，有,=,一个非周期，不可约的马氏链是常返的，它存在一个平稳分布 ，即 ，即平稳分布就是极限分布。,遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。,例1-23设马尔可夫链的状态空间 ，一步转移概率矩阵,试对该链进行分类，并说明其遍历性。,解：根据一步转移概

12、率矩阵可画出如图1-12所示的状态转移图。从图中可知，和都是非周期的正常返状态，、 状态都是非常返状态。,由于,说明 存在（i=1,2,3,4）,但与i有关，所以该链不是遍历的。,五、状态空间分解,定义46 设 ，若从V中任一状态出发不能到达V外的任一状态，则称V为闭集。,显然，对一切 和 有,若中仅含有单个状态，则此闭集称为吸收态。它构成了一个较小的闭集。而整个空间构成一个较大的闭集。除了整个状态空间外，没有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的所有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能在闭集内

13、部的状态之间转移。,定理10 马尔可夫链的所有常返状态构成的集合是一闭集。,定理11 （分解定理）状态空间E必可分解为 其中N是全体非常返态组成的集合， 是互不相交的常返态闭集组成。而且,（1）对每一确定的k, 内任意两状态相通；,（2） 与 ( )中的状态之间不相通；,例1-25 设齐次马氏链 的状态空间 ，其一步转移概率矩阵为,试对该空间进行分解。,解：根据一步转移概率矩阵，可画出如图所示的状态转移图。,由图可知， ，而当 时， ，所以 ， 可见状态1为正常返，且周期 。含有状态1的常返闭集为,同理，因为 ， ，在 时， ，所以,可见状态6为正常返，且是非周期的。含有状态6的常返闭集为,状态2，6为遍历状态.,由于 ，在 时， ，所以 。可见状态4为非常返。,故,1.7 泊松过程,独立增量过程,设有一个随机过程 ，如果对任意时刻 ，过程的增量 、 、 是相互独立的随机变量，则称 为独立增量过程，又称为可加过程。,泊松过程,设随机过程 ， ，其状态只取非负整数值，若满足下列三个条件：,（2） 为均匀独立增量过程；,（1）,（3）对任意时刻 ， ，相应的随机变量的增量服从数学期望为 的泊松分布，即对于k=0,1,2,.,有,其中， 则称 为泊松过程。,一、泊松过程的一般概念,泊松过程 满足如下条件：,（1）对于任意时刻,，出现事件次数,是相