马尔科夫过程PPT

《马尔科夫过程PPT》由会员分享，可在线阅读，更多相关《马尔科夫过程PPT（51页珍藏版）》请在金锄头文库上搜索。

1、 马尔可夫过程马尔可夫过程一、马尔可夫过程的概念 当已知随机过程在时刻 所处的状态的条件下，过程在时刻 所处的状态与过程在时刻 以前的状态无关，而仅与过程在 所处的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。分为四类：1 T和E都取连续集时，称为马尔可夫过程。2 若T取连续集而E取离散集时，称为可列马尔可夫过程。3 若T取离散集而E取连续集时，称为马尔可夫序列。4 若T和E都取离散集时，称为马尔可夫链。状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。1马尔可夫序列一、马尔可夫序列的定义 设 表示随机过程 在 为整数时刻的取

2、样的随机序列，记为 （ 简记为 或 ），则可按以下方式定义马尔可夫序列。定义33：若对于任意的n，有 则称此 为马尔可夫序列。这一概率密度函数称为转移概率密度函数。 可以推出 即联合概率密度函数可由转移概率密度和起始时刻的一维概率密度来确定。 2二、马尔可夫序列的性质1.一个马尔可夫序列的子序列仍为马尔可夫序列。证：对于马尔可夫序列设子序列则有所以子序列也是马尔可夫序列。3 2、 一个马尔可夫序列按其相反方向组成的逆序列仍为马尔可夫序列。即对于任意的整数n和k,有证：因为同理根据条件概率定义和以上两式有所以43 若，并在给定条件下，随机变量与是独立的，则有证：因为所以原结论成立。 证毕54、

3、如果条件概率密度与5、 如果一个马尔可夫序列是齐次的，并且所有的随机变量具有相同的概率密度，则称该马尔可夫序列是平稳的。马尔可夫序列的转移概率满足此式就是有名的切普曼柯尔莫哥洛夫方程（C-K方程）。无关，则称该马尔可夫序列6、 对于是齐次的。6三、马尔可夫链1、马尔可夫链的定义 为一随机序列，其状态空间，若对于任意的，满足 则称为马尔可夫链（简称马氏链）。定义：设72、马尔可夫链的转移概率及性质1.一步转移概率在齐次条件下，令式（1.6.9）中时，有称为一步转移概率。由所有一步转移概率构成的矩阵称为一步转移概率矩阵，简称转移概率矩阵。（1） （2） （一）8（二）n步转移概率在齐次条件下，时，

4、可得到步转移概率可构成 n步转移概率矩阵 由所有n步转移概率（1） （2） 为了数学处理便利，通常规定 93 3切普曼切普曼- -柯柯尔尔莫哥洛夫方程（莫哥洛夫方程（C-KC-K方程）方程）对于 步转移概率，有如下的切普曼-柯尔莫哥洛夫方程的离散形式 若用概率矩阵表示，有 当时，有 同理可推出，当时，有 即任意 k 步转移概率矩阵可由一步转移概率矩阵自乘 k 次来得到。10例2-1 在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p，产生错误的概率为q=1-p ，求两级传输时的概率转移矩阵。解：系统每一级的输入状态和输出状

5、态构成一个两状态的马氏链，其一步转移概率矩阵为于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为 114初始分布与绝对分布定义 设为一马氏链，其状态空间或为有限子集。令，且对任意的（1）（2）则称 为该马氏链的初始分布，也称初始概率。初始概率是马氏链在初始时间 时处于状态i的概率。当 时，马氏链处于状态i的概率称为绝对概率或绝对分布。，均有定义36 设为一马氏链，其状态空间或为有限子集。令，且对任意的（1）（2）则称 为该马氏链的绝对分布，也称绝对概率。均有12定理定理3 3 马氏氏链的的绝对概率由初始分布和相概率由初始分布和相应的的转移概率唯一确定。移概率唯一确定。为一马氏链， 为状态集

6、，则对任意时马氏链处于状态的概率为 即: 时,绝对概率由初始概率及一步转移概率唯一确定。时，绝对概率由下式确定：即:绝对概率 由初始概率 及n步转移概率 唯一确定。利用C-K方程，则n步转移矩阵可由一步转移矩阵唯一确定。证：设当13 由马氏链的转移概率和初始分布，不仅可以完全确定其绝对分布，也可以完全确定其有限维分布。5、 马尔科夫链的有限维分布14四、马尔科夫链中的状态分类四、马尔科夫链中的状态分类1.可达与相通可达与相通定义（可达定义）：如果对于状态 与 ，总存在某个 使得 ，则称自 i 状态经过 n 步可以到达 j 状态，并记为反之，若对所有的 有 ，则称自 i 状态不可以到达 j 状态

7、，并记为可达具有传递性，即若 , ,则定义（相通或互达定义）：若自状态 i 可达状态 j，同时自状态 j 也可达状态 i，则称状态 i 和状态 j 相通，记为 相通具有以下等价关系： （1） ,自返性（2）若 ，则 ，对称性（3）若 ， ，则 ，传递性15例例2 设一两状一两状态 的的马氏链具有以下转移概率矩阵马氏链具有以下转移概率矩阵 解：要解：要讨论这一一马氏氏链两个状两个状态的到达性，可先求出它的的到达性，可先求出它的n n步转移概率矩阵。由于步转移概率矩阵。由于对于所有的于所有的 n, n, ，故状态故状态“1”“1”不能到达状态不能到达状态“0”“0”；而存在而存在n，使得，使得 ，

8、 故状故状态“0”可以到达状可以到达状态“1”。讨论其状态的可达性。讨论其状态的可达性。162状态的分类 定义1 设 为一马氏链，对任一状态i与j，称为 自状态 i 出发首次进入状态 j 的时刻，或称为自 i到 j 的首达时间首达时间。 是一随机变量。定义2 (首达概率首达概率)设 为一马氏链，对任一状态i与j，称为 自状态i出发经过n步首次到达状态j的概率。 显然有从而 17定义3 设 为一马氏链，对任一状态i与j，称为 自状态i出发迟早要到达状态j的概率。 显然有18定理4 对任何状态 ， 有 证明：因为 19定义定义4 4 如果如果 ，则称状态，则称状态j j是常返的。如果是常返的。如果

9、 ，则称状，则称状 态态j j是非常返的（或称为瞬时的）。如果马尔可夫链的任一状是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。态都是常返的，则称此链为常返马尔可夫链。定理定理5 的充要条件是的充要条件是证明：充分性：若 ，则根据到达的定义，总存在某个 ，使所以这样 ，至少有一个为正（不为0），必要性：若，则由至少有一个使 ，故 表示自状态 i 出发，在有限步内迟早要返回状态 i 的概率， 是在0与1之间的一个数。所以20定理定理6 状态状态i为为常返（常返（ ）的充要条件为）的充要条件为证明：充分性：因为 有 所以 现已知 ，则上式左边极限为1，于是

10、有 状态j是常返态。令从而 状态状态i为非为非常返（常返（ ）时）时如果状态j是非常返的，则必有21 设i是一常返态，则从i出发可经过n 步首次返回i， 在 的条件下的分布列为12nP由数学期望的定义，可得 称 为状态 i 的平均返回时间。 状状态 的平均返回时间的平均返回时间 定义 设 i 是常返态，如果 ，则称状态 i 是正常返态；如果 ，则称状态 i 是零常返态。22定理7 设 j 为常返状态，有周期 ,则如果 j 是常返态，则（1）j 零常返当且仅当（2）j 遍历当且仅当定义定义 对于状态对于状态 i ，若正整数集合，若正整数集合 非空，非空，则称该集合的最大公约数则称该集合的最大公约

11、数 L 为状态为状态 i 的周期。若的周期。若 ，则称状态则称状态 i 是周期的，若是周期的，若 ，则称状态，则称状态 i 是非周期的。是非周期的。如果状态如果状态 i 是非周期且正常返的，则称状态是非周期且正常返的，则称状态 i 是遍历的。是遍历的。23马氏状态分类图 24状态分类判别法： （1） i非常返（2）i零常返且且（4）i遍历 且（3）i正常返25 引理1 对任意i和j，若 ，则存在正数 、及正整数l、m，使对任一正整数n，有 、 定理8 若 ，则（1）i与j同为常返或同为非常返；（2）若i与j常返，则i与j同为正常返或同为零常返；（3）i与j或同为非周期的，或同为周期的且有相同的

12、周期。263遍历性与平稳分布定义45：设齐次马氏链 的状态空间为E，若对一切 ，存在不依赖于i的极限 则称马尔可夫链具有遍历性。并 称为状态j的稳态概率。定理9 对于一有限状态的马氏链 ，若存在一正整数m，使（对所有的状态 ）则此链是遍历性的，且 是 的满足条件 的唯一解。27对平稳分布 ，有 = 一个非周期，不可约的马氏链是常返的，它存在一个平稳分布 ，即 ，即平稳分布就是极限分布。 遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。 28例1-23设马尔可夫链的状态空间 ，一步转移概率矩阵试对该链进行分类，并说明其遍历性。解：根据一步转移概率矩阵可

13、画出如图1-12所示的状态转移图。从图中可知，和都是非周期的正常返状态，、 状态都是非常返状态。由于说明 存在（i=1,2,3,4）,但与i有关，所以该链不是遍历的。29五、状态空间分解 定义46 设 ，若从V中任一状态出发不能到达V外的任一状态，则称V为闭集。显然，对一切 和 有 若中仅含有单个状态，则此闭集称为吸收态。它构成了一个较小的闭集。而整个空间构成一个较大的闭集。除了整个状态空间外，没有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的所有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能在闭集内部的状态之间

14、转移。 定理10 马尔可夫链的所有常返状态构成的集合是一闭集。30定理11 （分解定理）状态空间E必可分解为 其中N是全体非常返态组成的集合， 是互不相交的常返态闭集组成。而且 （1）对每一确定的k, 内任意两状态相通；（2） 与 ( )中的状态之间不相通；31例1-25 设齐次马氏链 的状态空间 ，其一步转移概率矩阵为试对该空间进行分解。32解：根据一步转移概率矩阵，可画出如图所示的状态转移图。 由图可知， ，而当 时， ，所以 ， 可见状态1为正常返，且周期 。含有状态1的常返闭集为 同理，因为 ， ，在 时， ，所以可见状态6为正常返，且是非周期的。含有状态6的常返闭集为 状态2，6为遍

15、历状态. 由于 ，在 时， ，所以 。可见状态4为非常返。 故331.7 泊松过程独立增量过程 设有一个随机过程 ，如果对任意时刻 ，过程的增量 、 、 是相互独立的随机变量，则称 为独立增量过程，又称为可加过程。泊松过程 设随机过程 ， ，其状态只取非负整数值，若满足下列三个条件：（2） 为均匀独立增量过程； （1） （3）对任意时刻 ， ，相应的随机变量的增量服从数学期望为 的泊松分布，即对于k=0,1,2,.,有其中， 则称 为泊松过程。34一、泊松过程的一般概念泊松过程 满足如下条件： （1）对于任意时刻，出现事件次数是相互独立的；（2）对于充分小的，在内出现时间一次的概率为 其中是在

16、时关于的高阶无穷小量；常数，称为过程 的强度；（3）对于充分小的，在内出现事件两次及两次以上的概率为这就是说，一个随机过程 如果能满足上述三个条件，则它为泊松过程。 35图1-14（a）给出了泊松过程的示意图。由图可见，泊松过程的每一个样本函数都呈阶梯形，它在每个随机点的阶跃（即：步长为“1”）。对于给定的，等于在时间间隔随机点数。如果用计数器记录各随机时刻射出的电子数目，则在时刻，计数器的指示数即为。处产生单位为“1”内的36图1-14 （a）泊松过程得示意图；（b）泊松增量；（c）泊松冲激序列37二、泊松过程的统计量对于给定的时刻和，且，式（1.7.1）可改写成先来讨论服从泊松分布的随机变

17、量及的数学期望，方差和相关函数等统计量。1数学期望 令 ，因此，均值为= 2. 均方值与方差 令 ，故均方值为= 38而方差为= 3.相关函数 若 ，则时间间隔和因此，随机变量与的数学期望等于它们各自数学期望之积，即互不交叠（图1-15(a)），统计独立，故它们之积 若 ，则时间间隔 和 相重叠（图1-15b），因此，上式不再成立。 图1-15 时间位置图39经过简单运算后，可得式中，就是间隔与我们可推导出泊松过程的数学期望和相关函数。交叠部分的长度。然后，运用上述结果，令 ，可得的数学期望为 令，可得的相关函数为 40若随机点具有非均匀密度，我们用代替则前述结果仍然是成立的。即有，41三、泊

18、松增量 由泊松过程X(t)在给定的时间间隔 内的增量与 之比，我们构成一个新的随机过程 称它为泊松增量。 为了确定Y(t)的自相关函数，需要分别考虑两种情况：若 ，则间隔 与 是不重叠的 或若 ，则间隔 与 相交叠 或图1-16 时间位置图42对于，我们也能得到与上式类似的结果。于是图1-17示出了 作为 的函数的图形。由图可见，这个函数是常数 与面积等于 的三角形之和。当 时，此三角形趋近于冲击图1-17 作为 的函数之曲线 43四、泊松冲激序列 阶梯性的泊松过程X(t)对时间t求导，便可得到与时间轴上的随机点 相对应的冲击序列Z(t),称此离散随机过程为泊松冲激序列。其表示式为不难看出 其

19、中X(t)和 Y(t)在前面都已经定义过。这样Z(t)的数学期望和相关函数可分别由式（1.7.23）和式(1.7.24)取 的极限求得，即由此可见，泊松冲击序列是平稳的。44五、过滤的泊松过程与散粒噪声 设有一泊松冲激脉冲序列 经过线形时不变滤波器，则此滤波器输出是随机过程X(t)（如图1-18所示）由图可见 ， 图1-18 过滤的泊松过程示意图式中h(t)为滤波器的冲激响应； 为第i个冲激脉冲出现的时间； 为在 内输入到滤波器的冲激脉冲的个数，它服从泊松分布，即， 式中 为单位时间内的平均脉冲数。我们称满足式（1.7.29）的随机过程为过滤的泊松过程。（1.7.29）45 经分析可知，若在0

20、,T)内输入到滤波器的冲激脉冲数N(T)为k，则该k个冲激脉冲出现的时间均为独立同分布的随机变量，且此随机变量均匀分布在0,T)内，即 在温度限制的电子二极管中，由散粒（或散弹）效应引起的散粒（或散弹）噪声电流是过滤的泊松过程。 在晶体管中有三种类型的噪声：（1）热噪声；（2）散粒噪声；（3）闪烁噪声（又称噪声，是一种低频噪声）。晶体管的散粒噪声的机理与电子管的相类似，它们皆为过滤的泊松过程。 46散粒噪声X(t)的统计特性 1 对于均匀（即 为常数）的情况，可以证明X(t)是平稳的 图1-19 相关函数和功率谱密度曲线（a）泊松冲激序列Z(t)（b）散粒噪声X(t)472对于非均匀的情况，即

21、随机点密度 不是常数，则X(t)的均值与自协方差函数分别为式中 48六、电报信号 在随机密度为常数的均匀情况下，我们要研究下述泊松过程的另外两个应用实例的统计特性。 1. 半随机电报信号 半随机电报信号为X(t)只取+1或-1的随机过程，图1-21给出了X(t)的一条样本函数曲线。若在时间间隔(0,t)内，变号时刻点的总数为偶数（或0），则 ；若为奇数，则 。 图1-21 半随机电报信号X(t)的样本函数X(t)的均值为 自相关函数为功率谱密度为 492. 随机电报信号给定一个随机变量，它以等概率取+1或-1值，即因此， 我们假定上述的随机过程X(t)与随机变量A统计独立，即：对于每个t，随机变量X(t)与随机变量A是统计独立的。现在，我们构成一个新的随机过程 称Y(t)为随机电报信号. Y(t)的均值和自相关函数分别为 50 刚才的发言，如刚才的发言，如有不当之处请多指有不当之处请多指正。谢谢大家！正。谢谢大家！51