孙应飞 随机过程讲义 第一章

《孙应飞 随机过程讲义 第一章》由会员分享，可在线阅读，更多相关《孙应飞 随机过程讲义 第一章（21页珍藏版）》请在金锄头文库上搜索。

1、菁英班_随机过程讲稿 作者 孙应飞第一章 随机过程及其分类在概率论中，我们研究了随机变量， 维随机向量。在极限定理中我们研n究了无穷多个随机变量，但只局限在它们之间相互独立的情形。将上述情形加以推广，即研究一族无穷多个、相互有关的随机变量，这就是随机过程。1 随机过程的概念定义：设 是一概率空间，对每一个参数 ， 是一定义),(PTt),(tX在概率空间 上的随机变量，则称随机变量族 为;T该概率空间上的一随机过程。其中 是一实数集，称为指标集或参数集。RT随机过程的两种描述方法：用映射表示 ，TXt:),(即 是一定义在 上的二元单值函数，固定 ， 是一定义在),(Tt),(tX样本空间 上

2、的函数，即为一随机变量；对于固定的 ， 是一个关于参数 的函数，通常称为样本函数，或称随机过程的一次实现，所有样Tt本函数的集合确定一随机过程。记号 有时记为 或简记为 。),(tX)(t )(t参数 一般表示时间或空间。常用的参数一般有：（1）；（2） ；（3） ，其中 可以,0N,210T,baT取 或 ， 可以取 。当参数取可列集时，一般称随机过程为随机序列。b随机过程 可能取值的全体所构成的集合称为此随机过程的状);(tX态空间，记作 。 中的元素称为状态。状态空间可以由复数、实数或更一般S的抽象空间构成。实际应用中，随机过程的状态一般都具有特定的物理意义。例 1：抛掷一枚硬币，样本空

3、间为 ，借此定义：,TH菁英班_随机过程讲稿 作者 孙应飞偶偶T2H,cos)(tX),(t其中 ，则 是一随机过程。试考察其/1TPH),(,)tX样本函数和状态空间。例 2：设 ),(,)cos()( ttAt其中 和 是正常数， 。试考察其样本函数和状态空间。A2,0U例 3：设正弦随机过程 ，其中： ， );(ttXtAtXcos)(是常数， 。试求：（1）举例画出 的样本函数；（2）确定, )(t过程的状态空间；（3）求 时 的密度/,4/3,/,0t )(kt函数。例 4：质点在直线上的随机游动，令 为质点在 时刻时所处的位置，试n其样本函数和状态空间。例 5：考察某“服务站”在

4、时间内到达的“顾客”数，记为 ，则,0t )(tN是一随机过程，试考察其样本函数和状态空间。若记 为第 个0),(tN nS“顾客”到达的时刻，则 为一随机序列，我们自然要关心,21,nS的情况以及它与随机过程 的关系，这时要将两个,21,nS 0),(tN随机过程作为一个整体来研究其概率特性（统计特性） 。例 6：布朗运动。2 随机过程的分类随机过程的分类一般有两种方法：（1）以参数集和状态空间的特征来分类；（2）以统计特征或概率特征来分类。我们分述如下：菁英班_随机过程讲稿 作者 孙应飞（一）以参数集和状态空间的特性分类：以参数集 的性质，随机过程可分为两大类：（1） 可列；（2） 不可列

5、。TT以状态空间 的性质，即 所取的值的特征，随机过程也可以分为两大S)(tX类：（1）离散状态，即 所取的值是离散的；（2）连续状态，即 所)(tX取的值是连续的。由此可将随机过程分为以下四类：（a） 离散参数离散型随机过程；（b） 连续参数离散型随机过程；（c） 连续参数连续型随机过程；（d） 离散参数连续型随机过程。（二）以随机过程的统计特征或概率特征分类：以随机过程的统计特征或概率特征来进行分类，一般有以下一些：（a） 独立增量过程；（b） Markov 过程；（c） 二阶矩过程；（d） 平稳过程；（e） 鞅；（f） 更新过程；（g） Poission 过程；（h） 维纳过程。注意：以

6、上两种对随机过程的分类方法并不是独立的，比如，我们以后要讨论的 Markov 过程，就有参数离散状态空间离散的 Markov 过程，即 Markov链，也要讨论参数连续状态离散的 Markov 过程，即纯不连续 Markov 过程。在下面几章中，我们将研究几种重要的、应用非常广泛的随机过程。3 随机过程的数字特征菁英班_随机过程讲稿 作者 孙应飞（一）单个随机过程的情形设 是一随机过程，为了刻画它的统计特征，通常要用到随机过);(TtX程的数字特征，即随机过程的均值函数、方差函数、协方差函数和相关函数。下面我们给出它们的定义。（a） 均值函数：随机过程 的均值函数定义为：（假设存在）);(Tt

7、X)()(tEtmX（b） 方差函数：随机过程 的方差函数定义为：（假设存在）;T)()( 22 tttDt XXX （c） （自）协方差函数：随机过程 的（自）协方差函数定;T义为： )()(),( ttsEtsCXXX （d） （自）相关函数：随机过程 的（自）相关函数定义为：;T)(),(tstsRX（e） 特征函数：记： )()(exp),;,( 12121 nnnX tXutujEttu称 ,),;,( 212121 TtttnnnX 为随机过程 的有限维特征函数族。);Tt数字特征之间的关系： )(),()()(,( tstRXEtttsCXXX 菁英班_随机过程讲稿 作者 孙应飞

8、 22 )(,(),()( ttRtCtDt XXXX 例 7：考察上面的例 1， （1）写出 的一维分布列 ；)1(,/（2）写出 的二维分布列 ；（ 3）求该过程的均值函数和)(t )1(,2/(相关函数。例 8：求例 2 中随机过程的均值函数和相关函数。（二）两个随机过程的情形设 、 是两个随机过程，它们具有相同的参数集，);(TtX);(tY对于它们的数字特征，除了有它们自己的数字特征外，我们还有：（a） 互协方差函数：随机过程 和 的互协方差);(TtX);(tY函数定义为： )()(),( ttsEtsCYXXY （b） 互相关函数：随机过程 和 的互相关函数;Tt;定义为： )(

9、),(tstsRXY互协方差函数和互相关函数有以下的关系： )(),(),( tttCYXXYXY 如果两个随机过程 和 ，对于任意的两个参数;T;，有Tts, 0),(tsXY或 )()()(),( tYEsttsRYXXY 则称随机过程 和 是统计不相关的或不相关的。;T;（三）有限维分布族菁英班_随机过程讲稿 作者 孙应飞设 是一随机过程，对于 ， ，记);(TtXNn)1(niTti)(,)(,)(;,21221 nnX xtXxttPxF其全体 1,),;,( 212121 TtttxnnnX 称为随机过程 的有限维分布族。它具有以下的性质：);Tt（1） 对称性：对 的任意排列 ，

10、则有：),( ),(21njj ),;,;,( 21212121 nnjjjjXnnX ttxFttxF （2） 相容性：对于 ，有：m),;,( ),2121 1mmX nttxt 注 1：随机过程的统计特性完全由它的有限维分布族决定。注 2：有限维分布族与有限维特征函数族相互唯一确定。问题：一个随机过程 的有限维分布族，是否描述了该过程的全);(Tt部概率特性？解决此问题有以下著名的定理，此定理是随机过程理论的基础。定理：（Kolmogorov 存在性定理）设分布函数族 满足以1,),;,( 212121 nTtttxFnnX 上提到的对称性和相容性，则必存在唯一的随机过程 ，使);(X恰

11、好是 的有,),;,( 212121 TtttxnnnX t限维分布族，即： )(,)(,)(;,21221 nnnX xtXxttPxF注：定理说明了随机过程 的有限维分布族包含了;T的所有概率信息。因此，研究随机过程的统计特征可以通过研究);(Tt菁英班_随机过程讲稿 作者 孙应飞其有限维分布函数族的特性来达到。（四）两个随机过程的独立性设 、 是两个随机过程，它们具有相同的参数集，);(TtX);(tY任取 ，以及 ， ，则称 维随机向量Nmn, Tn,21 Tttm,21 n的联合分布函数：)(),()(,)( 221nYtt )(,)(,)(,)(; 11 2211 mnnXY yt

12、YytxtXxtPF 为随机过程 和 的 维联合分布函数。;T;Y如果对于任取的 ，以及任意的 ， ，Nmn, Tttn,21 Tttm,21随机过程 和 的联合分布函数满足：);(tX);(t ),;,(),;,( ;, 21212121 21 mnYnnX nY ttyFttxFtyx 则称随机过程 和 是独立的。);Tt(注：随机过程 和 独立可以得到随机过程();Tt和 统计不相关，反之不对。但对于正态过程来说是);(t);tY等价的，这一点我们以后将看到。4 函数及离散型随机变量分布列的 函数表示（1） 函数（Dirac 函数）的定义及性质定义：对于任意的无穷次可微的函数 ，如果满足

13、：)(tftdftdft )(lim)(0其中：菁英班_随机过程讲稿 作者 孙应飞ttt,01,)(则称 的弱极限为 函数，记为 。)(t)(显然，对于任意的 ，有：1)(0tdt即 )(t注 1： 在 点的取值为 ，在 点的取值为 ，并且满足)(t00。d注 2：工程（信号处理等）上 函数也称为单位脉冲函数或单位冲激函数。函数的筛选性质：若 为无穷次可微的函数，则有：)(tf )0()(ftdftI其中 是包含点 的任意区间。特殊地，有：I0t )()(ftft更一般地，我们有： )()(00tfdtft（2）离散型随机变量分布列的 函数表示设离散型随机变量 的分布列为： ，则由 X,21i

14、pxXPi 函数的筛选性质可以定义离散型随机变量 的分布密度（离散型分布密度）为：菁英班_随机过程讲稿 作者 孙应飞1)()(i iixpxf因为，由 函数的筛选性质，离散型随机变量 的分布函数可以表示为：Xxi iixi udxXPxFi 1)()(注：工程上，常用离散型随机变量分布列的 函数表示法。它将离散型随机变量的分布列表示成分布密度的形式，因此与连续型随机变量的概率分布密度函数一样，可以进行统一处理。在下面的例子中我们将看到它的应用。5条件数学期望条件数学期望是随机数学中最基本最重要的概念之一，它在随机过程课程中具有广泛的应用，需要同学们很好地掌握。（1） 离散型情形定义：设二维离散型随机变量 所有可能取的值是 ，其联合分),(YX),(jiyx布率为 ，记：0,jijipyYxXPj jyYEIEj )(称 为 关于 的条件数学期望。E注 1：定义中的 是示性函数，即：)(jyYI)(:,01)( jjy yYj 注 2：条件数学期望 是随机变量 的函数，因此有关于它的分布，XE其分布为：当 时，)(kjyYyYXEkj jj yYPP否则，令： ，则: jkj XEkD菁英班_随机过程讲稿 作者 孙应飞 jDkkj yYPyYXEP注 3：由于条件数学