第一章 随机过程的基本概念一、随机过程的定义例1：医院登记新生儿性别，0表示男，1表示女，Xn表示第n次登记的数字，得到一个序列X1 ， X2 ， ···，记为{Xn，n=1,2, ···}，则Xn 是随机变量，而{Xn，n=1,2, ···}是随机过程例2：在地震预报中，若每半年统计一次发生在某区域的地震的最大震级令Xn 表示第n次统计所得的值，则Xn 是随机变量为了预测该区域未来地震的强度，我们就要研究随机过程{Xn，n=1,2, ···}的统计规律性例3：一个醉汉在路上行走，以概率p前进一步，以概率1-p后退一步（假设步长相同）以X(t)记他t时刻在路上的位置，则{X(t), t0}就是（直线上的）随机游动例4：乘客到火车站买票，当所有售票窗口都在忙碌时，来到的乘客就要排队等候乘客的到来和每个乘客所需的服务时间都是随机的，所以如果用X(t)表示t时刻的队长，用Y(t)表示t时刻到来的顾客所需等待的时间，则{X(t), tT}和{Y(t), tT}都是随机过程定义：设给定参数集合T，若对每个tT, X(t)是概率空间上的随机变量，则称{X(t), tT}为随机过程，其中T为指标集或参数集。
E称为状态空间，即X(t)的所有可能状态构成的集合例1：E为{0,1}例2：E为[0, 10]例3：E为例4：E都为注：（1）根据状态空间E的不同，过程可分为连续状态和离散状态，例1，例3为离散状态，其他为连续状态2）参数集T通常代表时间，当T取R, R+, [a,b]时，称{X(t), tT}为连续参数的随机过程；当T取Z, Z+时，称{X(t), tT}为离散参数的随机过程3）例1为离散状态离散参数的随机过程，例2为连续状态离散参数的随机过程，例3为离散状态连续参数的随机过程，例4为连续状态连续参数的随机过程二、有限维分布及Kolmogorov定理随机过程的一维分布：随机过程的二维分布：随机过程的n维分布：1、有限维分布族：随机过程的所有一维分布，二维分布，…n维分布等的全体称为{X(t), tT}的有限维分布族2、有限维分布族的性质：（1）对称性：对（1,2，…n）的任一排列，有 （2）相容性：对于m
2） 如果，存在，则称随机过程{X(t), tT}为二阶矩过程此时，称函数，为过程的协方差函数；称为过程的方差函数；称为自相关函数例：，其中和V是相互独立的且均服从N(0,1)分布的随机变量，求和三、随机过程的基本类型独立增量过程：如果对任意随机变量 是相互独立的，则称{X(t), tT}是独立增量过程平稳增量过程：如果对任意，有X(t1+h)-X(t1) X(t2+h)-X(t2)，则称{X(t), tT}是平稳增量过程平稳独立增量过程：兼有独立增量和平稳增量的过程称为平稳独立增量过程，例如Poisson过程和Brownian motionPoisson 过程2.1 Poisson 过程1. 计数过程定义：随机过程称为计数过程，如果表示从0到t时刻某一特定事件A发生的次数，它具备以下两个特点：（1）且取值为整数；（2）时，且表示时间内事件A发生的次数2. Poisson过程定义2.1.1：计数过程称为参数为（）的Poisson过程，如果（1）（2）过程具有独立增量性；（3）在任一长度为t的时间区间中事件发生的次数服从均值为的Poisson分布，即对一切，有 注：Poisson过程具有平稳增量性因为的分布只依赖于t, 及区间起点s无关， 于是可认为是单位时间内发生的事件的平均次数，一般称是Poisson过程的强度。
例2.1.1：（Poisson过程在排队论中的应用）研究随机服务系统中的排队现象时，经常用到Poisson过程模型例如：到达总机的呼叫数目，到达某服务设施（商场、车站、购票处等）的顾客数，都可以用Poisson过程来描述以某火车站售票处为例，设从早上8:00开始，此售票处连续售票，乘客以10人/小时的平均速率到达，则9:00-10:00这一小时内最多有5名乘客来此购票的概率是多少？10:00-11:00没有人来买票的概率是多少？解：我们用一个Poisson过程来描述，设8:00为时刻0，则9:00为时刻1，参数，于是, 例2.1.2：（事故发生次数及保险公司接到的索赔数）若以表示某公路交叉口、矿山、工厂等场所在时间内发生不幸事故的数目，则Poisson过程就是的一种很好近似例如，保险公司接到赔偿请求的次数（设一次事故导致一次索赔），向315台的投诉（设商品出现质量问题为事故）等都是可以用Poisson过程的模型我们考虑一种最简单的情形，设保险公司每次的赔付都是1，每月平均接到索赔要求4次，则一年中它要付出的金额平均为多少？解：设一年开始时刻为0，1月末为时刻1，…年末为时刻12，则有=48问题：为什么实际中有这么多现象可以用Poisson过程来反映呢？定理2.1.1：定义1和定义2是等价的。
例2.1.3：事件A的发生形成强度为的Poisson过程，如果每次事件发生时以概率p能够被记录下来，并以M(t)表示到时刻t被记录下来的事件总数，则是一个强度为的Poisson过程例2.1.4：若每条蚕的产卵数服从Poisson分布，强度为，而每个卵变为成虫的概率为p，且每个卵是否变为成虫彼此间没有关系，求在时间[0, t]内每条蚕养活k只小蚕的概率2.2 及Poisson过程相联系的若干分布设表示第n次事件发生的时刻，n=1,2，…，规定表示第n次及第n-1次事件发生的间隔时间，n=1,2，…1. 关于和的分布定理2.2.1：（n=1,2,…）服从参数为的指数分布，且相互独立定理2.2.2：（n=1,2,…）服从参数为n和的分布注：如果每次事件发生的时间间隔相互独立，且服从同一参数为的指数分布，则计数过程是参数为的Poisson过程例2.2.1：设从早上8:00开始有无穷多的人排队等候服务，只有一名服务员，且每个人接受服务的时间是独立的并服从均值为20min的指数分布，则到中午12:00为止平均有多少人已经离去，已有9个人接受服务的概率是多少？例2.2.2：假设某天文台观测到的流星流是一个Poisson过程，根据以往资料统计为每小时平均观察到3颗流星。
试求：上午8:00-12:00期间，该天文台没有观察到流星的概率2. 事件发生时刻的条件分布对于，有现在考虑的情况：定理2.2.1：在已知的条件下，事件发生的n个时刻的联合分布密度是， 例2.2.3：乘客按照强度为的Poisson过程来到某火车站，火车在时刻t启程，计算在内到达的乘客等待时间的总和的期望值即要求，其中是第i个乘客来到的时刻2.3 Poisson过程的推广1. 非齐次Poisson过程定义2.3.1：计数过程称作强度函数为的非齐次Poisson过程，如果等价定义：定义2.3.2：计数过程称作强度函数为的非齐次Poisson过程， 若（1）（2）具有独立增量性；（3）即任意实数，为具有参数的Poisson分布，称为非齐次Poisson过程的均值函数（或累积强度函数）定理2.3.1：设是一个强度函数为的非齐次Poisson过程对任意的，令 则是一个强度为1的Poisson过程例2.3.1：设某设备的使用期限为10年，在前5年内它平均2.5年需要维修一次，后5年平均2年需维修一次试求它在试用期内只维修过一次的概率2． 复合Poisson过程定义2.3.3：称随机过程为复合Poisson过程，如果对于，它可以表示为：，其中是一个Poisson过程，是一族独立 同分布的随机变量，并且及独立。
注：复合Poisson过程不一定是计数过程例2.3.2：保险公司接到的索赔次数服从一个Poisson过程，每次要求赔付的金额都相互独立，且有相同分布F，每次的索赔数额及它发生的时刻无关，则时间内保险公司需要赔付的总金额就是一个复合Poisson过程，其中例2.3.3：设顾客到达某服务系统的时刻，形成一强度为的Poisson过程，在每个时刻，可以同时有多名顾客到达表示在时刻到达的顾客人数，假定相互独立，并且及{}也独立，则在时间内到达服务系统的顾客总人数可用一复合Poisson过程来描述例2.3.4：假定顾客按照参数为的Poisson过程进人一个商店，又假设各顾客所花的钱数形成一族独立同分布的随机变量以记到时间t为止顾客在此商店所花费的总值，易见是一个复合Poisson过程定理2.3.2：设{，}是一复合Poisson过程，Poisson过程的强度为，则（1）有独立增量；（2）若，则 ，例2.3.5：在保险中的索赔模型中，设索赔要求以Poisson过程到达保险公司，速率为平均每月两次每次索赔服从均值为10000元的正态分布，则一年中保险公司平均的赔付额是多少？例2.3.6：设顾客以每分钟6人的平均速率进入某商场，这一过程可用用Poisson过程来描述。
又该进入该商场的每位顾客买东西的概率为0.9，且每位顾客是否买东西互不影响，也及进入该商场的顾客数无关求一天（12小时）在该商场买东西的顾客数的均值3．条件Poisson过程定义2.3.4：设随机变量，在的条件下，计数过程是参数为的Poisson过程，则称为条件Poisson过程定理2.3.3：设是条件Poisson过程，且，则（1）；（2）例2.3.7：设意外事故的发生频率受某种未知因素影响有两种可能，且 ，为已知已知到时刻t已发生了n次事故求下一次事故在t+s之前不会到来的概率另外，这个发生频率为的概率是多少？第三章 Markov 链3.1 基本概念定义3.1.1：随机过程称为Markov链，若它只取有限或可列个值（常用非负整数集{}来表示），并且对任意的，及任意状态，有=，其中表示过程在时刻n处于状态，称{}为该过程的状态空间，记为. 上式刻画了Markov链的特性，称为Markov性定义3.1.2：称条件概率为Markov链的一步转移概率，简称转移概率，记为，它代表处于状态的过程下一步转移到状态的概率定义3.1.3：当Markov链的转移概率=只及状态有关，而及n无关时，称之为时齐Markov链；否则，就称之为非时齐的。
注：我们只讨论时齐Markov链，简称Markov链定义3.1.4：当Markov链的状态为有限时，称为有限链，否则称为无限连但无论状态有限还是无限，我们都可以将（）排成一个矩阵的形式，令P=（）=为转移。