arma模型的参数估计ppt课件

《arma模型的参数估计ppt课件》由会员分享，可在线阅读，更多相关《arma模型的参数估计ppt课件（208页珍藏版）》请在金锄头文库上搜索。

1、第四章 ARMA模型的参数估计,ARMA模型的参数估计 求和模型与季节模型的处理方法 回归与自回归混合模型的处理方法 其它时序模型的统计方法,模型参数估计一般分两步： 1、找出模型参数的初估计。常见三种方法（矩估计直接法，矩估计的逆函数法，矩估计的逆相关函数法） 2、在初估计的基础上，根据一定准则求得模型参数的精估计。常见两种方法（线性和非线性最小二乘方法，近似极大似然估计）,第一节 自回归模型的拟合,如果时间序列 是平稳AR序列，根据此序列的一段有限样本值 对 的模型进行统计，称为自回归模型拟合 自回归模型拟合主要包括： (1) 判断自回归模型AR的阶数； (2) 估计模型的参数； (3)

2、对拟合模型进行检验。,一. AR(p)模型的参数估计 目的：为观测数据建立AR(p)模型(1.1)假定自回归阶数p已知，考虑回归系数 和零均值白噪声 的方差 的估计。数据 的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值再对序列按(1.1)式的拟合方法进行拟合。,假定数据 适合于以下模型(1.2) 其中，p为给定的非负整数， 为未知参数，记为系数参数， 为独立同分布序列，且 ， 与 独立，参数 满足平稳性条件。,1. AR(p)模型参数的Yule-Walker估计 对于AR(p)模型，自回归系数 由AR(p)序列的自协方差函数 通过Yule-Walker方程唯一决定，

3、白噪声方差 由决定。,AR(p)模型的自回归系数和白噪声方差的矩估计 就由样本Yule-Walker方程(1.3)和 (1.4)决定。,令则(1.3),(1.4)式可写为,实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法递推最后得到矩估计,上式是由求偏相关函数的公式：导出。,定理1.1 如果AR(p)模型中的 是独立同分布的 ，则当 时(1) (2) 依分布收敛到p维正态分布 。,注：用 表示 的第 元素时，可知依分布收敛到 ，于是 的 95%的渐近置信区间是在实际问题中， 未知，可用 的 元素代替 ，得到 的近似置信区间,2. AR(p)模型参数的最小二乘估计 如

4、果 是自回归系数 的估计，白噪声 的估计定义为通常 为残差。 我们把能使(1.6)达到极小值的 称为 的最小二乘估计。,记则 ，于是 的最小二 乘估计为即,相应地，白噪声方差 的最小二乘估计式中 为 的p个分量。,定理1.2 设AR(p)模型中的白噪声 是独 立同分布的， 是自回归系数的最小二乘估计，则当 时，依分布收敛到p维正态分布 注：对于较大的n，最小二乘估计和矩估计 (Yule-Walker)估计的差别不大。,3. AR(P)模型的极大似然估计 假定模型AR(p)中的 为正态分布，则观测向量的高斯似然函数为相应的对数似然函数为其中， 为 的协方差阵， 表示 的行列式，使得对数似然函数

5、达到极大值的 和 称为 和 的极大似然估计。,从另一角度考虑：,注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-Walker估计)三者都非常接近，即三者渐近相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模型的独有的优点。,例1.1. 由下列AR(1)序列产生长度为n=300的样本，计算出前5个样本自协方差函 数值为求参数的矩估计和最小二乘估计。 (1) 参数 的矩估计 分别为将样本自协方差函数值代入得,(2) 参数 的最小二乘估计 分别为,例1.2 求AR(2)模型参数 的估计，这里n=300,(1) AR(2)模型的矩估计为,计算出的前5个样

6、本协方差函数值为将其值代入上式得：(2) 最小二乘估计,注：一般在求高阶AR(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出即为 的矩估计，将它们代入 的表达式可得 。,二. AR(p)模型的定阶 1. 偏相关函数的分析方法 一个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。如果 p步截尾：当 时， ；而 ，就以 作为p的估计。,定理1.3 设 由定义，如果AR(p)模型中的白噪声是独立同分布的， ， 则对确定的kp,当 时，依分布收敛到k维正态分布 。,推论：在定理1.3的条件下，对kp, 依分布收敛到标准正态分布N(0,1)。根据推论，对于A

7、R(p)序列和kp，当样本量n比较大时， 以近似于0.95的概率落在区间之内。于是对于某个固定的k，以作为p的估计。,或者根据推论有如下的检验方法：对于某个正整数p, 显著地异于零，而近似等于零,其满足 (或 )的 个数占 的比例近似地为68.3%(或95.5%),则近似 地认为 在p步截尾， 初步判定为AR(p)。,例1.3（例1.1续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看,除 显著异于零之外，其余 14个中绝对值不大于 的有10个，于是结论：初步判定为AR(1)模型。,前15个样本偏相关函数,例1.4（

8、例1.2续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看，除 显著异于零之外， 其余14个中绝对值不大于 的有9个,于是结论：初步判定为AR(2)模型。,前15个样本偏相关函数,2. AIC准则方法(A-Information Criterion) 为了使拟合残差平方和 尽量小，而又不至于引 入过多的虚假参数的估计，Akaike于1973年引入如下 的准则函数，假定已有阶数p的上阶 ，AIC(k)的最小值点 (若不唯一，应取小的)称为AR(p) 模型的AIC定阶，即,具体步骤： 1. 取定p=k时，根据数据 使用前

9、一小节所提的任何一种参数的估计方法，给出噪声方差 的估计 ； 2. 再找出AIC取极小值时，所对应的阶数p.注：AIC定阶并不相合，AIC定阶通常会对阶数略有高估。故在应用中，当样本量不是很大时，使用AIC定阶方法。,为了克服AIC定阶的不相合性，可使用BIC准则方法。设 为AR序列，则BIC准则函数为将此准则函数达到最小值的解 作为p的估计，就是BIC准则方法。 注：1. 理论上已证明BIC准则的定阶具有相合性。2. 当n不是很大时，用BIC定阶有时会低估阶数p，造成模型的较大失真，故在实际问题中，特别当样本量不是很大时,BIC的定阶效果并不如AIC定阶准则。,例1.5（例1.1续）n=30

10、0个观测，定阶。 方法：观察偏相关函数，确定上界是P=10，对p=1,2,10 分别解Yule-Walker方程得到 的Yuler-Walker估计，再 对p=1,2,10分别计算出AIC和BIC函数，计算结果如下：,结果：AIC(1)和BIC(1)分别是AIC和BIC函数的最小值。结论：由AIC和BIC定阶可知阶数p=1.,AIC函数图,BIC函数图,例1.6 （例1.2续） n=300个观测，定阶。 方法：观察偏相关函数，确定上界是P=10,对p=1,2,10 分别求出 的估计，再对p=1,2,10，计算AIC和BIC 函数，计算结果如下：,结果：AIC(2)和BIC(2)分别是AIC和B

11、IC函数的最小值。 结论：由AIC和BIC定阶可知阶数p=2。,AIC函数图,BIC函数图,例1.7：独立重复1000次实验，每次产生符合模型AR(4)的300个观测，得到AIC和BIC定阶情况如下：,在1000次模拟计算中AIC将阶数定为4的有674次，而BIC阶数定为4的有476次。BIC定阶对阶数低估的比率为51.5% 增大样本量n=1000，获得如下结果：,AIC定出的平均阶数是Avc(AIC)=4.593，BIC定出的平均阶数是Avc(BIC)=3.996，故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶。,三. 拟合模型的检验现有数据 ，欲判断它们是否符合以下模型式中 被假定

12、为独立序列,且与 独立。 原假设 ：数据 符合AR(p)。故在 成立时，下列序列为独立序列 的一段样本值序列。,步骤： 1. 首先，根据公式计算出残差的样本自相关函数， 2. 利用上一章关于独立序列的判别方法，判断 是否为独立序列的样本值 3. 根据判断结果，如果接受它们为独立序列的样本值，则接受原假设，即接受 符合AR(p),否则，应当考虑采用新的模型拟合原始数据序列。,例1.8（例1.5续）拟合后，给出残差头15个数据，有11个落在之间，故不能否定原假设，即 符合AR(1)模型。,残差的图形,残差的自相关函数,例1.9（例1.6续）拟合后，给出残差头15个数据，有15个落在 之间，故不能否

13、定原假设，即 符合AR(2)模 型。,残差的图形,残差的自相关函数,第二节 滑动平均模型拟合,对于已给的时间序列数据 ，用MA(q)式的滑动平均模型去拟合它们，称为滑动平均模型拟合。 滑动平均模型拟合主要包括： (1) 判断滑动平均模型MA的阶数； (2) 估计模型的参数； (3) 对拟合模型进行检验。,一. 参数估计 假定数据序列 适合以下模型(2.1) 其中 为独立同分布的序列,且,q为给定的非负整数， 为 未知参数，并满足可逆性条件。,1. 参数的矩估计方法 MA(q)序列的自协方差函数与MA(q)的模型参数有如下 公式：故， 和 的矩估计 和 ，为(2.2),(1) 解析法 对于阶数较低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。 对于MA(1)模型： , 和 满足可得 和 的矩估计分别为,例4.11 由MA(1)模型产生长度n=300的样本，计算出前两个样本自协方差函数 值 ,由上述讨论,对于MA(2)模型： , 其中满足可得 的估计为:当 时,当 时，从而可得，,例4.12 求MA(2)模型的n=950的样本的参数 的矩估计。 解：已知前三项的样本自相关函数分别为使用上述公式，可得到如下估计值,