时间序列分析-第六章 ARMA模型的参数估计ppt课件

《时间序列分析-第六章 ARMA模型的参数估计ppt课件》由会员分享，可在线阅读，更多相关《时间序列分析-第六章 ARMA模型的参数估计ppt课件（205页珍藏版）》请在金锄头文库上搜索。

1、.,第六章 ARMA模型的参数估计,第一节 AR(p)模型的参数估计 第二节 MA(q)模型的参数估计 第三节 ARMA(p,q)模型的参数估计 第四节 求和模型及季节模型的参数估计,.,第一节. AR(p)模型的参数估计 目的：为观测数据建立AR(p)模型 (1.1) 假定自回归阶数p已知，考虑回归系数 和零均值白噪声 的方差 的估计。 数据 的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值 再对序列按(1.1)式的拟合方法进行拟合。,.,假定数据 适合于以下模型 (1.2) 其中，p为给定的非负整数， 为未知参数，记 为系数参数， 为独立同分布序列，且 ， 与 独

2、立，参数 满足平稳性条件。,.,A. AR(p)模型参数的Yule-Walker估计 对于AR(p)模型，自回归系数 由AR(p)序列的自协方差函数 通过Yule-Walker方程 唯一决定，白噪声方差 由 决定。,.,AR(p)模型的自回归系数和白噪声方差的矩估计 就由样本Yule-Walker方程 (1.3) 和 (1.4) 决定。,.,令 则(1.3),(1.4)式可写为,.,实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法 递推最后得到矩估计,.,上式是由求偏相关函数的公式： 导出。,.,定理1.1 如果AR(p)模型中的 是独立同分布的 ，则当 时 (1)

3、 (2) 依分布收敛到p维正态分 布 。,.,注：用 表示 的第 元素时，可知 依分布收敛到 ，于是 的 95%的渐近置信区间是 在实际问题中， 未知，可用 的 元素 代替 ，得到 的近似置信区间,.,B. AR(p)模型参数的最小二乘估计 如果 是自回归系数 的估计，白噪声 的估计定义为 通常 为残差。 我们把能使 (1.6) 达到极小值的 称为 的最小二乘估计。,.,记 则 ，于是 的最小二 乘估计为 即,.,相应地，白噪声方差 的最小二乘估计 式中 为 的p个分量。,.,定理1.2 设AR(p)模型中的白噪声 是独 立同分布的， 是自回归系数 的最小二乘估计，则当 时， 依分布收敛到p维

4、正态分布 注：对于较大的n，最小二乘估计和矩估计 (Yule-Walker)估计的差别不大。,.,.,C. AR(P)模型的极大似然估计 假定模型AR(p)中的 为正态分布，则观测向量 的高斯似然函数为 相应的对数似然函数为 其中， 为 的协方差阵， 表示 的行列式，使得对数似然函数 达到极大值的 和 称为 和 的极大似然估计。,.,从另一角度考虑：,.,.,注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-Walker估计)三者都非常接近，即三者渐近相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模型的独有的优点。,.,例1.1. 由下列AR(1

5、)序列 产生长度为n=300的样本，计算出前5个样本自协方差函 数值为 求参数的矩估计和最小二乘估计。 (1) 参数 的矩估计 分别为 将样本自协方差函数值代入得,.,(2) 参数 的最小二乘估计 分别为,.,例1.2 求AR(2)模型 参数 的估计，这里n=300, (1) AR(2)模型的矩估计为,.,计算出的前5个样本协方差函数值为 将其值代入上式得： (2) 最小二乘估计,.,注：一般在求高阶AR(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出 即为 的矩估计，将它们代入 的表达式可得 。,.,D. AR(p)模型的定阶 1. 偏相关函数的分析方法 一

6、个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。 如果 p步截尾：当 时， ； 而 ，就以 作为p的估计。,.,定理1.3 设 由 定义，如果AR(p)模型中的白噪声是独立同分布的， ， 则对确定的kp,当 时， 依分布收敛到k维正态分布 。,.,推论：在定理1.3的条件下，对kp, 依分布收敛到标准正态分布N(0,1)。 根据推论，对于AR(p)序列和kp，当样本量n比较大时， 以近似于0.95的概率落在区间 之内。于是对于某个固定的k，以 作为p的估计。,.,或者根据推论有如下的检验方法：对于某个正整数p, 显著地异于零，而 近似等于零,其满足 (或 )的 个数占 的比例近似

7、地为68.3%(或95.5%),则近似 地认为 在p步截尾， 初步判定为AR(p)。,.,例1.3（例1.1续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。 结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看,除 显著异于零之外，其余 14个中绝对值不大于 的有10个，于是 结论：初步判定为AR(1)模型。,.,前15个样本偏相关函数,.,例1.4（例1.2续）使用样本偏相关函数对AR(p)的模 型阶数作初步的判定。 结果：取上限 ，样本自相关函数 呈拖尾状， 而从15个偏相关函数来看，除 显著异于零之外， 其余14个中绝对值不大于 的有9个,于是 结论：初步判定

8、为AR(2)模型。,.,前15个样本偏相关函数,.,2. AIC准则方法(A-Information Criterion) 为了使拟合残差平方和 尽量小，而又不至于引 入过多的虚假参数的估计，Akaike于1973年引入如下 的准则函数，假定已有阶数p的上阶 ， AIC(k)的最小值点 (若不唯一，应取小的)称为AR(p) 模型的AIC定阶，即,.,具体步骤： 1. 取定p=k时，根据数据 使用前一小节所提的任何一种参数的估计方法，给出噪声方差 的估计 ； 2. 再找出AIC取极小值时，所对应的阶数p. 注：AIC定阶并不相合，AIC定阶通常会对阶数略有高估。故在应用中，当样本量不是很大时，使

9、用AIC定阶方法。,.,为了克服AIC定阶的不相合性，可使用BIC准则方法。设 为AR序列，则BIC准则函数为 将此准则函数达到最小值的解 作为p的估计，就是BIC准则方法。 注： 1. 理论上已证明BIC准则的定阶具有相合性。 2. 当n不是很大时，用BIC定阶有时会低估阶数p，造成模型的较大失真，故在实际问题中，特别当样本量不是很大时,BIC的定阶效果并不如AIC定阶准则。,.,例1.5（例1.1续）n=300个观测，定阶。 方法：观察偏相关函数，确定上界是P=10，对p=1,2,10 分别解Yule-Walker方程得到 的Yuler-Walker估计，再 对p=1,2,10分别计算出A

10、IC和BIC函数，计算结果如下：,.,结果：AIC(1)和BIC(1)分别是AIC和BIC函数的最小值。 结论：由AIC和BIC定阶可知阶数p=1.,.,AIC函数图,.,BIC函数图,.,例1.6 （例1.2续） n=300个观测，定阶。 方法：观察偏相关函数，确定上界是P=10,对p=1,2,10 分别求出 的估计，再对p=1,2,10，计算AIC和BIC 函数，计算结果如下：,.,结果：AIC(2)和BIC(2)分别是AIC和BIC函数的最小值。 结论：由AIC和BIC定阶可知阶数p=2。,.,AIC函数图,.,BIC函数图,.,例1.7：独立重复1000次实验，每次产生符合模型AR(4

11、) 的300个观测，得到AIC和BIC定阶情况如下：,.,在1000次模拟计算中AIC将阶数定为4的有674次，而BIC阶数定为4的有476次。BIC定阶对阶数低估的比率为51.5% 增大样本量n=1000，获得如下结果：,.,AIC定出的平均阶数是Avc(AIC)=4.593，BIC定出的平均阶数是Avc(BIC)=3.996，故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶。,.,E. 拟合模型的检验 现有数据 ，欲判断它们是否符合以下模型 式中 被假定为独立序列,且 与 独立。 原假设 ：数据 符合AR(p)。故在 成立时，下列序列 为独立序列 的一段样本值序列。,.,步骤： 1.

12、 首先，根据公式 计算出残差的样本自相关函数， 2. 利用上一章关于独立序列的判别方法，判断 是否为独立序列的样本值 3. 根据判断结果，如果接受它们为独立序列的样本值，则接受原假设，即接受 符合AR(p),否则，应当考虑采用新的模型拟合原始数据序列。,.,例1.8（例1.5续） 拟合后，给出残差头15个数据，有11个落在 之间， 故不能否定原假设，即 符合AR(1)模型。,.,残差的图形,.,残差的自相关函数,.,例1.9（例1.6续） 拟合后，给出残差头15个数据，有15个落在 之间，故不能否定原假设，即 符合AR(2)模 型。,.,残差的图形,.,残差的自相关函数,.,第二节 滑动平均模

13、型拟合,对于已给的时间序列数据 ，用MA(q)式的滑动平均模型去拟合它们，称为滑动平均模型拟合。 滑动平均模型拟合主要包括： (1) 判断滑动平均模型MA的阶数； (2) 估计模型的参数； (3) 对拟合模型进行检验。,.,一. 参数估计 假定数据序列 适合以下模型 (2.1) 其中 为独立同分布的序列,且 ,q为给定的非负整数， 为 未知参数，并满足可逆性条件。,.,1. 参数的矩估计方法 MA(q)序列的自协方差函数与MA(q)的模型参数有如下 公式： 故， 和 的矩估计 和 ，为 (2.2),.,(1) 解析法 对于阶数较低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。

14、 对于MA(1)模型： , 和 满足 可得 和 的矩估计分别为,.,例4.11 由MA(1)模型 产生长度n=300的样本，计算出前两个样本自协方差函数 值 ,由上述讨论,.,对于MA(2)模型： , 其中 满足 可得 的估计为:当 时,.,当 时， 从而可得，,.,例4.12 求MA(2)模型 的n=950的样本的参数 的矩估计。 解：已知前三项的样本自相关函数分别为 使用上述公式，可得到如下估计值,.,(2). 线性迭代算法 将(2.2) 式表示为 (2.3) 在可逆域内，给定 的初值,代入 (2.3)式右边，得到一步迭代值 ，再将它们 代入(2.3)式右边，得出(2.3)式左边的第二不迭

15、代值 ，同法重复直到某步 ，,.,设有精度 ,当 同时成立时，就停止迭代（否则继续迭代下去），以 作为 的矩估计。,.,(3) Newton- Raphson 算法 优点：方法简便、收敛速度快 缺点：使用该算法得到的解 不能保证满足属于可逆域，需要采用调整方法才可做到。详见时间序列的分析与应用或应用时间序列分析。,.,2. 极大似然估计 若(2.1)中， 为正态分布，则 服从 分布，其中 是 的协方差矩阵。 于是有似然函数： 其中， 。使似然函数达到极大值之 解的 和 ，即为 和 的极大似然估计。,.,近似极大似然估计方法：假定(2.1)式中的初值 给定，不妨设为零值。则由(2.1)式 和数据 可以求出 (2.4) 于是可得到如下近似似然函数为：