《时间序列分析(电子科大)第六章-4》由会员分享，可在线阅读，更多相关《时间序列分析(电子科大)第六章-4（38页珍藏版）》请在金锄头文库上搜索。
1、6.4 ARMA模型阶的确定 基于假定模型的阶已知的前提下介绍了参数估计的方法.对动态数据进行相关分析，初步判别模型类别以及阶的初步估计.有各类判定模型阶数的方法 一、相关函数定阶法用相关函数的截尾性判别方法给出模型阶的初步估计.例6.4.1 设t是标准正态白噪声，xt 是满足下AR(4)模型的模拟序列（N=300）直线方程为计算偏相关函数，可初估计对p = 1, 2 , , 10 分别求参数和噪声方差的 y-w估计，可得若时间序列 Xt 实际是 p 阶有限自回归模型AR( p ), 其噪声方差为 ,如果选择AR(k)模型进行拟合，则1）若k p (称为过拟合), 不会显著减小，有可能还略有增
2、大.类似于统计学中多元回归分析的逐步回归法，通过假设检验来确定阶数. 原假设：序列满足AR(k)模型；备择假设：序列满足AR(k+1)模型.二、残差方差图定阶法结论 用一系列阶数逐次递增的AR(k)模型拟合原模型，其残差的方差一般随着 k 的增大而逐渐下降，当 k = p 以后变动幅度会趋小.JenkinsWhitt方法：利用残差方差图判定AR模型阶数.残差方差的估计式为(6.4.1)其中3）观察残差方差图，若 从 k* 始基本保持不 变 (无明显下降趋势), 就可令 注1 残差方差图方法是一种观察试验方法，无定量判断的准则.2）画出的残差方差 图； 定阶步骤: 1）分别用AR(k)模型 (k
3、=1, 2 , , M)拟合观察数据,计算相应的残差方差 (k=1,2,M)； 注2 若观察数据不是来自AR模型时, 常常不是单调下降的. 例6.4.2 下图是一磨轮剖面资料的数据图自相关函数图偏相关函数图模型阶数从1升至2，残差方差大幅度减小，升至 5后残差方差反而略有增加. 残差方差图二、最佳准则函数定阶法通常是先定义一个与模型参数有关的准则函数:1) 考虑拟合时对数据的接近程度；2）考虑模型中待定系数的个数.使准则函数达到最小值的模型是最佳模型.取使准则函数为最小的阶数值作为估计值.1. FPE(最终预报误差)准则不足拟合与过度拟合都会使预报误差增大.日本学者赤池(Akaike) 思想
4、AR模型的阶数估计值不能取过大，也不能过小.过大 会导致模型的复杂度增大，使参数估计值的不确定性增大；过小 使拟合模型与真实模型差异过大.Akaike提出用最终预报误差准则(Final Prediction Error,记为FPE)来判定AR模型的阶数. 导出目标函数(6.4.2)其中N为样本长度, k 为模型阶数， 为相应的残差方差估计.分析 (6.4.2)中有两个因子:1) 因子 依赖于k, 其大小反映了模型与数据的拟合程度；2) 第一个因子随 k 增大而增大, 放大了残差方差的不确定性影响. Akaike 准则 选择使(6.4.3)成立的 p 为AR模型的阶数估计值, 若有多个则取其中最
5、小者.Akaike 从信息论的概念导出适用面广泛的统计模型准则AIC准则(Akaike Information Criterion) .2. 最小信息准则(AIC)AIC准则可应用于ARMA模型及其他统计模型(如多项式回归定阶).能在模型参数极大似然估计的基础上，对于ARMA(p, q)的阶数和相应的参数，同时给出一种最佳估计. 1）最小信息准则AIC的一般形式 设 是随机向量, 其概率密度为 ，属于概率密度族 ， 是模型的参数向量，且基本思想：利用KL(Kull-back, Leibler)信息量(6.4.4)来刻划 与 的接近程度. 分析：应使KL信息量达到最小值.两个函数接近程度越 高,
6、K-L信息量越小使KL信息量达到最小值, 即(6.4.5)可求出最小信息准则 AIC 的一般形式为 (6.4.6)结论 可证明AIC的一般形式是KL信息量的渐近无偏相容估计.m为参 数个数AIC注1 若估计模型与真实模型存在较大的差异时，或阶数估计偏低时，上式中右端的第一项会显著变大，第二项则作用不大；注2 若阶数估计偏高时，上式中第二项起主要作用. 上式是对两方面的加权平均(权系数为2).Akaike原则 从一组可供选择的模型中，应选取AIC为最小的模型.2）ARMA、AR、MA模型 在一定条件下(参见公式5.5.3), ARMA模型的对数似然函数可近似为 其中因见公式（ 5.5.4）(6.
7、4.7)式中 为残差方差. m为参数个数, 有 ARMA(p, q)模型: m=p+q+1; AR (p)模型: m = p+1; MA(q)模型: m = q+1; 注 由AIC准则定出的阶数估计不是模型真实阶数的相合估计，一般阶数估计值偏大.在N充分大而且固定的条件下 3. AIC准则与FPE准则的关系 AIC准则与FPE准则有渐近等价关系： 证 结论 当 N 充分大时, AIC和FPE准则给出的阶数估计值相同, FPE准则也可以用于ARMA模型定阶. 四、BIC准则AIC准则避免了统计检验中由于选取置信度而产生的人为性，为模型定阶带来许多方便. 但AIC方法未给出相容估计.Akaike（
8、1976）提出新的定阶准则BIC (6.4.8)式中 m = p+q+1表示自由参数个数.注1 AIC 和BIA的差别是用 m lnN 替代2 m，使利用多余参数的代价增大. 一般BIC阶数估计值比AIC 阶数估计值低. 注2 BIC准则可以给出阶数的相容估计. 例6.4.1 设et是标准正态白噪声， xt 是满足AR(4)模型的模拟序列（N=300）已初步估计 ，计算AIC和BIC函数如下两种方法都估计出仅是一次估 计结论现模拟1000条序列，每次N=300，有以下结果 有 Ave(AIC)=4.413;Ave(BIC)=3.039；BIC定阶对阶数的低估比例达51.1%；增大样本长度N可改
9、善这种情况.模拟1000条序列，每次N=1000，有以下 结果 有 Ave(AIC)=4.589;Ave(BIC)=3.996；对较大样本长度N，仍应综合考虑两种 定阶方法.5.5 ARMA模型参数的精估计极大似然估计(最小平方和估计)一、极大似然估计（ML估计）建立在极大似然准则上的估计.设随机序列 Yt 的有限维概率密度存在, 由一组参数 惟一确定, 联合概率密度是参数向量和样本的函数.记联合概率密度为例5.5.1 若样本 是零均值正态随机变量，其联合概率密度为 其中 是协方差矩阵.对给定样本值为对数似然函数. 的极大似然估计.定义注 必需已知联合概率密度.二、ARMA序列参数的极大似然函
10、数设 Xt 是零均值正态ARMA序列，给定样本 的样本值联合概率密度为其中 协方差矩阵.对数似然函数为为显含参数 ,令（5.5.1） 记是ARMA模型的参数向量,均值 E 表示是参数向量的函数.（5.5.2） 注 对一般ARMA模型，其参数的似然函数及极大似然估计要复杂许多.三、ARMA序列参数的近似极大似然方法 应选择ML使(5.5.2)能取极大值. 很难得不出极值的解析表示，数值求解也很困难.分析：1. 对任意样本长度N，行列式|MN| 是有界的； 2. 仅与N 有关，与参数向量无关；N充分大时， 的极值点与（5.5.3） 的极值点几乎一样.近似似然函数定义 称 是平方和函数.定理5.5.2 设ARMA模型平稳可逆，使充分大时，近似等于参数的极大似然估计，而且 达到最小值的参数估计 ,当样本长度N（5.5.4）
