第六章ARMA模型的参数估计 第一节AR p 模型的参数估计第二节MA q 模型的参数估计第三节ARMA p q 模型的参数估计第四节求和模型及季节模型的参数估计 第一节 AR p 模型的参数估计目的 为观测数据建立AR p 模型 1 1 假定自回归阶数p已知 考虑回归系数和零均值白噪声的方差的估计 数据的预处理 如果样本均值不为零 需将它们中心化 即将它们都同时减去其样本均值再对序列按 1 1 式的拟合方法进行拟合 假定数据适合于以下模型 1 2 其中 p为给定的非负整数 为未知参数 记为系数参数 为独立同分布序列 且 与独立 参数满足平稳性条件 A AR p 模型参数的Yule Walker估计对于AR p 模型 自回归系数由AR p 序列的自协方差函数通过Yule Walker方程唯一决定 白噪声方差由决定 AR p 模型的自回归系数和白噪声方差的矩估计就由样本Yule Walker方程 1 3 和 1 4 决定 令则 1 3 1 4 式可写为 实际应用中 对于较大的p 为了加快计算速度可采用如下的Levison递推方法递推最后得到矩估计 上式是由求偏相关函数的公式 导出 定理1 1如果AR p 模型中的是独立同分布的 则当时 1 2 依分布收敛到p维正态分布 注 用表示的第元素时 可知依分布收敛到 于是的95 的渐近置信区间是在实际问题中 未知 可用的元素代替 得到的近似置信区间 B AR p 模型参数的最小二乘估计如果是自回归系数的估计 白噪声的估计定义为通常为残差 我们把能使 1 6 达到极小值的称为的最小二乘估计 记则 于是的最小二乘估计为即 相应地 白噪声方差的最小二乘估计式中为的p个分量 定理1 2设AR p 模型中的白噪声是独立同分布的 是自回归系数的最小二乘估计 则当时 依分布收敛到p维正态分布注 对于较大的n 最小二乘估计和矩估计 Yule Walker 估计的差别不大 C AR P 模型的极大似然估计假定模型AR p 中的为正态分布 则观测向量的高斯似然函数为相应的对数似然函数为其中 为的协方差阵 表示的行列式 使得对数似然函数达到极大值的和称为和的极大似然估计 从另一角度考虑 注 当n充分大时 AR p 模型参数的极大似然估计 最小二乘估计和矩估计 Yule Walker估计 三者都非常接近 即三者渐近相等 它们都可以作为AR p 模型的参数估计 这是AR p 模型的独有的优点 例1 1 由下列AR 1 序列产生长度为n 300的样本 计算出前5个样本自协方差函数值为求参数的矩估计和最小二乘估计 1 参数的矩估计分别为将样本自协方差函数值代入得 2 参数的最小二乘估计分别为 例1 2求AR 2 模型参数的估计 这里n 300 1 AR 2 模型的矩估计为 计算出的前5个样本协方差函数值为将其值代入上式得 2 最小二乘估计 注 一般在求高阶AR p 模型参数的矩估计时 为了避免求高阶逆矩阵 可采用求偏相关函数的递推算法 求出即为的矩估计 将它们代入的表达式可得 D AR p 模型的定阶1 偏相关函数的分析方法一个平稳序列是AR p 序列当且仅当它的偏相关函数是p步截尾的 如果p步截尾 当时 而 就以作为p的估计 定理1 3设由定义 如果AR p 模型中的白噪声是独立同分布的 则对确定的k p 当时 依分布收敛到k维正态分布 推论 在定理1 3的条件下 对k p 依分布收敛到标准正态分布N 0 1 根据推论 对于AR p 序列和k p 当样本量n比较大时 以近似于0 95的概率落在区间之内 于是对于某个固定的k 以作为p的估计 或者根据推论有如下的检验方法 对于某个正整数p 显著地异于零 而近似等于零 其满足 或 的个数占的比例近似地为68 3 或95 5 则近似地认为在p步截尾 初步判定为AR p 例1 3 例1 1续 使用样本偏相关函数对AR p 的模型阶数作初步的判定 结果 取上限 样本自相关函数呈拖尾状 而从15个偏相关函数来看 除显著异于零之外 其余14个中绝对值不大于的有10个 于是结论 初步判定为AR 1 模型 前15个样本偏相关函数 例1 4 例1 2续 使用样本偏相关函数对AR p 的模型阶数作初步的判定 结果 取上限 样本自相关函数呈拖尾状 而从15个偏相关函数来看 除显著异于零之外 其余14个中绝对值不大于的有9个 于是结论 初步判定为AR 2 模型 前15个样本偏相关函数 2 AIC准则方法 A InformationCriterion 为了使拟合残差平方和尽量小 而又不至于引入过多的虚假参数的估计 Akaike于1973年引入如下的准则函数 假定已有阶数p的上阶 AIC k 的最小值点 若不唯一 应取小的 称为AR p 模型的AIC定阶 即 具体步骤 1 取定p k时 根据数据使用前一小节所提的任何一种参数的估计方法 给出噪声方差的估计 2 再找出AIC取极小值时 所对应的阶数p 注 AIC定阶并不相合 AIC定阶通常会对阶数略有高估 故在应用中 当样本量不是很大时 使用AIC定阶方法 为了克服AIC定阶的不相合性 可使用BIC准则方法 设为AR序列 则BIC准则函数为将此准则函数达到最小值的解作为p的估计 就是BIC准则方法 注 1 理论上已证明BIC准则的定阶具有相合性 2 当n不是很大时 用BIC定阶有时会低估阶数p 造成模型的较大失真 故在实际问题中 特别当样本量不是很大时 BIC的定阶效果并不如AIC定阶准则 例1 5 例1 1续 n 300个观测 定阶 方法 观察偏相关函数 确定上界是P 10 对p 1 2 10分别解Yule Walker方程得到的Yuler Walker估计 再对p 1 2 10分别计算出AIC和BIC函数 计算结果如下 结果 AIC 1 和BIC 1 分别是AIC和BIC函数的最小值 结论 由AIC和BIC定阶可知阶数p 1 AIC函数图 BIC函数图 例1 6 例1 2续 n 300个观测 定阶 方法 观察偏相关函数 确定上界是P 10 对p 1 2 10分别求出的估计 再对p 1 2 10 计算AIC和BIC函数 计算结果如下 结果 AIC 2 和BIC 2 分别是AIC和BIC函数的最小值 结论 由AIC和BIC定阶可知阶数p 2 AIC函数图 BIC函数图 例1 7 独立重复1000次实验 每次产生符合模型AR 4 的300个观测 得到AIC和BIC定阶情况如下 在1000次模拟计算中AIC将阶数定为4的有674次 而BIC阶数定为4的有476次 BIC定阶对阶数低估的比率为51 5 增大样本量n 1000 获得如下结果 AIC定出的平均阶数是Avc AIC 4 593 BIC定出的平均阶数是Avc BIC 3 996 故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶 E 拟合模型的检验现有数据 欲判断它们是否符合以下模型式中被假定为独立序列 且与独立 原假设 数据符合AR p 故在成立时 下列序列为独立序列的一段样本值序列 步骤 1 首先 根据公式计算出残差的样本自相关函数 2 利用上一章关于独立序列的判别方法 判断是否为独立序列的样本值3 根据判断结果 如果接受它们为独立序列的样本值 则接受原假设 即接受符合AR p 否则 应当考虑采用新的模型拟合原始数据序列 例1 8 例1 5续 拟合后 给出残差头15个数据 有11个落在之间 故不能否定原假设 即符合AR 1 模型 残差的图形 残差的自相关函数 例1 9 例1 6续 拟合后 给出残差头15个数据 有15个落在之间 故不能否定原假设 即符合AR 2 模型 残差的图形 残差的自相关函数 第二节滑动平均模型拟合 对于已给的时间序列数据 用MA q 式的滑动平均模型去拟合它们 称为滑动平均模型拟合 滑动平均模型拟合主要包括 1 判断滑动平均模型MA的阶数 2 估计模型的参数 3 对拟合模型进行检验 一 参数估计假定数据序列适合以下模型 2 1 其中为独立同分布的序列 且 q为给定的非负整数 为未知参数 并满足可逆性条件 1 参数的矩估计方法MA q 序列的自协方差函数与MA q 的模型参数有如下公式 故 和的矩估计和 为 2 2 1 解析法对于阶数较低的MA q 模型 例如MA 1 和MA 2 可利用解析法求解 对于MA 1 模型 和满足可得和的矩估计分别为 例4 11由MA 1 模型产生长度n 300的样本 计算出前两个样本自协方差函数值 由上述讨论 对于MA 2 模型 其中满足可得的估计为 当时 当时 从而可得 例4 12求MA 2 模型的n 950的样本的参数的矩估计 解 已知前三项的样本自相关函数分别为使用上述公式 可得到如下估计值 2 线性迭代算法将 2 2 式表示为 2 3 在可逆域内 给定的初值 代入 2 3 式右边 得到一步迭代值 再将它们代入 2 3 式右边 得出 2 3 式左边的第二不迭代值 同法重复直到某步 设有精度 当同时成立时 就停止迭代 否则继续迭代下去 以作为的矩估计 3 Newton Raphson算法优点 方法简便 收敛速度快缺点 使用该算法得到的解不能保证满足属于可逆域 需要采用调整方法才可做到 详见 时间序列的分析与应用 或 应用时间序列分析 2 极大似然估计若 2 1 中 为正态分布 则服从分布 其中是的协方差矩阵 于是有似然函数 其中 使似然函数达到极大值之解的和 即为和的极大似然估计 近似极大似然估计方法 假定 2 1 式中的初值给定 不妨设为零值 则由 2 1 式和数据可以求出 2 4 于是可得到如下近似似然函数为 2 5 记 由 2 5 式决定的近似极大似然估计和满足以下方程于是为以下方程的解而 3 自回归逼近方法原理 可逆的MA q 模型有逆转形式模型 且逆转形式中的无穷阶自回归系数满足以指数衰减到零的趋势 故一个可逆的MA模型可用适当高阶的AR模型近似 用一个高阶的AR模型拟合一个较低的MA序列称为自回归逼近拟合方法 步骤 1 对原始数据进行自回归模型拟合 可用AIC定阶 求参数的Yule Walker估计 在进行检验 或直接拟合AR p 模型 其中 当n不太大时 取 当n很大时 取 将拟合后模型记为 2 6 2 利用 2 6 式 计算拟合残差 于是 2 1 式的模型可近似写为记 2 7 于是 2 7 可简记为故 和的最小二乘估计分别为和优点 不涉及非线性代数方程 易于实际应用 二 阶数的估计1 自相关函数估计方法依据 一个平稳序列为MA q 序列的充要条件是它的自协方差函数q步截尾 对于MA q 模型 当k q n充分大时 的分布渐近正态 于是当k q n充分大时 下列等式近似成立 方法 对于每一个正整数q 计算样本自相关函数 M一般取为左右 考察其中满足的个数是否占M的68 3 或95 5 左右 如取某显著地异于零 而近似等于零 并满足上述不等式的个数达到了68 3 或95 5 左右比例 则初步认为在步截尾 初步判定为 例2 3设为MA 1 序列 由它产生长度为n 300样本值 计算出前17个样本自相关函数为 计算出 2 AIC准则定阶方法给出模型阶数q的上界 对于按前述的方法逐个拟合MA m 模型 并给出白噪声方差的估计量 定义AIC函数其中 n是样本个数 AIC m 的最小值点 如不唯一 应取小的 称为MA q 模型的AIC定阶 例2 3的定阶问题 使用AIC准则 有 三 拟合模型的检验如果一段时间序列数据符合 2 1 式 则当给定初始值 由 2 2 式计算出 它应当是独立序列的一段样本值 故检验问题就转化为检验是否为独立序列的一段样本值的问题方法 检验和正态检验 四 建模例题 产生模型的n 300个样本数据 建立模型 1 求出样本均值 样本自协方差函数 样本自相关函数 样本自相关函数 2 观察样本自相关函数为1步结尾 或使用前述的两种定阶方法 初步判定MA 1 3 使用第二小节的矩估计的解析方法可得 4 检验 给出我们使用检验 给出 计算出 取值图 第三节ARMA模型的拟合 根据数据序列 拟合以下AR。
