FINTS第四章线性ARMA模型课件

第四章：线性时间序列分析及其应用学习目标 ● 简单滑动平均(MA)模型 ● 简单自回归(AR)模型 ● 混合自回归滑动平均(ARMA)模型平稳时间序列n几个重要的平稳过程和模型n白噪声过程nMA过程nAR过程nARMA过程n平稳过程的参数n自协方差和自相关函数n偏自相关函数4.1白噪声和线性时间序列白噪声和线性时间序列随机过程满足1）E(t)=0 ，   对所有t2）E(t2)=2    对所有t3）E(ts)=0,    对任意ts，或Cov(t, s)=0弱白噪声随机过程（Weakly white noise process），），简称白噪声记为简称白噪声记为{ t}~WN(0,  2) 白噪声过程4）不同时刻随机变量是相互独立的随机变量，并且同分布称为独立白噪声，记为{t}~I.I.D(0, 2)如果再增加一个条件5）服从正态分布该过程为高斯白噪声（Gaussian white noise process） 线性时间序列时间序列{rt}称为线性时间序列，如果它能表示成当前和过去白噪声序列的加权线性组合，即这里，      为白噪声    也表示时间序列在t时刻出现了的新的信息，即称为时刻t的新信息(innovation)(4.1)称为     的        权重若 是平稳的，利用 的独立性，我们容易得到其中       是     的方差。

由于所以      必须是收敛序列，即当            时的间隔为    的自协方差为因此， 权重与 的自相关系数有如下关系：其中，对若平稳序列而言， 当             时从而随着   的增加     收敛到04.2 MA模型4.2.1MA模型介绍当（4.1）仅仅有有限个 权重为非零时，我们称之为滑动平均过程，即（4.2）我们称(4.2)为 MA(q)模型或者q阶滑动平均模型.其中t 是白噪声过程. 这里，和i, i=1,2,…q称为参数或系数注：q0 滑动平均模型滑动平均模型 1-阶滑动平均模型阶滑动平均模型 其中t 是白噪声过程.（4.2-1）和为参数或系数表达式（4.2-1）是1－阶滑动平均模型，{rt}是1-阶滑动平均过程用MA（1）表示例如rt=0.1+t＋0.3 t－1MA(1)n另一种表达方式n本质是一个只包括常数项的回归模型，但残差存在自相关容易知道MA(1)存在一阶自相关q-阶滑动平均模型阶滑动平均模型和过程下面是几个MA模型Yt=0.1+t＋0.2 t－1 ＋0.1 t－2Yt=0.1+t＋0.3 t－1 ＋ 0.21 t－2 －0.1 t－3Yt=0.1+t＋0.3 t－44.2-2 MA模型的性质MA(1)模型MA(q)模型自相关函数自相关函数MA(1)模型：为简单起见，假定对两端乘以 ，我们有当         时，注意到我们有MA(1)模型在间隔为1以后的是截尾的MA(2)模型自协方差函数自相关系数是MA(2)模型在间隔为2以后的是截尾的MA(q)模型自相关系数MA(q)模型在间隔为q步以后的是截尾的，MA(q)模型具有有限记忆性MA过程ACF图基本结论MA(q)过程的自相关函数q步截尾练习题n1. 证明 MA(q)过程自相关函数应满足的关系式n2. 计算   的自相关函数。

4.2-3识别MA模型的阶 自相关函数是识别MA模型的阶的有用工具如果时 间序列具有自相关函数 ，若 ，但对有         ，则    服从一个MA(q)模型4.2-4用MA模型预测MA(1)过程的向前一步预测，由模型知取条件期望我们有向前一步预测误差的方差为MA(1)过程的向前二步预测，由模型知我们有向前二步预测误差的方差为上面的结果表明MA(1)的向前两步预测即是模型的无条件均值类似地对MA(2)模型，我们有这样，MA(2)模型的向前两步以后的预测即达到序列的均值一般地，对于一个MA(q)模型，向前q步以后的预测就达到了模型的均值4.3 自回归模型自回归模型Autoregressive Model 其中 {t }是白噪声过程        ，表达式(4.3)是P-阶自回归模型{rt }为p-阶自回归过程 ,表示为AR(p)                         是未知参数或系数4.3)AR(1)过程（4.3-1）因方差非负，要求（4.3-1）定义的AR（1）模型是平稳的充分必要条件是在平稳性条件下注意到     与      独立，（4.3-2）AR(1)模型的自相关函数 进一步有递推式：因           ，故这个性质表明弱平稳AR(1)序列的自相关函数从                开始以比率为    的指数速度衰减。

由（4.3-2），我们有自协方差函数自相关函数AR(1)参数t=0.1+0.5t-1 +t    t=0.1-0.5t-1 +t =0.1/(1-0.5)=0.2    = 0.1/(1+0.5)j=0.5j                     j =(-0.5)j AR(2)模型两边乘以            导致自相关协方差函数满足这个结果称为平稳AR(2)模型的矩方程均值函数满足利用AR(2)模型可以写为上面的结果表明平稳AR(2)序列的ACF满足二阶差分方程其中，B是向后推移（延迟，滞后）算子，即平稳AR(2)模型的自相关系数函数满足有时用L表示延迟算子，如与前面的差分方程对应的是二次(特征)多项式 时间序列文献中称这两个解的倒数为AR(2)模型的特征根这个方程的解是平稳性平稳性：AR(2)时间序列的平稳性条件是它的两个特征根的模都小于1对应对应AR(1)模型模型:特征根为从而    是平稳的，我们有AR(2)模型的平稳性要求模型的平稳性要求 ，其中，其中这导致，及特征多项是AR(p)模型称之该AR(p)模型的特征方程。

AR(p)模型的平稳性条件：模型的平稳性条件：上述方程的所有解的模都大于1由于解的倒数为该模型的特征根因此，平稳性要求所有特征根的模都小于1均值函数模型对应的多项式方程为特征方程也可以表示用 代替x,这时，如果特征方程的根在单位圆内模型满足平稳条件用滞后算子表示平稳AR(p)模型为其中，为滞后算子多项式即AR(p)模型可以表示成MA( )模型.注意到滞后算子的等式如果用“1”表示恒等算子，有其中记：因此得到了逆算子的表达式，这类似于以滞后变量为变量的函数表达式在形式上逆算子可以表达为AR(p)模型的参数特点   用后退算子表示自协方差函数为   自相关函数：即练习题3. 推导AR(p)模型的参数特征公式4. P177-178, 4, 9滞后算子滞后算子滞后算子(Lag operators)或延迟算子或延迟算子（（Backshift））滞后算子，用滞后算子，用L表示有的书上称为延迟算表示有的书上称为延迟算子，用子，用B表示表示 LYt=Yt-1  滞后算子(1)L(LYt)=L(Yt-1)= Yt-2,记为L2Yt= Yt-2,一般的Lk Yt= Yt-k(2)与乘法可交换L(a Yt)=a(LYt)(3)加法可分配L(Yt +Xt)= LYt + L Xt(4)对常数列的运算等于他自身Lc=c(5)1Yt=Yt(6) (1-L)-1=1+ L+ 2L2+…+ kLk …当||<1时。

注意到滞后算子的等式如果用“1”表示恒等算子，有其中记：因此得到了逆算子的表达式，这类似于以滞后变量为变量的函数表达式在形式上逆算子可以表达为4.4自回归滑动平均混合模型自回归滑动平均混合模型 Mixed Autoregressive Moving Average Model （ARMA）一般的ARMA(p,q)模型其中 是白噪声，（4.4-1）表达式(4.4-1)是P-阶自回归q－阶滑动平均混合模型{rt }为p-阶自回归q阶滑动平均混合过程 ,表示为ARMA(p,q).利用滞后算子，ARMA（p,q)模型改写为即为模型的AR多项式，这里，为模型的MA多项式，与没有公因式ARMA模型：没有公因子例如下面的模型  Yt =0.5Yt-1 -0.04 Yt-2 + t -0.6 t-1 +0.05 t-2（1－0.1L）(1-0.4L) Yt=（1－0.1L）(1-0.5L) t有公共因子，去掉公共因子，得到简化后的模型(1-0.4L) Yt=(1-0.5L) t 用滞后算子表示ARMA模型，ARMA模型如果存在公因子，可以简化4.4.1 ARMA(1,1)模型 其中 是白噪声序列（4.4-2）（4.4-2）左边是模型的AR部分，右边是MA部分， 常数项为方差函数均值函数ARMA(1,1)模型的参数特征：4.4.1 ARMA(1,1)模型自协方差函数一般地（4.4-2）自相关系数函数（ACF）ACF从间隔为2开始衰减综上所述，ARMA(1,1)模型的平稳性条件与AR(1)模型相同， ARMA(1,1)模型与AR(1)模型的ACF相似。

但是是从间隔为2开始衰减自相关系数为用滞后算子表示ARMA(p,q)的自协方差函数为4.4-2 ARMA过程参数特征均值函数4.4-3 ARMA模型的平稳性条件与可逆条件的根在单位圆外注：ARMA模型平稳只跟自回归系数有关，与滑动平均系数无关引进了ARMA模型的特征方程AR多项式ARMA模型平稳条件是特征方程的根在单位圆外，即ARMA模型可逆的条件是MA多项式的根在单位圆外可逆性只与滑动平均部分的系数有关，与自回归部分的系数无关•练习：P178, 54.4-4 ARMA(p,q)模型的预测设预测原点为h,Fh为在h时刻所能得到的信息的集合的向前一步预测为其中，相应的预测误差为向前一步预测误差的方差为对向前l步预测其中，当 时，当 时，当 时，（4.4-3）（4.4-3）给出了ARMA(p,q)模型向前l 步预测的递推公式相应的预测误差为ARMA(1,1)模型表示成MA() t=c+1t-1+ t + 1t -1(1- 1 L)t=c+(1+ 1L) t t= (1- 1 L)-1c+ (1- 1 L)-1(1+ 1L) t t=+(1+ 1L+ 21L2+…) (1+ 1L) t4.4-5 ARMA模型的三种表示无穷阶滑动平均过程无穷阶滑动平均过程MA（（q））可以用求和的形式表示可以用求和的形式表示 无穷阶滑动平均过程.记为MA() 无穷阶滑动平均过程无穷阶滑动平均过程无穷阶滑动平均过程是否一定平稳呢?不是.何时平稳呢?下面是一个充分条件: 三个模型的关系MA,AR,和ARMA满足平稳可逆条件时，三者可以相互转化AR（p）——MA（）:Yt =(L)-1c+(L)-1tt前的系数称为格林函数或记忆函数MA（q）——AR（）:(L) -1 Yt = (L) -1c+tYt前的系数称为逆函数ARMA（p，q）——MA（）:Yt =(L)-1c+(L)-1(L)t=(L)-1c+(L)/ (L) t ARMA（p，q） ——AR（）: (L) -1 (L)Yt = (L) -1c+t•例子：4.10：其中（1）（2）（3）（4）（5）练习题P178， 5，12偏相关系数AR过程和ARMA过程的自相关函数都是拖尾的，那么是否有某种特征把两者区别开？---偏自相关系数自相关系数描述了Yt与Yt-k 之间的关系。

它们之所以相关可能因为它们都与Yt-1 , Yt-2,…, Yt-k+1相关当去掉当去掉Yt-1 , Yt-2,…, Yt-k+1的间接影响后导致的间接影响后导致Yt与与Yt-k的偏相关系数的定义的偏相关系数的定义偏自相关函数一般的，偏相关系数如下定义：Yt与Yt-k的偏相关系数是去掉Yt-1，Yt-2，Yt-k+1的线性影响后简单相关系数用公式表示如下：*k=Corr(yt-E*(yt| yt-1，yt-2，yt-k+1), yt-k) x = randn(1000, 1); y = filter(1, [1 -0.6 0.08], x); %produce a stationary AR(2) process:y_i=-0.6y_{i-1}+0.80y_{i-2}+x_i[PartialACF, Lags, Bounds] = parcorr(y, [], 2); [Lags, PartialACF] parcorr(y, [], 2) % Use the same example, but plot % the partial ACF sequence with % confidence bounds. Example 1Create a stationary AR(2) process from a sequence of 1000 Gaussian deviates:三种随机过程偏自相关函数的特点根据定义总有*1=1三类过程的偏自相关函数和自相关函数             MA（q）   AR（p）  ARMA（p，q）自相关函数    q步截尾   拖尾            拖尾偏自相关函数   拖尾      p步截尾       拖尾 线性ARMA模型：总结t=c+1t-1 +2t-2+…+pt-p +     t + 1t -1+…+ qt –q(L)Yt =c+(L)t（1） p 0， q 0（2）满足平稳条件（3）满足可逆条件（4）没有公共因子  (5)ARIMA（p,d,q)过程和模型AutoRegression Integrated Moving Average随机过程不平稳时，（从图形看不重复穿越一条水平线，样本自相关函数收敛速度慢）对不平稳的随机过程差分d次后平稳，注意不要过渡差分，差分以后满足一个ARMA(p,q)模型，则没有差分前的模型称为ARIMA(p,d,q)模型，满足该模型的随机过程称为ARIMA过程。

练习：P178, 8; 15 (4), (6), (7), (8), 建立ARMA模型建模步骤平稳化，采用差分的方法得到平稳的序列定阶，确定p，q的大小估计，估计未知参数检验，检验残差是否是白噪声过程预测，最后利用模型预测模型定阶或识别n假设数据已经平稳化，下一步是确定模型的阶数有两种方法，一种是根据随机过程的参数特征，一种是根据信息准则n下面是几类随机过程的参数特征：三种随机过程偏自相关函数的特点三类过程的偏自相关函数和自相关函数             MA（q）   AR（p）  ARMA（p，q）自相关函数    q步截尾   拖尾            拖尾偏自相关函数   拖尾      p步截尾       拖尾 白噪声MA(1) Yt ＝ t ＋0.5 t－1MA(1)的ACF和PACFAR(1) Yt=0.6Yt-1+tAR(1)的ACF和PACFARMA Yt=-0.7Yt-1+t - 0.7 t-1ARMA过程的ACF和PACF练习：把下面的模型与后面的自相关函数图匹配起来(A)Yt =0.15 Yt-1 +t -0.7t-1      (B) Yt =-0.15 Yt-1 +t(C)Yt =t +0.7t-1                   (D)Yt =t +0.7t-1-0.6t-2(E)Yt =1.7 Yt-1-0.7 Yt-2+t 模型识别定阶定阶样本自相关函数的计算和判断定阶H0：i =i+1 =…=0用前面介绍的方法计算出样本自相关系数    ，零假设成立时    近似服从正态分布N(0,1/T)所以近似5%显著水平下，每个 在两倍标准差之间，则不能拒绝零假设。

 定阶t= 11t-1 +1tt= 12t-1 +22t-2＋2tt= 13t-1 +23t-2＋33t-3＋3t用OLS法估计上面的方程11是1－阶样本偏相关系数；22是2－阶样本偏相关系数 定阶当样本长度充分大时，估计的偏自相关系数满足：如果*k =0，k>p那么估计的偏相关系数近似服从正态分布N（0，1/T）所以近似5%显著水平下，如果-2/T1/2< *k <2/T1/2, 推断*k =0，k>p成立 定阶1根据样本自相关函数和样本偏相关函数定阶根据样本自相关函数和样本偏相关函数定阶一般要求样本长度大于50,才能有一定的精确程度如果某个j之后，所有的样本自相关系数j在95％置信区间内，则自相关函数截尾适合建立MA模型；如果某个j后，所有样本偏自相关系数*j在95％置信区间内，则偏自相关函数截尾适合建立AR模型；否则都拖尾适合建立ARMA模型AIC和 BIC准则n评价模型的优劣准则AIC和BIC准则n对自由度进行调整nk是模型中未知参数的个数,et是估计出的误差 nAkaike’s information criterion赤池赤池Schwartz Bayesian information criterion(SBC,SC,BIC)施瓦兹施瓦兹 定阶： AIC准则和准则和BIC准则准则不同的书对AIC和BIC使用不同的变形。

经常使用的有两种 AIC（p，q）=ln(   )+2(p+q)/TBIC（p，q）=ln(    )+(p+q)ln(T)/TT样本长度，如果有常数项p+q被p+q+1代替，ln表示自然对数在ARMA模型中需要选择p和q，所以用p+q代替k 是对噪声项方差的估计定阶： AIC准则和准则和BIC准则准则AIC（p，q）=－2lnL/T+2(p+q)/TBIC（p，q）=-2lnL/T+(p+q)ln(T)/TLnL是模型的对数似然函数值Q是与参数无关的量因为我们只关心使得AIC或BIC最小的值，所以忽略Q.带入对数似然函数表达式中，可以发现与前面的AIC和BIC的表达是一致的  AIC和BIC判断步骤（1）给定滞后长度的上限P和Q，一般取为T/10，  Ln(T)，    ,或根据样本ACF和样本PACF判断2）假设样本区间1,…,T,把样本区间修改到p+1,…,T3）对任意一对滞后长度p=0，1，…，P，q=0，1，…，Q，分别估计模型ARMA（p，q）（4）代入上面的公式，计算出AIC(p，q)和BIC(p，q)（5）最小值对应的p，q值作为ARMA模型的阶数。

用AIC和BIC准则确定阶数AIC准则--------MA(1)             q         0            1          2        3P 0   -7.415  -7.455  -7.426  -7.373   1   -7.39   -7.395  -7.422   -7.272   2   -7.433  -7.383  -7.174  -7.221 用AIC和BIC准则确定阶数BIC--------白噪声                  q         0       1       2      3P 0   -7.415  -7.411  -7.338  -7.239  1   -7.346   -7.251  -6.998  -7.001   2  -7.345    -7.251  -6.998  -7.001 AIC和BIC准则选择滞后长度存在以下缺陷：1）选择不同的准则具有主观任意性不同准则得出矛盾的结论 BIC准则的大样本性质比AIC好，但是有限样本情况下很难比较AIC和BIC的优劣在实际确定阶数时，不是一定选择AIC,BIC最小的，还有考虑模型的简洁和残差是否是白噪声。

 2）选择方法是确定一个滞后长度的上限P和Q，如果实际的滞后长度大于P或Q，那我们就得不到正确的滞后长度极大似然估计:以AR(1)为例t=c+t-1 +t 假设 ~i.i.d.N(0, 2)估计:  =( c, , 2)’ 已知: y1,y2,…,yTE(1)=c/(1-)E(1-)2=2/(1-2) 极大似然估计当1的观测已知时，2的条件分布2=c+1 +2 （2|1= y1）~ N(c+y1, 2) 极大似然估计Y1,Y2的联合分布密度函数，是条件密度和边际密度相乘f2，Y1 (y2，y1;  )= f2|Y1 (y2|y1;  ) f1 (y1;  ) 类似的，已知y1,y2，3的条件分布 极大似然估计三者的联合分布f3，2，Y1 (y3，y2，y1;  )= f3|Y2，Y1 (y3|y2，y1;  ) f2|Y1 (y2|y1;  ) f1 (y1;  ) 一般给定y1,y2,…yt-1，t的条件分布只和yt-1有关 极大似然估计ft,Yt-1，…,Y1 (yt, yt-1，…,y1;  )= f1 (y1;  )     ft|Yt-1(yt|yt-1;  ) 估计：满足下面的条件的解求解未知参数的方程是非线性的，如果只关心（ 2，…， T）的条件联合分布，得到条件极大似然函数。

极大似然估计极大似然估计假设观测值是y0, y-1…, y-P+1, y1,…, yT假设0＝－1＝…=－q+1=0以初始值y0, y-1…, y-P+1和0，－1，…，－q+1为条件，对t＝1，2，…，T，对数条件似然函数是 使用对数条件似然函数对每个未知参数求一阶导数，令其等于0，这时方程组是线性方程组，易于求解模型的检验检验残差是否是白噪声过程1）画出残差的折线图2）画出残差的ACF,PACF3)计算统计量QBox-Pierce Q-检验Ljung and Box  检验Q检验1）m主观给定，一般在15到30之间，可令m=T1/22）H0：{t}是白噪声过程3)当零假设成立时，统计量Q渐进(asymptotically distributed)服从2（m-p-q），如果模型中包括常数项，那么Q渐进服从2（m-1-p-q）4）Q检验的缺陷是，经常不能拒绝零假设把不是白噪声时，也误认为是白噪声  检验Q检验图示真实临界值计算值卡方分布临界检验练习例m=6，模型中有常数项，考虑下面的几个模型，那个模型是合格的模型？给出其它几个模型Q检验统计量的自由度p+q)    Q    自由度     P-value(1,0)   15.92   6-1-0-1  0.019(2,0)  11.82                 0.249(0,1)   4.12                  0.139(0,2)   6.94                   0.21(1,1)  7.94                    0.047模型选择一个好模型满足的条件n每个解释变量都显著不等于0.n残差是白噪声过程n具有最小的AIC或BIC值练习：从下面的几个模型中选择一个最优模型       AR(1) AR(2) AR(3) ARMA(1,1) MA(2)  1 0.17 0.21 0.3 0.19 ( 0.0000) (0.0004) (0.002) (0.0024)   2 0.06 0.04 (0.0005) (0.003)   3 0.0005 (0.44)  1 0.05 0.48 (0.0007) (0.0034)  2 0.06 (0.009) AIC 607.3 592.5 615 598.4 609.5 BIC 609.9 594.3 607 593.6 612.6Q(8) P-值值 0.0000 0.567 0.66 0.6958 0.003Q(16) P-值值 0.000 0.4241 0.78 0.8927 0.005预测－基本概念事前预测，事后预测，模拟预测假设收集到N个数据，使用1到T来估计模型.对N时刻以后预测事前预测；对T到N预测事后预测或样本外预测；对1到T之间的预测是模拟，或拟和。

1TN预测－基本概念h步预测：预测变量YT+h的取值，h>0，称为h-步预测假设时刻T之前的所有数值YT, YT-1,…,Y1…预测估计量：用         表示基于T时刻之前的观测对YT+h的预测预测误差估计量：预测均方误差                            ，记为MSE(            )预测最优预测：选择合适的函数形式，使得预测均方误差最小的预测是最优预测可以证明求YT+h基于YT, YT-1,…，Y1，…的条件期望是使均方误差最小的预测，条件期望表示为：E（YT+h | YT, YT-1,…，Y1…）=预测值的计算 t=c+1t-1 +2t-2+…+pt-p + n不可能知道T时刻前的所有观测，观测值是YT, YT-1,…Y1，所以是近似预测n假设参数已知，实际只能用估计的参数代替真实参数n预测是递推进行预测值的计算1－步预测2－步预测预测值的计算一般预测公式预测值的计算AR（1）模型的h步预测 t=c+t-1 +t预测值的计算MA(q)模型的h步预测 预测值的计算计算残差的估计值，假设0, 1,…-q+1=0 根据下面的公式递推计算：预测值的计算ARMA（1，1）模型的预测t=c+ 1Y t-1+t+ 1t-1 预测值的计算残差的计算与MA模型类似，以ARMA(1,1)为例。

1 =1-c- 1Y0- 10假设0 =0，0已知所以实际用的数据个数为T+1个；如果0未知，用样本均值代替2 =2-c- 1Y1- 11…T = T -c- 1Y T -1- 1 T -1ARIMA模型预测nARIMA(0,1,1)预测置信区间ARMA模型表示成MA（）模型t-=t +1t-1 +2t-2+…h步预测是在基于T时刻前的信息求条件期望，结果如下：预测误差： 预测方差n一步预测方差等于残差的方差n预测方差随着预测步长的增加越来越大n预测方差趋于Y的无条件方差预测的置信区间预测的置信区间95％置信水平下，h－步预测的置信区间，假设服从正态分布 预测的评价 1）均方根误差2）均方误差3)绝对预测误差百分率平均值4)建立回归模型，如果预测准确截距等于0，斜率等于1预测的评价（5）平均预测误差（6）平均绝对预测误差（7）均方根预测误差百分率预测的评价评价预测效果可以根据前面介绍的7个指标，预测误差越小，说明预测越精确得到多个1－步预测的方法有:静态预测，滚动预测和递推预测假设收集到数据95：1：1到99：12：10。

使用95：1：1到99：11：30估计模型，对99：12：1－99：12：10日的数据进行预测静态预测在预测时，把99：12：1到99：12：9日的真实观测值带入预测公式即可 预测评价滚动预测是滚动估计区间，然后进行1－步预测，递推预测是不断增加估计样本区间，然后进行1－步预测，例如：预测 滚动估计样本范围 递推估计样本范围1 95：1：1－99：11：30 95：1：1－99：11：302 95：1：2－99：12：1 95：1：1－99：12：13 95：1：3－99：12：2 95：1：1－99：12：2对模型的评价总结n所有系数是否显著n残差是否是白噪声n预测是否准确n是否有大的拟和优度和小的AIC或BICn是否有更简单的模型n是否有直观意义和经济理论基础。