《时间序列分析方法第05章最大似然估计》由会员分享，可在线阅读，更多相关《时间序列分析方法第05章最大似然估计（19页珍藏版）》请在金锄头文库上搜索。
1、时间序列分析方法讲义第5章最大似然估计第五章最大似然估计在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。 5.1弓I言5.1.1 ARMA模型的极大似然估计假设数据的真实生成过程是一个ARMA(p,q)过程，则该过程的数据生成机制为:Yt =c 2Yf ；t V ；t g其中；t是白噪声序列，满足:CT2, S=t0,s 式t#时间序列分析方法讲义第5章最大似然估计我们将要讨论如何利用 Yt的观测值来估计母体参数:我们将要采用的方法是极大似然估计方法，因此需要获得
2、似然函数的表达式。假设获得了 T个样本(yi, y2,Yt )，如果能够计算出相应的联合概率密度函数：f(Yj,YT) (yi，y2，yT ； )上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。这时我们需要极大化上述联合概率密度。为此，我们假设噪声序列是高斯白噪声序列，即21 i.i.d.N(0,二2)虽然这个假设非常强， 但是在这样假设下得到的参数估计?,对于非Gauss过程来说也是很有意义的。具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。这里涉及到一些代表性的非线性数值优化问题。 5.2高斯AR
3、(1)过程的似然函数假设数据生成过程是一个具有高斯白噪声序列的AR(1)过程： =C * , 4亠几这时对应的参数向量为：二(C,：二2) 。我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。(1) 求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出 Y1的概率密度。它的均值和方差为：cEY1_，EM)2血:(二2IL2；2/(1_2)由于它具有正态分析，因此对应的密度函数为：fY1(y1； orscgw如/(i)(2) 在给定Y1 =Y1的条件下，Y2的条件概率分布可以得到:丫2 Yi N(c yi),二2)对应的概率密度函数为：|卜2 -C2ct-y)2y3
4、的条件概率密度函数为:-c 一 y2)2 生21一fY2Yi(y2 I y1 ； B) ： 2 exp -.2 二-2IL(3) 类似地，在给定前两个观测值的条件，1 (y3fY3,Y2(y31 y2,y1; e) ：exp.22IL注意到上述条件概率分布中只依赖一阶滞后的条件观测值。(4) 最后一个样本的条件概率分布为：1丨(yT C - yT_1) 2 IfY3Yi,Y2,Yt 1(yT 1 yT，y2, y1 ； 9)2 exp厂-.2二；2 IL 22注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。(5) 根据无条件密度函数与条件密度函数之间的关系，可以得到:Tf YT ,YTd
5、yT,yT,y2,y1； e) fY1(y1；e)nfYt|Yt_L(yt 1 yt 4 ； e)t=2经常对上述函数取对数，得到对数似然函数：TL( e) =iog 彳冷(y1； e) +E iog fYjWtly;e)t=2(6) 将具体的密度函数代入上式，可以得到AR(1)过程的似然函数为：1 12 加 如c心柯2L( e) log(2二)一一log二2 心一 2)1 22 -2 22ct2/(12)J2 JytCyt)2 -(T -1)/2log(2二)-(T -1)/2log；2t 2 也tJ 2r2可以将上述似然函数表示为更为紧凑的向量和矩阵形式。令均值向量和自协方差为 口和Q,注
6、意到过程之间具有的自协方差函数表达形式，则有：- 1 2 Q=cr2V , V =1*1$ *21 ，1,2 1.91T 4T -2T1 一这样一来，所观测到的样本可以当作多元正态母体N(口，0)的一个简单抽样，具有的联合概率密度函数为：f Y (y； e) (2-J 一2 | L |1/2 exp -2 (y - 口) 3(y 一口)理论上可以对上述极大似然函数求导数，然后获得参数估计。但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。一种近似的方法是假设第一个观测值是确定性的，然后求解给定 Y)时的条件似然函数值，这时的目标函数是：log fYT； ,Y2Y1(y，y2 |
7、y1；e)=-(T -1)/2iog(2二)-(T -1)/2 lo2_ X- (yt _C _ yt4)22；2上式最大值相当于求下式的最小值：#时间序列分析方法讲义第5章最大似然估计上式的最小值就是线性回归的最小二乘估计，满足方程:T#时间序列分析方法讲义第5章最大似然估计#时间序列分析方法讲义第5章最大似然估计类似地，噪声的方差为：T _1t=2当样本容量足够大时，可以证明上述近似或者条件极大似然估计具有与精确极大似然估 计一致的极限分布。 5.3高斯AR( p)过程的似然函数对于一般的高阶自回归过程：Yt 二c 、二 2Y n 一二：pYt“；t， ；t i.i.d N(0,二2)此时
8、所要估计的总体参数向量是：B二(c,2,，；2)。 似然函数的估值 Evaluating the Likelihood Function假设我们获得了 T个来自AR(p)过程的样本，假设前 p个样本表示为yp =(yi, y2, ,yp)可以将这个向量当作 p维Gauss变量的一个样本。这个向量的均值表示为口p ,它的每 个分量都是：.二 9(1 - I -)假设匚2V p是(Y1,，Yp)的协方差矩阵，则有:r2V_ Eh -卩）2E（Y2 -）（丫1）-E（Yp -敎呂巴El）（丫2）ER）2E（Yp）（丫2）对于一阶自回归过程而言(p =1)，上述矩阵是一个标量,自回归而言:- Yn Y
9、 /1012p=1YJY y101P=2b2V p =yJ2a仏70a yPT1V亠y-_ p=ip=2P=30El）（Yp）E（Y2 - J（Yp - J-E（Yp4）2一V p =1/（1 - 3 ;对于 p 阶这里j是AR(p)过程的第j个自协方差，可以按照以前的介绍公式计算。由于自回归过程的条件相依性具有截断性质，因此我们将样本分为 p个一组，样本中前p个观测值的联合概率分布为 N( 口p,匚2Vp)，密度为：f Yp,Yp y (Yp，Yp W，Yi ； B)=(2兀)/2V：/2 exp2：2 (y p Up)Wp1 (y p 口p) I=(2二)/2C)p/2| V J|1/2e
10、xp -(y p - 口p)V；(y p - 口p)p2b2 p p p p p 对于样本中剩余的观测值(yp “，yp 2 ,，yT)，我们可以使用推断误差分解(predictionerror decomposition)，将前t _个观测值作为条件，则第t个观测值的条件分布为Gauss分布,且均值和方差分别为：2c lyt2丫2 亠亠 Gpyt，二只有p个最近的观测值与这个分布有关，因此，对于t p，则有：f Y Yt 丄,Yt Z，,绻(yt |yt J,yt _2/,y1 ；fYt|Yp,Yp 丄，,Yt 卫(yt yt，yt _2，yt_p ；B)12一 22 exp | 歹72(
11、yt-C - 1 yt J - 2yt_2- p yt _p )因此，整个样本的似然函数为：fYrYr 上，Y, ( yT , yTJj,yT_2，y1 ；Tf YpYp 丄,： Y ( yp，yp，yp2，y1 ；口YtY 丄Yp/,(yt|ytV,yt / ,yt “； B)t=p*则对数似然函数形式为：L ( B) = log f YtY gYp2Y11( yt | yt,yt _2 , , y1 ； B)pp 21、，log(2：)log ) ；log|Vp2 2 2T - pT _ p 2 log( 2 二) log()-二.22t1 .| _ 2(y p %)V p (y p 即)
12、2(yt -C - 1yt- 2ytdpytT )22b2#时间序列分析方法讲义第5章最大似然估计#时间序列分析方法讲义第5章最大似然估计TT 2111T-zt w 1严-严)严卜p=(y p-川p( y p-(yt - c - 1 yt 2丫2 p yp)为了获得上述似然函数值，我们需要获得逆矩阵v，为此我们有下述命题:命题5.1利用vij (p)表示矩阵V的第(i, j)位置的元素，则对任意1 j p，有:_i4p+-jV ( P)二k k j 4 二k k j 4k z0k -p 1 -jEnd这里0-1。证明：略。因为V p是对角矩阵，因此也可以得到i J时的元素vij (p)。例如，
13、对AR(1)过程而言，V是一个标量，取i二j二p =1，得到:-0 1 1V14 =v11(1； k =( 712)=(1 - 2)k =0k #因此有:二2v 1二2因此命题5.1确实可以重新得到 AR(1)过程的方差表达式。-(*1 神2)11-镇& 1 -*2对于p =2的情形，禾U用命题 5.1可以得到:V 2丄二1 - 2|-(l 2)可以计算行列式值为：I V 2 1=(1地)_屯并且有:二(力)，“2=(12)(1 -2)(y12 1(y1丄)(y2* (1 -2)(y2)因此，对于Gauss条件下的AR(2)过程，确切的似然函数为:L(B) = log(2二)logL) ：log(12)2(1- 2)2- 122 2 2*x(1 $2)(y1卩)2$1(y1 P)(y2 門 + (1- 2)(y2卩)2.(yt C1 yt d2yt.2)Tt=32二这里： -c/(1 - 1 - 2)(2)条件极大似然估计Conditiona
