《时间序列分析方法 第05章 最大似然估计》由会员分享，可在线阅读，更多相关《时间序列分析方法 第05章 最大似然估计（11页珍藏版）》请在金锄头文库上搜索。
1、时间序列分析方法讲义 第 5 章 最大似然估计1第五章 最大似然估计在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。5.1 引 言5.1.1 ARMA 模型的极大似然估计假设数据的真实生成过程是一个 过程，则该过程的数据生成机制为：),(qpARMqttttpttt YYc 121其中 是白噪声序列，满足：tsEts,0)(我们将要讨论如何利用 的观测值来估计母体参数：tY),( 22121qpc我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。
2、假设获得了 个样本 ，如果能够计算出相应的联合概率密度函数：T),Ty ;(21),(1Yf上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。这时我们需要极大化上述联合概率密度。为此，我们假设噪声序列是高斯白噪声序列，即 ),0(.2Ndit虽然这个假设非常强，但是在这样假设下得到的参数估计 ，对于非 Gauss 过程来说也是很有意义的。具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。这里涉及到一些代表性的非线性数值优化问题。5.2 高斯 过程的似然函数)1(AR假设数据生成过程是一个具有高斯白噪声序列
3、的 过程：)1(ARtttYc1这时对应的参数向量为： 。我们首先寻求联合概率分布函数，也就是这),(2c些参数对应的似然函数。(1) 求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出 的概率密度。它的均值和方差为：1Y，cE221)(Y由于它具有正态分析，因此对应的密度函数为： )1/(2exp)/(1),;();( 22211 cycyfyfYY(2) 在给定 的条件下， 的条件概率分布可以得到：Y时间序列分析方法讲义 第 5 章 最大似然估计2),(| 2112ycNyY对应的概率密度函数为： 21212| )(exp);|(1 ycfY(3) 类似地，在给定前两
4、个观测值的条件， 的条件概率密度函数为：3Y22123,| )();,|(213 yfY注意到上述条件概率分布中只依赖一阶滞后的条件观测值。(4) 最后一个样本的条件概率分布为： 212121,| )(exp);,|(1213 TTTY ycyyfT注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。(5) 根据无条件密度函数与条件密度函数之间的关系，可以得到： Tt tYYTY yfyfyyf tT 21|1121, );|();();,( 11 经常对上述函数取对数，得到对数似然函数： );|(log);(log)( 1|211tYtYfftL(6) 将具体的密度函数代入上式，可以得到
5、过程的似然函数为：(ARTt ttycTTy2212212 )(log/)()log2/)1( )/ll) 可以将上述似然函数表示为更为紧凑的向量和矩阵形式。令均值向量和自协方差为和 ，注意到过程之间具有的自协方差函数表达形式，则有：，V2 11132132122 TTT这样一来，所观测到的样本可以当作多元正态母体 的一个简单抽样，具有的)(,N联合概率密度函数为： )(y)();(y 1Y2exp|22/1/Tf理论上可以对上述极大似然函数求导数，然后获得参数估计。但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。一种近似的方法是假设第一个观测值是确定性的，然后求解给定 时的
6、条件似然函数值，这时的目标函数是：1YTt ttTY ycTyfT 22122|, )( log/)(log/);|,(log12 上式最大值相当于求下式的最小值：时间序列分析方法讲义 第 5 章 最大似然估计3Tt ttyc221)(上式的最小值就是线性回归的最小二乘估计，满足方程： TtttTttt yyc212121类似地，噪声的方差为： Tt ttc21)(当样本容量足够大时，可以证明上述近似或者条件极大似然估计具有与精确极大似然估计一致的极限分布。5.3 高斯 过程的似然函数)(pAR对于一般的高阶自回归过程：，tptttt YYc21 ),0(.2Ndit此时所要估计的总体参数向量
7、是： 。,(21pc(1) 似然函数的估值 Evaluating the Likelihood Function假设我们获得了 个来自 过程的样本，假设前 个样本表示为T)(pAR),(21ppyy可以将这个向量当作 维 Gauss 变量的一个样本。这个向量的均值表示为 ，它的p每个分量都是： )/(1pc假设 是 的协方差矩阵，则有：pV2,Y 221 222 11212 )()()( )()()( ppp pp YEYEYE 对于一阶自回归过程而言( )，上述矩阵是一个标量， ；对于 阶1/Vp自回归而言： 032130211 1202 pppV这里 是 过程的第 个自协方差，可以按照以前
8、的介绍公式计算。j)(ARj由于自回归过程的条件相依性具有截断性质，因此我们将样本分为 p 个一组，样本中前 个观测值的联合概率分布为 ，密度为：),(2pNV时间序列分析方法讲义 第 5 章 最大似然估计4 )(yV)(yV);( ppppppYfp 122/12/2/1, ex|)()(|,1 对于样本中剩余的观测值 ，我们可以使用推断误差分解(prediction ),Tyerror decomposition)，将前 个观测值作为条件，则第 个观测值的条件分布为 Gauss 分t t布，且均值和方差分别为：，pttt yyc21 2只有 个最近的观测值与这个分布有关，因此，对于 ，则有
9、：p pt 22122 1,|11,| ex ,|,| 1121 )( );();( ptttt tttYYttYY yycyff tpttt 因此，整个样本的似然函数为： Tpt ptttYYppYTTY yyyyfyf ptptpT 1 21,|121, ,|, 1211 );();( 则对数似然函数形式为： Tpt ptttt pppTpt ptttt pppttYY yycy yycyTpfLpt1221 112 22112121,| )()(|log)l()2log(ll )()(|og)()2og(,|l)(11 )VV); 为了获得上述似然函数值，我们需要获得逆矩阵 ，为此我们有
10、下述命题：1命题 5.1 利用 表示矩阵 的第 位置的元素，则对任意 ，有：)(vij 1p),(ji pji1jipjkijkikijijpv110)( 这里 。证明：略。 End因为 是对角矩阵，因此也可以得到 时的元素 。1pVji)(pvij例如，对 过程而言， 是一个标量，取 ，得到：)(AR1pV1)()(2210101 kkv时间序列分析方法讲义 第 5 章 最大似然估计5因此有： 212V因此命题 5.1 确实可以重新得到 过程的方差表达式。)1(AR对于 的情形，利用命题 5.1 可以得到：p221112)(可以计算行列式值为： )()()(| 21221212 V并且有：
11、)(1)()2)(1)( 1,)()( 222122222 yyyy因此，对于 Gauss 条件下的 过程，确切的似然函数为：AR Tt ttt ycy yyL3221 22212 12 )()()(1 log(l)log()( (这里： )/(2) 条件极大似然估计 Conditional Maximum Likelihood Estimates由于目标函数形式比较复杂，因此对 过程的确切极大化必须使用数值算法。与)(pAR此对应，以前 个样本为条件的对数似然函数具有下述简单形式：p Tpt ptttttTYYY yycyTyfpt 12212211,|, )log()2log( ,|,lo
12、g111 )();注意到，极大化上式的参数 与极小化下式的参数选择是一致的：,1c Tpt ptttt yycy1 221)(因此这些参数 的条件极大似然估计是 基于常数和自身滞后值的普通),(p ty最小二乘回归估计， 的条件极大似然估计是这个回归方程平方残差的平均值：2 Tpt ptttt ycy1 2212 )( 显然上述条件似然函数与确切似然函数相比，缺少了初始样本的母体分布，这样就降低了样本发生的似然性，这就是条件似然函数与确切似然函数的差异。类似地，确切的极大似然估计和条件极大似然估计能够得到相同的大样本分布。时间序列分析方法讲义 第 5 章 最大似然估计6(3) 非 Gauss 分布时间序列的极大似然估计 Maximum Likelihood Estimation for Non-Gaussian Time Series根据线性回归模型的性质，如果假设随机过程关于二阶矩是遍历的，则我们知道普通最小二乘估计也是下面线性投影系数的一致估计(consistent estimate)： ),|(21ptttYYE同时这个 OLS 估计也使得 Gauss 条件似然函数达到最大。因此，即使一个过程不是Gauss 过程，但是我们错误地将它当作 Gauss 过程，并且极大化它的似然函数，则得到参数估计 仍然是母体参数的一致估计。),(21pc一个从错误指定的似然函数中
