第四章 极大似然估计

《第四章 极大似然估计》由会员分享，可在线阅读，更多相关《第四章 极大似然估计（16页珍藏版）》请在金锄头文库上搜索。

1、第四章第四章 极大似然估计极大似然估计 第一节第一节 引言引言 考虑ARMA模型： 112211.tttptpttqt qYcYYY =+ （1） 其中()20,tWN。前面我们假定知道总体参数()2 11,.,.,pqc ，此时利用过程（1）进行预测。 本 章 我 们 要 研 究 在 仅 能 观 测 到Y的 情 况 下 ， 如 何 估 计()2 11,.,.,pqc 。 估 计 方 法 为 极 大 似 然 估 计 。 令()2 11,.,.,pqc =表示总体参数向量。假定我们观察到一个样本量为T的样本()12,.,Ty yy。计算所实现样本的联合概率密度函数： ()11,.,11,., T

2、TY YYTTfyyy （2） 这可以看作是观察到样本发生的概率。使得“概率”最大的值就是最优估计。这种思想就是极大似然估计的思想。极大似然估计需要设定白噪声的分布。如果t是高斯白噪声，则得到的函数为高斯似然函数。 极大似然估计的步骤： 1） 计算似然函数（2） 。 2） 利用求极大值方法求使得函数值最大的值。 第第 2 节节 高斯高斯( )1AR过程的似然函数过程的似然函数 一计算高斯一计算高斯( )1AR过程似然函数过程似然函数 高斯( )1AR过程的表达式为 1tttYcY=+ （3） 其中()20,tiidN。总体参数向量为()2, ,c =。 观 察 值1Y的 均 值 和 方 差 分

3、 别 为( )()1/ 1E Yc=和()()22 1/ 1E Y=。因为()20,tiidN，因此1Y也是高斯分布。其概率密度函数为 ()()()() ()11212 1122/ 11; , ,exp2/ 12/ 1YYycfyfy c =（4） 对于第二个观察值在观察到11Yy=条件下的分布。根据（3） ， 212YcY=+ （5） 此时()()()2 2111,Y YyNcy=+，其概率密度函数为 ()()212 21 21221;exp22Y Yycyfy y = （6） 此时观察值1Y和2Y的联合密度函数就是（4）和（6）的乘积： ()()()21121,21211,;Y YYY Y

4、fyyfy yfy= （7） 同样 ()()()3213212 32 32132,221,;exp22Y Y YY Yycyfy yyfy y = （8） ()()()3, 2121321,321321,21,;,;,;Y Y YY YY Y Yfyyyfy yyfyy= （9） 一般情况下， ()()()111111,.,2 1 22,.,;1exp22ttttttttY YYY Yttfy yyfy yycy = = （10） 则前t个观察值的联合密度为 ()()(),11111,.,111,.,11,.,;,.,; tttttY YYttttYYtY Yfy yyfy yfyy = （1

5、1） 则完全样本似然函数为 ()()(),1111,.,1111 2,.,; TTttTY YYTTYttY Y tfyyyfyfy y =（12） 进行对数变换，得到对数似然函数( )L： ( )()()()1111 2ln;ln; ttTYttY Y tLfyfy y =+（13） 将（4）和（10）代入（13） ，得到 ( )()()()2122222 12 2 2111ln 2ln2221 111ln 2ln222T tttcy LycyTT = （14） 二似然函数的矩阵表示二似然函数的矩阵表示 观察值写成向量形式为： ()12 1,.,T Tyy yy = （15） 可以看作是T为

6、高斯分布的单个实现。其均值为 ( ) ()()12TE YE YE Y = ?（16） 这里()/ 1c=。 （15）表示成向量形式为： ( )E Y= 其中表示（16）的右边的()1T向量。Y的方差协方差矩阵为： ()()EYY = （17） 其中 ()()()()()()()()()()()()()()()2 11212 21222 12TTTTTE YE YYE YYE YYE YE YYE YYE YYE Y = ? ?（18） 该矩阵元素对应于Y的自协方差。则( )1AR过程的第j阶自协方差为： ()()()22/ 1j ttjE YY = （19） （18）可写作 2V = （20

7、） 其中 21223 2123111111TTTTTTV = ?（21） 将样本y看作由(),N分布的一个简单抽样， 样本似然值可根据多元高斯密度公式直接写成： ()()()()1/2/2111;2exp2T Yfyyy=（22） 其对数似然值为： 三高斯三高斯( )1AR过程精确极大似然函数过程精确极大似然函数 理论上，对方程（14）求导并令导数为零，就可得到参数向量。而在实践当中，往往得到的是()12,.,Ty yy的非线性方程。此时求解需要非线性规划求解方法，如格子搜索、最速下降法、牛顿-拉夫森方法等数值优化方法。 四条件极大似然（四条件极大似然（MLE）函数）函数 如果将1y的值看作确

8、定性的， 然后最大化以第一个值为条件的似然值，这种方法称为条件极大似然函数。此时最大化目标为： ( )()()2 12 2 211ln 2ln222T tttycyTTL= = （23） 求（23）最大时的, c等价于最小化： 2 1 2Ttt tycy = （24） 此时采取ty对其滞后值的OLS回归得到。因此, c的条件似然估计由下式给出 11 2 1111ttttttTyyc yyyy = ? ? （25） 其中表示对2,3,.,tT=求和。 （23）对2求导并等于零，可求得扰动项的条件似然估计： 2 1 24 21022T tttycyT = +=（26） 整理得到： 2 1221T

9、tttycy T= =?（27） 即2得极大似然估计量是最小二乘估计量残差的平方。 条件极大似然估计的特点： 1 易于计算。 2 样本量T足够大，则第一个观测值的影响可以忽略。 3 1，条件MLE是一致估计。 第三节第三节 高斯高斯( )AR p过程的似然函数过程的似然函数 一计算似然函数一计算似然函数 对于高斯( )AR p过程 122.tttptptYcYYY=+ （28） 其中()20,tiidN。总体参数向量为()2 12,.,pc =。 样本()12,.,py yy中的前p个观察值合成一个()1p向量py，可以看作p维高斯变量的一个实现。向量的均值为p，为()1p向量，其元素为 ()

10、12/ 1.pc= （29） 令2 pV表示()12,.,pY YY的()pp方差协方差矩阵： ()()()()()()()()()()()()()()()2 11212 21222212011102120pppppppppE YE YYE YYE YYE YE YYVE YYE YYE Y = = ? ? ? ?（30） 前p个观察值的密度是一个()2,ppNV 变量的密度： ()()()()()()()11,.,111/2/2211 21/2/211 2,.,;12exp212exp2ppYYYppp pppppppp ppppppfy yyVyVyVyVy= =（31） 样本中剩下的观察

11、值为()12,.,ppTyyy+。以前1t个观察值为条件，第t个观察值为高斯的，其均值为1122.ttptpcyyy+，方差为2。当tp时，其概率密度为 ()()()12112111,.,.,2112222,.,;,.,;.1exp22ttttttt ptttttpY YYYY YYYtttptpfy yyfy yyycyyy= =（32） 全样本似然函数为 ()()()1112112,.,11,.,111,., 1,.,;,.,;,.,;Ttppptttt pY YYTTTYYYYpptttpY YYY tpfyyyfyyyfy yy = +=（33） 对数似然函数( )L为 ( )()()

12、()()()()()()()()()()121,.,11211 22112 2 1211 2ln,.,;11ln 2lnln2222.ln 2ln22211ln 2lnln2222TTtY YYYTTppppppTttptptpppppppLfyyyppVyVyycyyTpTpTTVyVy= += + = +()211222 1.2Ttttptptpycyyy= + （34） 其中将对称矩阵1 pV的第i行，第j列元素记作( )ijvp： ( )101p iji ij kkj ikkj i kkpjvp + + + = + =对于1ijp （35） 其中01= 。 例 ( )1AR过程 解：1 pV是一个标量，令1ijp=，则 () ()01 1222 101 011kkkk kkV =所以，()222 1/ 1V=。 例 ( )2AR过程 解：2p =，此时 ()()()()()() ()2 211 2211 2221211 2211111V