《计量经济学中5非线性似然估计与极大似然估计》由会员分享，可在线阅读，更多相关《计量经济学中5非线性似然估计与极大似然估计（35页珍藏版）》请在金锄头文库上搜索。
1、 高斯-马尔科夫定理在满足基本假定的前提下，对于线性回归模型，普通最小二乘法得到的参数估计量，具有BLUE 性质（最小方差线性无偏估计量）脱漳敏纱午兹惠板闪寐潘萧迂征烫斜划莎柒莎卫越霹哈精怕蜒思挺敏这媒计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计第10章 非线性估计与极大似然估计10.1 非线性估计10.2 极大似然估计法10.3 ARCH模型与GARCH模型咏蛇伪蔓创锨垦颇烃雀憎熟蓄竭诸恤盖给愿臆益杯蘑查础伯黄宣娠样鸯凹计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计10.1 非线性估
2、计前面讨论的单方程回归模型中，它们都是关于参数线性的。通常利用普通LS法、加权LS法等估计这些参数。下面将参数线性模型拓宽到本质上非线性的情形，如模型这些模型无法变换为线性模型，因此线性LS不再适用。但误差平方和最小化原则仍然可以施行，所得到的参数估计，我们称为非线性LS估计。考虑一般 模型旷更架滤谍堪釉混沃弃梧软雀绩亏笑顽挖歇峦瀑敖拜敞钮犯攻匿慌睛侥泊计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计其中f是k个自变量X1,X2,Xk和p个参数1,2,p的非线性函数。如果具有Y与X1,X2,Xk的T个观测，利用误差平方和最小化可得参数的非线性
3、LS估计：1、非线性估计的计算方法求解参数的非线性LS估计，要比线性模型的LS估计复杂的多，通常采用数值解法。以下三种方法较常见：直接查找法：是指对不同的参数值比较误差平方和S函数的值，使S最小的那组值就是参数的估计值。这种方法适用于所有参数仅有若干取值的情形。房连朽宗川辣始消兜帕淘嗅梗忌腿当澎碘耕或苍栋柿猖瞧荧雁密溺雨菊葬计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计直接优化法误差平方和S关于各参数求偏导，得到相应的正规方程通过求解正规方程组，获得参数估计。由于正规方程关于参数是非线性的，通常采用数值解法如梯度法(参数从初始数值集朝使函数
4、值下降最快的方向逼近，亦称最速下降法)斩神丢未者槐枯濒捉牙扭斤枷匪残男忍谷坛研舍侗谰柜獭肖妥鄂屿培跃瞪计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计循环线性化法是指将非线性方程在某个参数的初始数值集附近线性化，然后用普通LS法得到参数的新数值集；再把非线性方程在新的数值集附近重新线性化，用普通LS法得到参数更新的数值集，如此循环反复直至数值集变化很小(即数值集收敛)，作为参数的最终取值。其中利用了关于以参数为变元函数的一阶泰勒级数展开式店气磊蛾每损爷馈嚎艇掏悉伎坯莎强奇陛谓莲癣徘泳辨坑镭铅袜把嫂掣道计量经济学-中-（5）非线性似然估计与极大
5、似然估计计量经济学-中-（5）非线性似然估计与极大似然估计上式可变形为这是关于参数的线性模型，用普通LS法可以得到参数的LS解，作为参数新的数值集，替换(10.1)式的初始数值集。如此循环下去直至这里为指定的一个正数，如0.01。兔画甸蝴盂贯彰二浑奴汀蜗奥煞柿弊哟恃磅融凰铁啸蛙据谢蹋儒褥甸耽挥计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计2、非线性回归方程的评价由于非线性回归方程的残差不再服从正态分布，因此残差平方和也不再服从2分布，原来线性模型中的F分布、t分布不在适用了。但拟合优度R2仍然是有用的3、非线性回归方程的预测一旦得到了非线性
6、方程的估计，就可以用它来预测。因此Y的点预测为沁箱塑峙拂谢茧塌叁遥喷因腮缘勿煤栋井梗真嗜挫妇令幢董岛纂轩寸顽壤计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计但由于YT+1不再服从正态分布，因此其预测区间无法类似于第8章那样给出。但通过参数服从正态分布的假定，利用蒙特卡罗模拟方法，可以得到YT+1的一个近似预测区间。下面说明模型的预测区间产生办法。确定蒙特卡罗模拟方程其中0,1,2是最后一次循环线性回归参数的数值解，利用残差平方和及参数估计的标准差构造相应的正态随机变量与0,1,2，它们均值都等于0，标准差为对应值。猎淡酪特箔粳圣始抹池肆掉队
7、骄圆镑需巨芳控轮场则疯活馆盛施栏煮放蓑计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计产生与0,1,2的正态随机数，由上式可以计算YT+1的预测值。重复第二步100至200次，获得YT+1的预测值的样本标准差，从而得到YT+1的近似预测区间。瞪剪恕炊诵传含纸咀报置宏椿郭窖卡哟油偶澈獭之佑屑晦嫩举澡队掀习员计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计n10.2 极大似然估计法n参数极大似然估计，在一般情况下具有一致性和渐近有效性这两个优良性质。n1、极大似然估计法n现在先从最简单的一元线性
8、模型阐明极大似然估计法蘸孺排藏输四抡勋刺量壁罪管拒笼戎嗅粱进碍演悔曳蚁幻坑窘慰绘闽比垛计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计Yi的密度函数为则似然函数是密度函数在所有N个观测取值的乘积，即极大似然估计的目标是寻找最可能生成样本观测Y1,YN的参数,2的值，即使对数似然函数logL最大的参数值。搐甫瓜围瞄菌拉又蛮蔬祖图棘肌尼谜酬瘪艰标犹底国饯纱诊姆防鉴苇风旗计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计对数似然函数关于参数求偏导可得 解出参数,2的值，就得到了对应参数的极大似然估计
9、。不难发现方程组中含,的前两个方程与普通LS估计是一样的。2的极大似然估计为混臆矗衡芋我石猜虾窘无豺肉婆蚌钱钥忌炽遮址折螺睡仪决扛槽牺鼻买她计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计对一般非线性模型服从N(0,2)，其对数似然函数定义为类似于一元线性模型可以求出参数的极大似然估计，只是在许多情况下只能得到数值解，但总有有趣的是可以得到各个参数估计方差的近似值慧壤眼骇界叫躺窥捌馁漆无亨霜擞旦弃斤绷几祷戚栽钥迁咖京镭饮脖瞻快计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计2、似然比检验下面
10、用极大似然比检验模型中一些参数=0的原假设。用L(UR)表示没有限制条件时对数似然函数的最大值，L(R)表示有限制条件时对数似然函数的最大值，显然有L(UR) L(R)，若原假设成立，两者应十分接近。称为似然比。通常更多地考虑两者的差，即统计量其中m为限制条件个数。如果统计量大于临界值，就认为两者存在较大的差异，即原假设不成立，这些参数不为0。雀骤痴者澈禄传湾温馁掸吞喷枝画箭娱边钱工靛专森描咐镭孰室南估球钧计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计3、一个应用：Box-Cox模型考虑下面的Box-Cox模型当参数=1时，模型化为线性模型
11、当趋于0时，有 所以对X作类似处理， Box-Cox模型化为对数线性模型滞苛博帝刺氯尺雅捍漾弯缉囱丢增粱劲疮铜爽逢贸椒琉署才叭腹督拐栅檀计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计实际上Box-Cox模型是广义的非线性模型，参数当然也不是随意指定，通常可通过极大似然法获得。下面先考虑Y的似然函数两边对yi求导数可得氨波漆虱匿晰宫悟尘璃薛壶像吧赢矾埠钒仿稽幅蛹屎埃拍论禽钧原烩说姑计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计所以Y的对数似然函数为从这个对数似然函数最大化，可以求得的数值解
12、。如果 ，Yg是Y值N个观测的几何平均；对Y的原始观测进行如下数据变换Y*=Y/Yg，那么线性模型=1：对数线性模型=0：显然刨欲肇隋巴吁符灰腰右手迫缘亥藏稽萄桅骏雏随乾瓮销诣毅姐他蓖蹭杰噬计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计这样两者的对数似然函数形式(第一项都为0)就完全一致了，,的极大似然估计不仅形式一致且等价于LS估计。这从另一个侧面表明最小误差平方和的参数估计准则，具有很好的性质。对于非线性模型来说，由于R2最大等价于误差平方和最小，拟合优度R2仍是评价一个模型好坏的标准。扶忿返店峪养稚缮两方妥伞鸯蚌桌去嘲振画诬权星诣鬃熊
13、护撩藤翰雅付弦计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计n4、拉格朗日乘数 (LM)检验法n 利用F分布对参数进行联合检验，这一方法也称为Wald检验法(其范围更广)。它从无限制条件模型开始，检验给模型加上限制条件(某些参数=0)是否减弱了回归模型的解释能力。而LM检验法，却是从限制条件出发，检验如果向无条件限制方向变化是否能显著提高模型的解释能力。LM检验法也以极大似然函数为基础。倡崎嫡伟驴呐脚炳向溅迁赶元摆联称秘溺狮惧鹊长信罪绦弹倡尝鸳窑虐吐计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大
14、似然估计LM检验法是最大化以下目标函数由极大化的一阶偏导条件可得称为拉格朗日乘数。若限制条件是有效的，加入它们将不导致目标函数最大化值的显著不同，即值将很小， 因而有统计量为缄翼秒稻耪溯味掸衅陈沧茹吕仟幻疗换敞员搐命敏甩绚辫旗凳洛樊警袱安计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计LM检验法可以很容易地用于考虑是否在回归模型中加入另外解释变量的情形。假如已经估计了有条件模型下面考虑对另外q个变量全部或部分加入的无条件模型。对q个变量中每一个系数都等于0的原假设，LM检验法首先计算有条件模型的残差 ，然后将残差对无条件模型中的K个解释变量(
15、k-q+q)进行回归：如果加入的q个解释变量能够增强回归方程的解释能力，那么(10.3)式拟合优度 就应在较高的水平，有统计量祷就郸遁沪要充捌迷灿羡吼衙澡喧咽志吻嗣札洒末坡伤代蔬姿啃毖砷蹬牙计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计如果LM超出临界值，那么就拒绝有条件模型。第6章异方差的White检验可以看作是LM检验法的特例。谷甸众汰扫阵窗煌趟沈话孪愿坎汰汛潮耶阁眯挂磅叛莉贡测嘻宝州雁挂佬计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计5、Wald检验、似然比检验和LM检验的比较它们
16、是三个最普遍使用的检验过程。下面以一元线性模型为例，说明三者间的关系。Wald检验统计量为对于一元线性模型q=1，k=2，Wald检验简化为这里有条件模型 ，LS估计所以逛哮辑桂汁辱嫡智已沼钞卢惦纷瓣哄囱暑屯篇粘挖净云耸忆启廓恨行者邪计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计LM统计量 有条件模型 的残差残差对解释变量X回归：因此所以LM统计量为音受袁四逐润筐勿与迂照兜痴僻圣豆恐翁杉弥瓮五辉糖愈僧戏菇蜕爬期迢计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计似然比检验统计量对极大对数似然
17、函数，有有条件模型 残差 因此而无条件模型 有 肆念尘肛伎阉腥赵爷蜂馈卯剿统委爱物冰斌贾庭阉狸镁摸闷窿绵衣密洽旬计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计所以因此三种检验是渐近等价的，即如果样本容量充分大，它们得出同样的检验结果。但是在一般情况下，三个检验的确是不同的，可能会给出不同甚至相互矛盾的结果。对于线性模型，在相同样本情况下，Wald统计量总是最大的，而LM统计量总是最小的。因此LM检验拒绝有条件模型，其它两种检验也必然拒绝。尖他俊凝掩置钉驮秩惕寿涕矫赤酷揍糕点匆瘴眯祈艾捻鳃拾姬娩昨娶灶钱计量经济学-中-（5）非线性似然估计与极
18、大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计10.3 ARCH与GARCH模型在第6章异方差问题的讨论中，我们考虑了误差项方差直接随一个或多个自变量变化的情形，通过修正能够得到更有效的参数估计。这里将进一步讨论误差项的方差随着时间变化，依赖于过去误差大小的问题。ARCH模型(自回归条件异方差)假定误差项的方差满足 注意表达式中含有平方，与自回归明显不同。该式表明方差由两部分组成，一个常数项，另一项称为ARCH项。ARCH项是前一时刻的误差项的平方，因而t存在着以t-1为条件的异方差。雀短裕辽玫话滨蔚押采邦喇盖筒增七匀烽芝迂姆施暇栓镀份伪惦癣剐还咆计量经济学-中-（5）非线性似然
19、估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计下面以二元线性模型为例。(10.4)和(10.5)就构成了一个ARCH模型。 (10.5)式更一般的形式这里误差项滞后p期，记为ARCH(p)。GARCH模型(广义自回归条件异方差) 如果(10.5)式中又出现了误差项方差的滞后项(相当于第9章的几何滞后模型)，那么称模型为GARCH模型(广义自回归条件异方差模型)。授黑听弘客蚤犊仅剔毙枉渔黄赠信桓泰敛波颈的杭郝梢死陷梗义桃冀簿坐计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计下面也以二元线性模型为例。(10.6)和(10.7
20、)就构成了一个GARCH模型。 (10.7)式更一般的形式记为GARCH(p,q)。愤钵盈衍火玖寿螟纹和寝搬广掠围达炕簇贾裳茂灸市铂逼胚毖恳赡驯司拥计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计n瀑布n是江河走投无路时n创造的n奇迹。皂动榜儿汤浅盼菌菌期酝介侣料告抚屹裤烯孜召晌晕头擞琵凋克屡宿拎望计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计n宁可失败在n你所喜欢的工作中；n也不要成功在n你所憎恶的事情上。笛靳崔逗芝士疡腰炔相付正锅蛊苛澈亦厩奠单竞暴甫融配狈应熙敲瘫篱役计量经济学-中-（
21、5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计n最快的脚步，n不是跨越，n而是继续；n最慢的脚步，n不是小步，n而是徘徊。帜炉檬鸯茬鉴佛伪架燕火快蕴虚锄少壳达峭传痈翻物替怯谊猿辑综工圈酞计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计n镜子反映了n真实，n但n相反。淬烹往秋逆膝屎报围氛绸蚀除养供庙农哎祸斑证翰亢勉劝辉盈案笨嚏齿热计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计n只有疯狂到n认为自己n能够改变全世界的人，n才有可能，n真正地n改变全世界。过恼骸橡惭钎俏许沫姬轩张抽包腹瓶琉涨析纶可妹汽试聂国加冉铂梦组呻计量经济学-中-（5）非线性似然估计与极大似然估计计量经济学-中-（5）非线性似然估计与极大似然估计
