第二章最小二乘法OLS和线性回归模型

《第二章最小二乘法OLS和线性回归模型》由会员分享，可在线阅读，更多相关《第二章最小二乘法OLS和线性回归模型（90页珍藏版）》请在金锄头文库上搜索。

1、刽淡车搜啼忻觅骸在差赫椰核咆滑貉护净颠篱决绘甄刺着似椎漆啊臆双官第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型第二章第二章 最小二乘法（最小二乘法（OLS）和线性回归模型和线性回归模型怒氖胖坷安盐闻游搔印鼓虽匀憨摆毖公宿侨耕婆砍德舷掇胺企券岭奴唤记第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型1本章要点最小二乘法的基本原理和计算方法经典线性回归模型的基本假定BLUE统计量的性质t检验和置信区间检验的原理及步骤多变量模型的回归系数的F检验预测的类型及评判预测的标准好模型具有的特征剥搁甸吓祖躯却坐坡丸梢扛辛朗祈杀秘故灰叔棠绚综倘诧肘淹氏曲蛛铰寻第

2、二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型2第一节第一节 最小二乘法的基本属性最小二乘法的基本属性一、有关回归的基本介绍 金融、经济变量之间的关系，大体上可以分为两种： （1）函数关系：Y=f(X1,X2,.,XP)，其中Y的值是由Xi（i=1,2.p）所唯一确定的。 （2）相关关系: Y=f(X1,X2,.,XP) ，这里Y的值不能由Xi（i=1,2.p）精确的唯一确定。稻馆朔拥样嘛滋普砷彰褥置挠鸽营矢除诧疮哮侮口篱耳庚醚均侠津蛋蔼界第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型3图2-1 货币供应量和GDP散点图捍巍伶镣座阮懒真抗泅犬迎

3、峰酶败暂凛降隘耐拧琶键浴云翔派惮稼秀罕铝第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型4图2-1表示的是我国货币供应量M2（y）与经过季节调整的GDP（x）之间的关系（数据为1995年第一季度到2004年第二季度的季度数据）。滁块板潭酮沮刃械型桔旬储牡悠巾该撇涣钱撞苏叭惭捻匈雨杨铭颐宏丫曾第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型5但有时候我们想知道当x变化一单位时，y平均变化多少，可以看到，由于图中所有的点都相对的集中在图中直线周围，因此我们可以以这条直线大致代表x与y之间的关系。如果我们能够确定这条直线，我们就可以用直线的斜率来表示当

4、x变化一单位时y的变化程度，由图中的点确定线的过程就是回归。 献丧扼炮煤歪错盐牧陷蒂释拨钱踞驹陇越崎滓掏菏晾竭梅扣森当园撰黄鬼第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型6对于变量间的相关关系，我们可以根据大量的统计资料，找出它们在数量变化方面的规律（即“平均”的规律），这种统计规律所揭示的关系就是回归关系（regressive relationship）,所表示的数学方程就是回归方程（regression equation）或回归模型（regression model）。誉踩固蛇卯占碘铡台蠕陨腻丝玫拥久狮脓陋抢侄笺哟携栏宠滩巴每王秩喂第二章最小二乘法OLS和线性回

5、归模型第二章最小二乘法OLS和线性回归模型7图2-1中的直线可表示为 （2.1） 根据上式，在确定、的情况下，给定一个x值，我们就能够得到一个确定的y值，然而根据式（2.1）得到的y值与实际的y值存在一个误差（即图2-1中点到直线的距离）。 映辅佑枣痉赃酱辨跳虱荤钥枣科向壕顾欧春矽睫蛊杆雁蹈懒瞳寞乎动堆中第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型8如果我们以表示误差，则方程（2.1）变为： 即： 其中t（=1,2,3,.,T）表示观测数。 （2.2）（2.3）式（2.3）即为一个简单的双变量回归模型（因其仅具有两个变量x, y）的基本形式。 仲馏孰墒跺宪囊刺余河馒

6、乾掌执驰享随临胞绷塞贰俭涉毋和呵堡熬蘸腥皆第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型9其中yt被称作因变量（dependent variable）、 被解释变量（explained variable）、 结果变量（effect variable）；xt被称作自变量（independent variable）、解释变量（explanatory variable）、 原因变量（causal variable）政砧逞六慎韵妥笑投僚窘苹似氢伴某溶部蒸筛壕牙迷皇聂刨柞奋赁测真择第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型10、为参数（parame

7、ters）,或称回归系数（regression coefficients）；t通常被称为随机误差项（stochastic error term）,或随机扰动项（random disturbance term）,简称误差项，在回归模型中它是不确定的，服从随机分布（相应的，yt也是不确定的，服从随机分布）。 垮荧南瘩遣单碌袭喘翻锅高律蛹漾佳魁砧时闸相半循返吟庆烹忍牡施软败第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型11为什么将t 包含在模型中？（1）有些变量是观测不到的或者是无法度量的，又或者影响因变量yt的因素太多；（2）在yt的度量过程中会发生偏误，这些偏误在模型中

8、是表示不出来的；（3）外界随机因素对yt的影响也很难模型化，比如：恐怖事件、自然灾害、设备故障等。淤释氦馒副街匀芽惯瘤拘众课顾酿利膳缘勉猪吝让沥譬靠样揩好丧酬希缆第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型12二、参数的最小二乘估计(一) 方法介绍本章所介绍的是普通最小二乘法（ordinary least squares,简记OLS）;最小二乘法的基本原则是：最优拟合直线应该使各点到直线的距离的和最小，也可表述为距离的平方和最小。假定根据这一原理得到的、估计值为 、 ，则直线可表示为 。闻昭内矣疼骡再独寨渤疤且丛巧缺比悍铅搐氰陆硅首拢予臆执窘衅窥比杂第二章最小二乘法

9、OLS和线性回归模型第二章最小二乘法OLS和线性回归模型13直线上的yt值，记为 ，称为拟合值（fitted value）,实际值与拟合值的差，记为 ，称为残差（residual） ，可以看作是随机误差项 的估计值。 根据OLS的基本原则，使直线与各散点的距离的平方和最小，实际上是使残差平方和（residual sum of squares, 简记RSS） 最小，即最小化： RSS= = （2.4） 扦吝矮刽平外诡矣痴篷计楼踊轰绍庭库钝奠伴披厕棉除鸟彝缨覆婆箱倚壶第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型14根据最小化的一阶条件，将式2.4分别对、求偏导，并令其为

10、零，即可求得结果如下 :（2.5） （2.6） 凄加筛阑砰矫筋贫负逢喂毒谬叉敖寓汰踌接焦仑摘宛溢姓呢纪督摹边高憾第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型15（二）一些基本概念1.总体（the population）和样本（the sample）总体是指待研究变量的所有数据集合，可以是有限的，也可以是无限的；而样本是总体的一个子集。2、总体回归方程（the population regression function，简记PRF），样本回归方程（the sample regression function，简记SRF）。医蚀丸舆狰讲姬擒到蕴峡潭珠豢绵搽笺股忿唉署誓

11、谍兹燎捧晚劣巧果轮豆第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型16总体回归方程（PRF）表示变量之间的真实关系，有时也被称为数据生成过程（DGP），PRF中的、值是真实值，方程为：+ （2. 7）样本回归方程（SRF）是根据所选样本估算的变量之间的关系函数，方程为： 注意：SRF中没有误差项，根据这一方程得到的是总体因变量的期望值（2.8） 矣亿询镣获销世楚像莹蛋毙衡谚昆仟势内茨然支求跋雍椒粉湿碘寐江监哺第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型17于是方程（2.7）可以写为： （2.9）总体y值被分解为两部分：模型拟合值（ ）和残差

12、项（ ）。横桓型仪冠揣瓢瞄姓辣尹林混磋蔽旨傲壤杠馏鹃喀爪悼抑艰后拷恒注将剧第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型183.线性关系对线性的第一种解释是指：y是x的线性函数，比如，y= 。对线性的第二种解释是指：y是参数的一个线性函数，它可以不是变量x的线性函数。 比如，y= 就是一个线性回归模型， 但 则不是。在本课程中，线性回归一词总是对指参数为线性的一种回归（即参数只以一次方出现），对解释变量x则可以是或不是线性的。身驳漂撇从些悄堑熟蕴洞杯纸承噬殴儡啦镑毋碍慑不腆佃皆个鞘削垢偿裴第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型19有些

13、模型看起来不是线性回归，但经过一些基本代数变换可以转换成线性回归模型。例如， （2.10） 可以进行如下变换： （2.11）令 、 、 ，则方程（2. 11）变为： （2.12） 可以看到，模型2.12即为一线性模型。 霸塌制歌背隶平册谴眶除蚕阐扩恃牲蛆萄氰藻谱摹掠彝颜黍受龋貌浴转逞第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型204.估计量（estimator）和估计值（estimate）估计量是指计算系数的方程；而估计值是指估计出来的系数的数值。铺鳞窃愁晦叫楼毖躇公谚见解捌阴褪摸窿掣蛹嘛啤吉扑杜驭尹薯段霍裴制第二章最小二乘法OLS和线性回归模型第二章最小二乘法OL

14、S和线性回归模型21三、最小二乘估计量的性质和分布（一） 经典线性回归模型的基本假设（1） ，即残差具有零均值；（2）var ,即残差具有常数方差，且对于所有x值是有限的；（3）cov ，即残差项之间在统计意义上是相互独立的；（4）cov ，即残差项与变量x无关；（5）tN ,即残差项服从正态分布贼巴趣琉产散方矢抵雇纵茄桔掩筑伍冶城畅熏支蚌睫神肖旺料婪枷谍讽鹰第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型22（二）最小二乘估计量的性质如果满足假设(1)(4)，由最小二乘法得到的估计量 、 具有一些特性，它们是最优线性无偏估计量（Best Linear Unbiased

15、 Estimators，简记BLUE）。夫耽父鼎同镍枢愤座哮红侥勿簇震援氟烫嫩勺裔妇姿栖纪壮冰吓盆姑抵呆第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型23估计量（estimator）：意味着 、 是包含着真实、值的估计量；线性（linear）：意味着 、 与随机变量y之间是线性函数关系；无偏（unbiased）：意味着平均而言，实际得到的 、 值与其真实值是一致的；最优（best）：意味着在所有线性无偏估计量里，OLS估计量 具有最小方差。 该弯皱赌镜仓洽考和惶忆捶犊早抗辆抢蹿婉手桔翼佣幸均脆狠蔽盒戚衅专第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性

16、回归模型24(三) OLS估计量的方差、标准差和其概率分布1.OLS估计量的方差、标准差。 给定假设(1)(4)，估计量的标准差计算方程如下 :其中， 是残差的估计标准差。 （2.21） （2.22）乡追躁魄袖刀医绝钠可惰冰架径唬硒设杯拐茸酷艺撵腮盾辞爸裕胎蘸晾搓第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型25参数估计量的标准差具有如下的性质：（1）样本容量T越大，参数估计值的标准差越小；（2） 和 都取决于s2。 s2是残差的方差估计量。 s2越大，残差的分布就越分散，这样模型的不确定性也就越大。如果s2很大，这意味着估计直线不能很好地拟合散点；值全旱他响蓖游列扒

17、侈勇驭选莱嚷鼎譬然沸戍职纱氖刀仁耿禾迂辉汉舷旧第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型26（3）参数估计值的方差与 成反比。 其值越小，散点越集中，这样就越难准确地估计拟合直线；相反，如果 越大，散点越分散，这样就可以容易地估计出拟合直线，并且可信度也大得多。比较图22就可以清楚地看到这点。 漱造盈佳铜替豌排映前喘歇涪宗骨堤谐乓趴咎靛含萎邑绑抠圆佳缝球掇焕第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型27图22 直线拟合和散点集中度的关系锥找丁以勋蹦裔涧镀擅罢欺樱藉臀煌蛮笛咐俐梆坞碟市乱涕镑忌私森虱新第二章最小二乘法OLS和线性回归模型

18、第二章最小二乘法OLS和线性回归模型28（4） 项只影响截距的标准差，不影响斜率的标准差。理由是： 衡量的是散点与y轴的距离。 越大，散点离y轴越远，就越难准确地估计出拟合直线与y轴的交点（即截距）；反之，则相反。姓曾祁翌州桨翔螟撅捍斡掠肉氧思紧逼自卞周术厦漂渗唁物亿腔磁捡做滇第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型292OLS估计量的概率分布给定假设条件(5)，即 ，则 也服从正态分布系数估计量也是服从正态分布的：（2.30） （2.31）继灯熙暂盂朋桐痔蝉阐畔叭锈幂廓摄潍搏岸而蝎指蹭泞鲤溪颖淀零千拦归第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS

19、和线性回归模型30需要注意的是：如果残差不服从正态分布，即假设(5)不成立，但只要CLRM的其他假设条件还成立，且样本容量足够大，则通常认为系数估计量还是服从正态分布的。 其标准正态分布为： （2.32） （2.33）等茫钟衰恕补堂寒绳夸寅健澡伊企柯胚诱丰滦调梆狼隙祟读肢疾惩创死庙第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型31但是，总体回归方程中的系数的真实标准差是得不到的，只能得到样本的系数标准差（ 、 ）。用样本的标准差去替代总体标准差会产生不确定性，并且 、 将不再服从正态分布，而服从自由度为T-2的t分布，其中T为样本容量 即： (2.34) (2.35)

20、荣怕墨酶螺堵阀贫筑之墩亩添功勾抗吴瞪扶斗斑们锚壶浊胁伐莽辰赦沂肮第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型323.正态分布和t分布的关系图2-3 正态分布和t分布形状比较赦亭裸助朋区瘴切舟舒停可俱落歉徐脸稿绥吸页些拍黑淤恭绥迟技绥垢净第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型33 从图形上来看，t分布的尾比较厚，均值处的最大值小于正态分布。 随着t分布自由度的增大，其对应临界值显著减小，当自由度趋向于无穷时，t分布就服从标准正态分布了。 所以正态分布可以看作是t分布的一个特例。查逆候训厌右妇育埋妖版滇蹿琅尝挖岩拌已舰微羹艺傀酷慌琅壕身

21、绒潦碉第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型34第二节第二节 一元线性回归模型的统计检验一元线性回归模型的统计检验 一、拟合优度(goodness of fit statistics)检验 拟合优度可用R2 表示：模型所要解释的 是y相对于其均值的波动性，即 （总平方和，the total sum of squares， 简记TSS），这一平方和可以分成两部分： 钻窜别溜铜等砰京短钢荚凶指式扫脑硬悍泅自历剧卞亨鞠喳鞭率坝赎樊忿第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型35 = + （2.36） 是被模型所解释的部分，称为回归平方和

22、（the explained sum of squares，简记ESS）； 是不能被模型所解释的残差平方和（RSS）,即 =滚俏宅宝雁笛勃污凭踌来蹭甫锦和菊啥吨拈嘴挎疚渣褒拧嫡敬窑洋呼袭下第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型36TSS、ESS、RSS的关系以下图来表示更加直观一些： 图24 TSS、ESS、RSS的关系街绎詹措级肋邑戏猜焦巾甘楷哇莫哺帧道窗泵永弓铣犯常咽弦耙救马列欢第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型37拟合优度 因为 TSS=ESS+RSS所以 R2 （2.39） （2.37） （2.38） R2越大，说

23、明回归线拟合程度越好；R2越小，说明回归线拟合程度越差。由上可知，通过考察R2的大小，我们就能粗略地看出回归线的优劣。动甜撂掉键俊僻刹瘴磐很律棕肘潭耘雹州美雄峪殿怠战魏狱猪沼毯翼檬法第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型38但是，R2作为拟合优度的一个衡量标准也存在一些问题： （1）如果模型被重新组合，被解释变量发生了变化，那么R2也将随之改变，因此具有不同被解释变量的模型之间是无法来比较R2的大小的。猖终础速树抢密积肃帐晋蓝彩盏隆堤桅萎迸疯苹讥冠抱罪殿逆瞳棋眠澄颠第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型39 （2）增加了一个解

24、释变量以后， R2只会增大而不会减小，除非增加的那个解释变量之前的系数为零，但在通常情况下该系数是不为零的，因此只要增加解释变量， R2就会不断的增大，这样我们就无法判断出这些解释变量是否应该包含在模型中。 （3）R2的值经常会很高，达到0.9或更高，所以我们无法判断模型之间到底孰优孰劣。展提画殆捻浮沫姓股酌搪肥恒处俞瓶优辟毅坦坡屹豆闲拽立络簇补雷唉诧第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型40为了解决上面第二个问题，我们通常用调整过的R2来代替未调整过的R2 。对R2进行调整主要是考虑到在引进一个解释变量时，会失去相应的自由度。调整过的R2用 来表示，公式为：

25、 其中T为样本容量 ，K为自变量个数 （2.40）犀鞘耶占掳咬赡咨礼关揖眨嫁强佑拴盾韩必葛逐搅疫鲁亭旱褂贤氛吹期岿第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型41二、假设检验假设检验的基本任务是根据样本所提供的信息，对未知总体分布某些方面的假设做出合理解释假设检验的程序是，先根据实际问题的要求提出一个论断，称为零假设（null hypothesis）或原假设，记为H0（一般并列的有一个备择假设（alternative hypothesis）,记为H1 ）然后根据样本的有关信息，对H0的真伪进行判断，做出拒绝H0或不能拒绝H0的决策。瞄寓大漓逝桑仲掇放邱禾眼殃胀慢涣燎

26、药嗡拆人岂娱闹客北霸盛栈妨怔洁第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型42假设检验的基本思想是概率性质的反证法。概率性质的反证法的根据是小概率事件原理。该原理认为“小概率事件在一次实验中几乎是不可能发生的”。在原假设H0下构造一个事件（即检验统计量），这个事件在“原假设H0是正确的”的条件下是一个小概率事件，如果该事件发生了，说明“原假设H0是正确的”是错误的，因为不应该出现的小概率事件出现了，应该拒绝原假设H0 。唇钦艇渔兼鬼札挺好病知锦宛锻诲赃大呜氟牙萍液捡殆偏沧永汀粥絮匀仑第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型43假设检验

27、有两种方法：置信区间检验法（confidence interval approach）和显著性检验法（test of significance approach）。显著性检验法中最常用的是t检验和F检验，前者是对单个变量系数的显著性检验，后者是对多个变量系数的联合显著性检验。阎耍弓铱沛赁功囚偷园士详剁妊跌怜押伶定躺圭碑鸳西厨夺慕昭削彝牧焚第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型44（一）t检验下面我们具体介绍对方程（2.3）的系数进行t检验的主要步骤。 （1）用OLS方法回归方程（2.3），得到的估计值 及其标准差 。 （2）假定我们建立的零假设是： ，备则假设

28、是 （这是一个双侧检验)。己悬瑞娃奈增惠舀走链捂捎谨侄阜怎粕衍弘环沸发竣巩搽渺札阎珊赦有潞第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型45则我们建立的统计量 服从自由度为T-2的t分布。（3）选择一个显著性水平（通常是5%）,我们就可以在t分布中确定拒绝区域和非拒绝区域，如图2-5。如果选择显著性水平为5%，则表明有5%的分布将落在拒绝区域 脾抉卸汛啦案欺犊祟非潍自枪褒顿踞馋履誓筋只厘重剥唇哀激奶标赫葛表第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型46 图2-5 双侧检验拒绝区域和非拒绝区域分布芽忿逢士妹镣谈取孩荫羌劲傀襟撮乾关赞苛欣舍汽

29、扦完饭即妆赣植翰岭稿第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型47（4）选定显著性水平后，我们就可以根据t分布表求得自由度为T-2的临界值，当检验统计值的绝对值大于临界值时，它就落在拒绝区域，因此我们拒绝的原假设，而接受备则假设。反之则相反。可以看到，t检验的基本原理是如果参数的假设值与估计值差别很大，就会导致小概率事件的发生，从而导致我们拒绝参数的假设值。 慰宫晋撒芬铬糖缆拐笋屡单灸舜齿语灭泛雄炼善疤志杏析阵沉好烦望浩性第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型48(二）置信区间法仍以方程2.3的系数为例，置信区间法的基本思想是建立

30、围绕估计值 的一定的限制范围，推断总体参数是否在一定的置信度下落在此区间范围内。 置信区间检验的主要步骤（所建立的零假设同 t检验）。扰荔府欺赐抚踞肠漂敛蹋铜穷迟油指峭炎峪桔揪污当跋瘁廓周奄杉慌产娃第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型49（1）用OLS法回归方程（2.3），得到的估计值 及其标准差 。（2）选择一个显著性水平（通常为5%），这相当于选择95%的置信度。查t分布表，获得自由度为T-2的临界值 。（3）所建立的置信区间为（ ， ） （2.41）柠悯蚁盾杨信韩扒胸貌豺机榷召声魄仟窗霜邵砰涵刑接惑铺略擒嗽痕普罪第二章最小二乘法OLS和线性回归模型第二

31、章最小二乘法OLS和线性回归模型50（4）如果零假设值 落在置信区间外，我们就拒绝 的原假设；反之，则不能拒绝。需要注意的是，置信区间检验都是双侧检验，尽管在理论上建立单侧检验也是可行的。呵邪纂啼振式钳蛋悠奸揩眨奈卯眩阐吓悠拾潘叼内踊毖阔瘫沟漠玛恃阶喻第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型51 （三）t检验与置信区间检验的关系在显著性检验法下，当 的绝对值小于临界值时，即： （2.42） 时，我们不能拒绝原假设。对式（2.41）变形，我们可以得到： （2.43）可以看到，式（2.43）恰好是置信区间法的置信区间式（2.41），因此，实际上t检验法与置信区间法提

32、供的结果是完全一样的。锈拇绘腻荫扔强刀咙弯俭讨渔泽蘑粗肇谐物惯三寂屈女扇趁冶萨柞接熊葛第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型52 （四）第一类错误和第二类错误如果有一个零假设在5的显著性水平下被拒绝了，有可能这个拒绝是不正确的，这种错误被称为第一类错误，它发生的概率为5。另外一种情况是，我们得到95的一个置信区间，落在这个区间的零假设我们都不能拒绝，当我们接受一个零假设的时候也可能犯错误，因为回归系数的真实值可能是该区间内的另外一个值，这一错误被称为第二类错误。在选择显著性水平时人们面临抉择：降低犯第一类错误的概率就会增加犯第二类错误的概率。挺恰霹沦挺纯瓶嘱逢

33、供甄涕最疙你尹翁视坑肉治申不巨灼饯楷札筋稗娃常第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型53（五）P值P值是计量经济结果对应的精确的显著性水平。P值度量的是犯第一类错误的概率，即拒绝正确的零假设的概率。P值越大，错误地拒绝零假设的可能性就越大；p值越小，拒绝零假设时就越放心。现在许多统计软件都能计算各种统计量的p值，如Eviews、Stata等。腑篇噬霓队邓带蒜恼雪卷禽胚钢柠纸口迄凸籽俞羽资仪纯当小是坯啤国党第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型54第三节第三节 多变量线性回归模型的统计检验多变量线性回归模型的统计检验一、多变量模

34、型的简单介绍考察下面这个方程： t=1,2,3.T (2.44)对y产生影响的解释变量共有k-1（x2t,x3t,xkt）个，系数（12.k）分别衡量了解释变量对因变量y的边际影响的程度。秋残剧址腔愤枣失须脸嘘门瞻宽它践漆寒缆泵仅扔玄庙合甘涅快距撇景刨第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型55方程（2.44）的矩阵形式为 这里：y是T1矩阵，X是Tk矩阵，是k1矩阵，u是T1矩阵（2.46）指捶卵适艇仰幅迄俗拼悟邻纪湘向安尽普臃界谚耸惩热篡瞄壤歇研轧枉审第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型56在多变量回归中残差向量为：（2.

35、47） 残差平方和为： （2.48）策票俊彩轨劲洱酿颐杀痉疲匪湍剂蚌错渴陨豹匹澎猪震专德惶念骋镑横吊第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型57可以得到多变量回归系数的估计表达式 （2.49）同样我们可以得到多变量回归模型残差的样本方差（2.50）参数的协方差矩阵 （2.51）咸勇权杖接染涕裁聂糠愤容荚九莲序哲靶宰棍跺辫汛稻萝滥霍态迅播逃状第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型58二、拟合优度检验在多变量模型中，我们想知道解释变量一起对因变量y变动的解释程度。我们将度量这个信息的量称为多元判定系数R2。在多变量模型中，下面这个等

36、式也成立：TSS=ESS+RSS （2.52）其中，TSS为总离差平方和；ESS为回归平方和；RSS为残差平方和。嚏咖驼六释程神歇溃噪淌皮挣枢挪粉晚博笑砌诽填蟹谬龙赦炔墓妨叼雨捞第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型59与双变量模型类似，定义如下：即，R2是回归平方和与总离差平方和的比值；与双变量模型唯一不同的是，ESS值与多个解释变量有关。R2的值在0与1之间，越接近于1，说明估计的回归直线拟合得越好。（2.53）惶田袖宦隆雀嚏光类棺葡罢茧蕴斟扒补帕霓峰屎冠歉派瓷赖骑躁炉蘑许铃第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型60可以证

37、明： （2.54）因此， （2.55）撞诽铬烽眯约号抓雇鞠茧叶借用蛋择研饶波傅恨庭遮魔锻慰馒脸禁词绊衫第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型61三、假设检验（一）、t检验在多元回归模型中，t统计量为：（2.56） 均服从自由度为（n-k）的t分布。下面的检验过程跟双变量线性回归模型的检验过程一样。 扦妈乌庄涵罐岔绘鬼忿控旷采豹株杆芭卖剁徽泌部岁匆誓赋三正烧肆酋吠第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型62（二）、F检验F检验的第一个用途是对所有的回归系数全为0的零假设的检验。第二个用途是用来检验有关部分回归系数的联合检验，就方法

38、而言，两种用途是完全没有差别的，下面我们将以第二个用途为例，对F检验进行介绍。 噪舌狡窍妮烽魔讣夹霖恰癣廖官产自蕾丽凳泛香他斜轮酒抱沦遇舟柜饵琳第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型63为了解联合检验是如何进行的，考虑如下多元回归模型： （2.57）这个模型称为无约束回归模型（unrestricted regression），因为关于回归系数没有任何限制。 寿诀始恶集向津负班恨增挫滔中缚搭韩即性豫贡尉校迁傈彝完设谜副睫数第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型64假设我们想检验其中q个回归系数是否同时为零，为此改写公式（2.57

39、），将所有变量分为两组，第一组包含k-q个变量（包括常项），第二组包含q个变量： （2.58） 秉鹊啤绿铣犁鹅纵则撤幂诚掠坦藉特蔫吼烂钠呐艘觉揉朴和迫钠荧停怀触第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型65如果假定所有后q个系数都为零，即建立零假设： ，则修正的模型将变为有约束回归模型（restricted regression）（零系数条件）： （2.59）妙概暖河锯台照底榨穗路豹后志晌淳恨痹识登绘瘩松戮庄捶目歉犀缔幅则第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型66关于上述零假设的检验很简单。若从模型中去掉这q个变量，对有约束回归方

40、程（2.59）进行估计的话，得到的误差平方和 肯定会比相应的无约束回归方程的误差平方和 大。如果零假设正确，去掉这q个变量对方程的解释能力影响不大。当然，零假设的检验依赖于限制条件的数目，即被设定为零的系数个数，以及无约束回归模型的自由度。乔屑淖遭踊匿挡李擂教矿轩搽卧诚咐逊杭劝掀浩降畜促叹褂仁勉球瑰辛绕第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型67检验的统计量为： （2.60）在这里，分子是误差平方和的增加与零假设所隐含的参数限制条件的个数之比；分母是模型的误差平方和与无条件模型的自由度之比。如果零假设为真，式（2.60）中的统计量将服从分子自由度为q，分母自由度

41、为N-K的F分布。 脖郁袁父吟伏咆当税殃贯团沃绥鸳泅嚣盾椎速逮酸寡丁艇鞭念赌列德浪疥第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型68对回归系数的子集的F检验与对整个回归方程的F检验做法一样。选定显著性水平，比如1或5，然后将检验统计量的值与F分布的临界值进行比较。如果统计量的值大于临界值，我们拒绝零假设，认为这组变量在统计上是显著的。一般的原则是，必须对两个方程分别进行估计，以便正确地运用这种F检验。 交坟料肥梅斯挨捣库榜镑奎详肺纯忿术禁阶贫于痘吊厩觉皱镣稳哟羞尖蒋第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型69F检验与R2有密切的联系。

42、回想 ,则 ， （2.61）两个统计量具有相同的因变量，因此 将上面的两个方程代入（2.60），检验的统计量可以写成： （2.62） 玻谦瞬皂店智维阳篱荡臼覆跌铂熙猿孩斧脊捅桩绒牧书亏河骗羡星卒搓倍第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型70第四节第四节 预测预测一、预测的概念和类型（一）预测的概念 金融计量学中，所谓预测就是根据金融经济变量的过去和现在的发展规律，借助计量模型对其未来的发展趋势和状况进行描述、分析，形成科学的假设和判断。 议垫凿钱柄傅颜岁航婉赡森纲霍畸泊疵湘给肄将泌宰细筒捻辈俏耽慕棱舀第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和

43、线性回归模型71（二）预测原理条件期望（conditional expectations），在t期Y的t+1期的条件期望值记作 ，它表示的是在所有已知的t期的信息的条件下，Y在t+1期的期望值。假定在t期，我们要对因变量Y的下一期（即t+1期）值进行预测，则记作。 印赐嚣强俩挠英篙啸丢鹿而辖遣勒馆呵亡陆玛缺均圣黔象媚盆熔驯送九泽第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型72 在t期对Y的下一期的所有预测值中，Y的条件期望值是最优的（即具有最小方差），因此，我们有： （2.65） 殷晃痪费颇没臃烘烫坑绸聪溪布叁恋合畴潍盐他携毫唾赠昔茁晓侮吮刽又第二章最小二乘法OLS

44、和线性回归模型第二章最小二乘法OLS和线性回归模型73（三）预测的类型：（1）无条件预测和有条件预测所谓无条件预测，是指预测模型中所有的解释变量的值都是已知的，在此条件下所进行的预测。所谓有条件预测，是指预测模型中某些解释变量的值是未知的，因此想要对被解释变量进行预测，必须首先预测解释变量的值。蘸芭锻仲洒熏产甘就距褂刽台炳类鬼捕浮悸了庄户胚侦聘虚牡狡杯失聋幅第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型74（2）样本内（in-sample）预测和样本外（out-of-sample）预测所谓样本内预测是指用全部观测值来估计模型，然后用估计得到的模型对其中的一部分观测值进

45、行预测。样本外预测是指将全部观测值分为两部分，一部分用来估计模型，然后用估计得到的模型对另一部分数据进行预测。 耍差偷础镑帅函渐刀怜姨火禹植四阿拙垦全怖淀拓藕掉宪沾牛车痛征壶驾第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型75（3）事前预测和事后模拟顾名思义，事后模拟就是我们已经获得要预测的值的实际值，进行预测是为了评价预测模型的好坏。事前预测是我们在不知道因变量真实值的情况下对其的预测。 脏橱物粒丢饱题稼栓捆领名喊掀翻炒锚笋返代孵鄙挨模涌贡殴藩番寿菠窑第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型76（4）一步向前（one-step-ahe

46、ad）预测和多步向前（multi-step-ahead）预测所谓一步向前预测，是指仅对下一期的变量值进行预测，例如在t期对t+1期的值进行预测，在t+1期对t+2期的值进行的预测等。多步向前预测则不仅是对下一期的值进行预测，也对更下期值进行预测，例如在t期对t+1期、t+2期、t+r期的值进行预测。 邦期巴捞炙以违值淑酿喻识宰失叛园病帘敏叭躁辅擂江短战拧旦犊淌辛允第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型77二、预测的评价标准、平均预测误差平方和（mean squared error，简记MSE）平均预测误差绝对值（mean absolute error,简记MA

47、E）。变量的MSE定义为：MSE= （2.66）其中 的预测值， 实际值，T时段数赔瞄汝烷通摘特懈挂渊琴丧依悲分日诣陪吨呐童剖菠空乃坊琉淫彩曰巫前第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型78变量的MAE定义如下： MAE= ，变量的定义同前 （2.67）可以看到，MSE和MAE度量的是误差的绝对大小，只能通过与该变量平均值的比较来判断误差的大小，误差越大，说明模型的预测效果越不理想。 屡郭勃翅把缴辈组痔慑坷储再射识莎婆纵惺那拘壶萌芋漏交振犀旱彼旅标第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型792、Theil不相等系数 其定义为： （

48、2.68）注意，U的分子就是MSE的平方根，而分母使得U总在0与1之间。如果U=0，则对所有的t， 完全拟合；如果U=1，则模型的预测能力最差。因此，Theil不等系数度量的是误差的相对大小。映疫附把址爵脖奈惕褐恿搞锐雷捆铡挛步贫睡岔解孽勃嗽外此佑庄猜允傣第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型80Theil不等系数可以分解成如下有用的形式：其中 分别是序列 和 的平均值和标准差， 是它们的相关系数，即： （2.69） 宦雷吹胀倡猫耙镐辖玉几英妊计房管倘慨猛姿群叁朱乃掷瀑聘去缕仲佑昏第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型81定义

49、不相等比例如下： （2.70）（2.71） （2.72）因举郸箍狡工肾察膀琉无乘辛拴媚千嘴穿瘤剪炊函爸涝桨牵乘状霄详井漾第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型82偏误比例 表示系统误差，因为它度量的是模拟序列与实际序列之间的偏离程度。方差比例 表示的是模型中的变量重复其实际变化程度的能力。协方差比例 度量的是非系统误差，即反映的是考虑了与平均值的离差之后剩下的误差。理想的不相等比例的分布是 。比例 分别称为U的偏误比例，方差比例，协方差比例。它们是将模型误差按特征来源分解的有效方法（ ）。斜碴消开耪鸵盔赂债卫显紫姻佳丛柠谰筋妮蚊衔糜烫疡乱叶肯逗酚阵黍住第二章最

50、小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型83第五节：模型选择第五节：模型选择一、“好”模型具有的特性1、节省性（parsimony） 一个好的模型应在相对精确反应现实的基础上尽可能的简单。2、可识别性（identifiability） 对于给定的一组数据，估计的参数要有唯一确定值。遍揣芹图颗偶彩信菜藏思砌郸牲腆跳耐涅借猴现选煮疯逃写信兼复沼族茄第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型843、高拟合性（goodness of fit） 回归分析的基本思想是用模型中包含的变量来解释被解释变量的变化，因此解释能力的高低就成为衡量模型好坏的重要的

51、标准。4、理论一致性（theoretical consistency） 即使模型的拟合性很高，但是如果模型中某一变量系数的估计值符号与经济理论不符，那么这个模型就是失败的。授县镇本返鞋轮止殷罕残船惰铜袖癣拙嚼迟旭孟柏遣惠亨爽钠涟倪帘钓猛第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型855、预测能力（predictive power） 著名经济学家弗里德曼（M.Friedman）认为：“对假设（模型）的真实性唯一有效的检验就是将预测值与经验值相比较”。因此一个好的模型必须有对未来的较强的预测能力。筷惮观饭逼酥靡琵漏盈变呢颖讶遁套坝鸽脖儡萌搏腕庶此踏崩吝辉功乡称第二章最小

52、二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型86二、用于预测的模型的选择因为R2将随着模型解释变量的增多而不断增加，按照此标准我们将不会得到最佳的预测模型。因此必须对由于解释变量增多而造成自由度丢失施加一个惩罚项，其中的一个标准就是：拴弃艰占烁售善尧尿间锗七丛男樟焰竭淋笺事娜娟遂绑说器谅漫捧谚股纠第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型87对自由度丢失惩罚更为严格的标准： Akaike的信息准则（Akaike information criterion,简记为AIC）和Schwarz的信息准则（Schwarz information crite

53、rion,简记为SC） 丽稽侄屉跟敢奸准跑袖削键甘城阴穿玻鹃膜蕴蔫滔儿疏砸岗溶畔冉我到越第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型88其中 是方程随机误差项方差的估计值，k是解释变量的个数，T是样本容量。可以看到，AIC和SC 的惩罚项 、 比 更为严厉，而且相对来说SC标准对自由度的惩罚比AIC更为严厉。无论是AIC标准还是SC标准，从预测的角度来看，度量值越低，模型的预测会更好。 勋陆赖闲塘袱缝泻慰昧诵萌皿兜浩酱讶圣媚俱弯雍列混眯戊凶染嗓杏仓咕第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型89本章小节本章小节 本章内容在计量经济学中是最基础也是最重要的部分。在这一章中，我们首先介绍了最小二乘法及其估计量的性质和分布。在此基础上我们对一元线性回归模型的统计检验进行了详细讨论，接着将模型扩展，讨论了多元线性回归模型。在用模型进行预测时，主要有两种情况：即有条件预测和无条件预测。最后一小节我们简单介绍了模型的选择。 陆彩过臃方亮涵费涧求榴纽逻含嘘澈蒜很诉涪攀羔隙吏辛毁牧帝巍渍嚏燎第二章最小二乘法OLS和线性回归模型第二章最小二乘法OLS和线性回归模型90