《计量经济学08》由会员分享，可在线阅读，更多相关《计量经济学08（55页珍藏版）》请在金锄头文库上搜索。
1、经济计量学,Chp 8多元回归：估计与假设检验,主要内容,8.1 多元线性回归模型及其假定 8.2 多元线性回归参数的估计 8.3 多元回归模型的拟合优度 8.4 多元回归模型的假设检验 8.5 关于设定误差 8.6 实例,从单解释变量到多解释变量 一个例子：存款机构破产 学习目标 多元回归模型的估计问题 多元回归模型的假设检验问题 多元回归模型区别于双变量模型的特性 如何决定多元回归模型中解释变量的个数,8.1 多元线性回归模型及其假定,多元线性回归模型,多元线性回归模型：表现在线性回归模型中的解释变量有多个。一般表现形式：,i=1,2,n,其中:k为解释变量的数目，Bj称为回归参数（reg
2、ression coefficient）。,也被称为总体回归函数的随机表达形式。它的非随机表达式为:,表示：各变量X值固定时Y的均值，即总体回归线上的点。,习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。于是： 模型中解释变量的数目为（k+1）,确定成分,随机成分,Bj也被称为偏回归系数，表示在其他解释变量保持不变的情况下，X j每变化1个单位时，Y的均值E(Y)的变化; 或者说Bj给出了X j的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。,其随机表示式:,ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项ui的近似替代。,用来估计总体
3、回归函数的样本回归函数为：,多元线性回归模型的基本假定,假设1：回归模型是参数线性的，并且正确设定 假设2：解释变量与扰动项不相关 假设3，随机误差项具有零均值、同方差，服从正态分布及不序列相关性（相当于书中的3、4、5、7等四个假设）。,多元线性回归模型的基本假定,假设4：解释变量之间不存在完全共线性，即两个解释变量之间无确切的线性关系。 在存在完全共线性的情况下，不能估计偏回归系数，即不能估计各解释变量各自对应变量Y的影响。 实际问题中，很少会遇到完全共线性的情况，但却面临高度共线性或近似完全共线性的情况。这将第三部分说明。,8.2 多元线性回归参数的估计,主要内容,1.普通最小二乘估计量
4、 2.OLS估计量的方并与标准误 3.多元回归OLS估计量的性质 4.估计实例,1.普通最小二乘估计,对于随机抽取的n组观测值(Yi, Xji), i=1,2,n; j=1,k,如果样本函数的参数估计值已经得到，则有：,i=1,2n,根据最小二乘原理，参数估计值应该是如下方程组的解,其中：,于是得到关于待估参数估计值的正规方程组：,解这k+1个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值bj, j=0,1,k,对于三变量模型：,解得：,2.OLS估计量的方差与标准误,标准误的作用： 建立真实参数的置信区间； 检验统计假设,方差与标准误的具体公式：,各参数的标准误分别等于它们方
5、差的平方根。,3.多元回归OLS参数估计量的性质,在满足基本假设的情况下，其结构参数B的普通最小二乘估计矩估计及最大似然估计仍具有： 线性性、无偏性、有效性。,同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。,1、线性性,其中,C=(XX)-1 X 为一仅与固定的X有关的行向量,2、无偏性,3、有效性（最小方差性）,这里利用了假设: E(Xu)=0,参数估计量b的方差协方差矩阵,其中利用了,和,根据高斯马尔可夫定理， 在所有无偏估计量的方差中是最小的。,关于样本容量问题,所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求
6、的样本容量的下限。, 最小样本容量,样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即n k+1 因为，无多重共线性要求：秩(X)=k+1,2.满足基本要求的样本容量,从统计检验的角度：n30 时，Z检验才能应用；n-k8时, t分布较为稳定,一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。,模型的良好性质只有在大样本下才能得到理论上的证明,8.3 多元线性回归模型的拟合优度,拟合优度多元可决系数（判定系数）,. 可决系数与校正的可决系数,则,总离差平方和的分解,由于:,= 0,所以有：,注意：,可决系数,该统计量越接近于1，模型的拟合优度越高。,问题：
7、在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大。这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。 但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需校正。,校正的可决系数（adjusted coefficient of determination）,在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以校正的思路是：将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响:,其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。,注：两个解释变量，但要估计三个参数,注：这里的分母和书上(P165)差
8、，是因为书上将常数项也看成一个变量。,*2、赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:,施瓦茨准则（Schwarz criterion，SC）,这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。,赤池信息准则（Akaike information criterion, AIC）,例：P158（古董钟拍卖）,校正的判定系数 有如下性质： 如果k1，则 R2总是大于0，但 可能为负（例见P165）,8.4 多元线性回归模型的假设检验,假设检验,一、变量的显著性检验（t检验） 二、方程的显著性检验(F检验)
9、三、参数的置信区间,一、变量的显著性检验（t检验）,方程的可决系数R2虽然度量了估计回归直线的拟合优度，但R2本身却不能判定回归系数是否是统计显著的，即是否显著不为零。因此，必须对每个解释变量进行显著性检验偏回归系数的显著性检验，以决定是否作为解释变量被保留在模型中。这一检验是由对变量的 t 检验完成的。,可以证明，在多元线性回归的基本假设条件下，服从正态分布，它们的均值分别为B0，B1，B2，方差分别如P157。 但由于2无法观察，故用其无偏估计量代替，所得的OLS估计量服从自由度为(n-3)的t分布，而非正态分布，即：,1.t统计量,2.t检验显著性检验法,设计原假设与备择假设：,H1：B
10、i0,给定显著性水平，可得到临界值t/2(n-k-1)，由样本求出统计量t的数值，通过|t| t/2(n-k-1) 或 |t|t/2(n-k-1) 来拒绝或接受原假设H0，从而判定对应的解释变量是否应包括在模型中。,H0：Bi=0 （i=1,2k）,注：这里还得注意是单边检验还是双边检验的问题。,3.t检验置信区间法,设计原假设与备择假设：,H1：Bi0,根据给定的显著性水平，可得到临界值t/2(n-k-1)，进而求得总体参数（偏回归系数）的置信区间，再看该区间是否包含零假设的B值B* （一般为0），以决定接受还是拒绝零假设。,H0：Bi=0 （i=1,2k）,二、方程的显著性检验(F检验),
11、方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。,1.方程显著性的F检验,即检验模型Yi=B0+B1X1i+B2X2i+ +BkXki+i i=1,2, ,n 中的参数Bj是否显著不为0。,可提出如下原假设与备择假设：,H0： B0=B1=B2= =Bk=0H1： Bj不全为0,F检验的思想来自于总离差平方和的分解式：TSS=ESS+RSS,由于回归平方和ESS=i2是解释变量X的联合体对被解释变量Y的线性作用的结果，考虑比值：,如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此,可通过该比值
12、的大小对总体线性关系进行推断。,根据数理统计学中的知识，在原假设H0成立的条件下，统计量,服从自由度为(k , n-k-1)的F分布。,给定显著性水平，可得到临界值F(k,n-k-1)，由样本求出统计量F的数值，通过F F(k,n-k-1) 或 FF(k,n-k-1) 来拒绝或接受原假设H0，以判定原方程总体上的线性关系是否显著成立。,注意：一元线性回归中，t检验与F检验一致,一方面，t检验与F检验都是对相同的原假设H0：B1=0 进行检验;另一方面，两个统计量之间有如下关系：,、关于拟合优度检验与方程显著性检验关系的讨论,注意其与教材P163的区别,计算得参数的置信区间：B0 ：(44.28
13、4, 197.116) B1 ： (0.0937, 0.3489 )B2 ：(0.0951, 0.8080),从回归计算中已得到：,在中国居民人均收入消费支出二元模型例中, 给定=0.05，查表得临界值：t0.025(19)=2.093,b0=120.70,Sb0=36.51 b1=0.2213,Sb1=0.061 b2=0.4515,Sb2=0.170,如何才能缩小置信区间？,增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小；提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应
14、越小。,提高样本观测值的分散度,一般情况下，样本观测值越分散，(XX)-1的分母的|XX|的值越大，致使区间缩小。,8.4 多元线性回归模型的设定误差,设定误差，是指模型中遗漏或增加若干重要或不重要的变量。 对于古典钟拍卖的例子，由于设定的不同，会得到 系数不同 截距不同 R2也不同等。,解释变量的选择,通常做法： 只要调整的判定系数值增大，就可以增加新的解释变量 对于增加的变量的系数，只要其|t|值大于1，调整的判定系数值就会增加。 对于表8-4(P166)结果的说明,受限最小二乘法,受限模型：不包含任何自变量； 对应受限最小二乘法（RLS） 非受限模型：包含所有的自变量； 对应非受限最小二乘法（URLS） 如何在RLS与URLS之间进行选择？计算F值。,检验的零假设： H0：受限模型的约束是有效的 如果FF，则拒绝受限回归，这种情形下，受限模型的约束是无效的。 例：P167 注：比较受限回归与非受限回归时，应应量必须相同,本章实例P168,例8-1：税收政策对公司资本结构的影响 例8-2：关于进口需求 例8-3：酒需求问题 例8-4：城市劳动力参与率/失业率及平均小时工资,本章小结,P171,本章作业,P173 8.9 P174 8.11 P175 8.14 FTR（妇女识字率）,
