《计量经济学多元线性回归课件》由会员分享，可在线阅读，更多相关《计量经济学多元线性回归课件（85页珍藏版）》请在金锄头文库上搜索。
1、第四章 经典单方程计量经济学模型：多元线性回归模型,一、多元线性回归模型的概念 二、多元线性回归模型的估计 三、拟合优度 四、非线性关系的处理 五、假设检验 六、预测 七、参数的稳定性检验 八、虚拟变量,一、 多元线性回归模型的概念,1、多元线性回归模型 2、多元线性回归模型的基本假定,1、多元线性回归模型,多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式：,i=1,2,n,其中:k为解释变量的数目，j称为回归参数（regression coefficient）。,也被称为总体回归函数的随机表达形式。它 的非随机表达式为:,表示：各变量X值固定时Y的平均响应。,习惯上：把
2、常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。于是： 模型中解释变量的数目为（k+1）,总体回归模型n个随机方程的矩阵表达式为:,j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，X j每变化1个单位时，Y的均值E(Y)的变化; 或者说j给出了X j的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。,用来估计总体回归函数的样本回归函数为：,其中,其随机表示式:,ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项ui的近似替代。 样本回归函数的矩阵表达:,或,其中：,基本形式小结,矩阵形式,2、多元线性回归模型的基本假定,例：在一项调查大学生
3、一学期平均成绩Y与每周在学习（X1）、睡觉 （X2）、娱乐 （X3）和其它活动 （X4）所用时间关系的研究中，建立了如下模型：,如果这些活动所用时间的总和为一周的总小时数168小时。问：保持其它变量不变，而改变其中一个变量的说法是否有意义？该模型是否有违背基本假定的情况？如何修改此模型使其更合理？,二、多元线性回归模型的估计,1、普通最小二乘估计 2、极大似然估计 3、参数估计量的性质 4、样本容量问题,说 明,估计方法： 两大类方法：OLS、ML 在经典模型中多应用OLS 在非经典模型中多应用ML 在本节中， ML为选学内容,1、普通最小二乘估计,对于随机抽取的n组观测值,如果样本函数的参数
4、估计值已经得到，则有：,i=1,2n,根据最小二乘原理，参数估计值应该是右列方程组的解,其中,于是得到关于待估参数估计值的正规方程组：,正规方程组的矩阵形式,即,由于XX满秩，故有,将上述过程用矩阵表示如下：,即求解方程组：,即,补充：,得到：,于是：,例：利用下表数据，计算 和,正规方程组 的另一种写法,对于正规方程组,于是,或,(*)或（*）是多元线性回归模型正规方程组的另一种写法。,(*),(*),样本回归函数的离差形式,i=1,2n,其矩阵形式为：,其中 ：,在离差形式下，参数的最小二乘估计结果为,随机误差项u的方差2的无偏估计,可以证明，随机误差项u的方差的无偏估计量为：,2、极大似
5、然估计,对于多元线性回归模型,易知,Y的随机抽取的n组样本观测值的联合概率,对数似然函数为,对对数似然函数求极大值，也就是对,求极小值。,即为变量Y的似然函数,因此，参数的极大似然估计为,结果与参数的普通最小二乘估计相同。,3、参数估计量的性质,在满足基本假设的情况下，其结构参数的普通最小二乘估计及最大或然估计仍具有： 线性性、无偏性、有效性。,同时，随着样本容量增加，参数估计量具有： 一致性。,（1）线性性,其中,C=(XX)-1 X 为一仅与固定的X有关的行向量。,（2）无偏性,（3）有效性（最小方差性）,这里利用了假设: E(Xu)=0,其中利用了,和,4、样本容量问题,所谓“最小样本容
6、量”，即从最小二乘原理和极大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,（1） 最小样本容量,样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即 n k+1 因为，无多重共线性要求：秩(X)=k+1,（2）满足基本要求的样本容量,从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定,一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。,模型的良好性质只有在大样本下才能得到理论上的证明。,三、拟合优度检验,1、可决系数与调整的可决系数,则,总离差平方和的分解,可决系数,该统计量越接近于1，模型的拟合优度
7、越高。,问题：在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大（Why?) 这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。 但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需调整。,调整的可决系数（adjusted coefficient of determination）,在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响:,其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。,说明,例 设 n = 20, k = 3,
8、R2 = 0.70 求 。,若n = 10，则 = 0.55; 若n = 5， 则 =0.20,下面改变n的值，看一看 的值如何变化。,由本例可看出， 有可能为负值。这与R2不同 （ ）,解,*2、赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC）,施瓦茨准则（Schwarz criterion，SC）,这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。,四、非线性关系的处理,1、模型的类型与变换 2、非线性回归,在实际经济活动
9、中，经济变量的关系是复杂的，直接表现为线性关系的情况并不多见。 如著名的恩格尔曲线(Engle curves)表现为幂函数曲线形式、宏观经济学中的菲利普斯曲线（Pillips cuves）表现为双曲线形式等。 但是，大部分非线性关系又可以通过一些简单的数学处理，使之化为数学上的线性关系，从而可以运用线性回归模型的理论方法。,说明,（1）倒数模型、多项式模型与变量的直接置换法,例如，描述税收与税率关系的拉弗曲线：抛物线 s = a + b r + c r2 +u c0 s：税收； r：税率,设X1 = r，X2 = r2， 则原方程变换为 s = a + b X1 + c X2 +u c0,1、
10、模型的类型与变换,（2）幂函数模型、指数函数模型与对数变换法,例如，Cobb-Dauglas生产函数：幂函数 Q = AKLeu Q：产出量，K：投入的资本；L：投入的劳动,方程两边取对数： ln Q = ln A + ln K + ln L+u,（3）复杂函数模型与级数展开法,方程两边取对数后，得到：,Q:产出量，K：资本投入，L：劳动投入 ：替代参数， 1、2：分配参数,例如，常替代弹性CES生产函数,2、非线性回归,对于不可线性化的模型，可采用非线性回归技术对参数进行估计，常用的非线性回归技术有非线性最小二乘法（NLS）,该方法的原则仍是使残差平方和达到最小。 其步骤如下：,（1）给出各
11、参数的初始估计值； （2）用上述参数值及X的观测值计算Y的预测值； （3）计算残差平方和e2; （4）对一个或多个参数的估计值作微小变动； （5）计算Y的新预测值；,（6）再计算残差平方和e2; （7）若残差平方和减小了，则说明新参数的估计值优于老的，则以它们为新的起点； （8）重复步骤（4），（5），（6），直至无法减少残差平方和为止； （9）最后的参数估计值即为非线性最小二乘估计值。,五、假设检验,1、系数的显著性检验,（1）单个系数显著性检验,目的是检验某个解释变量的系数j是否为0，即该解释 变量是否对被解释变量有影响。 原假设： H0： j =0 检验统计量是自由度为 n-k-1 的
12、t 统计量：,t(n-k-1) 其中， 为矩阵 主对角线上第 j+1个元素。而,例：柯布-道格拉斯生产函数 用柯布和道格拉斯最初使用的数据（美国1899-1922年制造业数据）估计经过线性变换的模型 得到如下结果（括号内数字为标准误差） ：,请检验“斜率”系数和的显著性。 解：(1)检验的显著性 原假设： H0： = 0,由回归结果，我们有：t0.23/0.06=3.83 用自由度为24321，查t表，5%显著性水平下，t/2 2.08. t3.83 t/2 2.08， 故拒绝原假设H0 。 结论：显著异于0。 (2)检验 的显著性 原假设： H0： = 0 由回归结果，我们有：t0.81/0
13、.15=5.4 t5.4 t/2 2.08， 故拒绝原假设H0 。 结论：显著异于0。,有时需要同时检验若干个系数是否为0，这可以通过建立单一的原假设来进行。 设要检验g个系数是否为0，即与之相对应的g个解释变量对因变量是否有影响。不失一般性，可设原假设和备择假设为： H0: 1 =2 = =g =0 H1: H0不成立 (即X1, Xg中至少有一个变量对Y有 影响),（2）若干个系数的显著性检验（联合假设检验）,分析： 这实际上相当于检验g个约束条件 1= 0，2 = 0， ，g = 0 是否同时成立。 若H0为真，则正确的模型是： 据此进行回归（有约束回归），得到残差平方和 SR是H0为真
14、时的残差平方和。 若H1为真，正确的模型即原模型：,据此进行无约束回归（全回归），得到残差平方和 S是H1为真时的残差平方和。 如果H0为真，则不管X1, Xg这g个变量是否包括在模型中，所得到的结果不会有显著差别，因此应该有： S SR 如果H1为真，则由前面所讨论的残差平方和e2的特点，无约束回归增加了变量的个数，应有 S SR 通过检验二者差异是否显著地大，就能检验原假设是否成立。,所使用的检验统计量是： F(g, n-k-1) 其中， g为分子自由度， n-k-1为分母自由度。 使用 的作用是消除具体问题中度量单位 的影响， 使计算出的 F 值是一个与度量单位无关的量。,假设已得到下面
15、结果： （1）全回归 估计 得到：S =e2 = 25 （2）有约束回归 估计 得到：SR =e2 = 30,例：给定20组Y, X1, X2, X3的观测值，试检验模型中X1和 X3对Y是否有影响？,解 原假设 H0: 1 = 3 = 0 备择假设 H1: H0不成立 我们有：n=20, g=2, K=3 用自由度（2，16）查F分布表，5%显著性水平下，F=3.63 F=1.6 F =3.63, 故接受H0。 结论：X1和X3对Y无显著影响,上一段结果的一个特例是所有斜率系数均为0的检验，即回归方程的显著性检验： H0： 1 =2 = = k = 0 也就是说，所有解释变量对Y均无影响。
16、注意到 g=k， 则该检验的检验统计量为：,（3）全部斜率系数为0的检验（即方程的显著性检验）,分子分母均除以 ，有 从上式不难看出，全部斜率为0的检验实际是检验R2的值是否显著异于0，如果接受原假设，则表明被解释变量的行为完全归因于随机变化。若拒绝原假设，则表明所选择模型对被解释变量的行为能够提供某种程度的解释。,2、关于拟合优度检验与方程显著性检验关系的讨论,由,得,你认为建立的模型质量如何？,假设检验小结：,模型：,假设：,方差分析表,检验统计量：,上面所介绍的检验若干个系数显著性的方法，也可以应用于检验施加于系数的其他形式的约束条件，如 检验的方法仍是分别进行有约束回归和无约束回归，求出各自的残差平方和 SR 和 S，然后用
