计量经济学第5章多元线性回归模型课件

《计量经济学第5章多元线性回归模型课件》由会员分享，可在线阅读，更多相关《计量经济学第5章多元线性回归模型课件（53页珍藏版）》请在金锄头文库上搜索。

1、第5章 多元线性回归模型,学习目标 了解多元线性回归模型的设定 理解多元线性回归模型的古典假定 掌握估计多元线性回归模型的方法 掌握多元线性回归模型的检验 会运用多元线性回归模型解决实际问题,5.1多元线性回归模型的设定 多元线性回归模型的设定有其广阔的经济背景，在很多情况下我们都需要设定多元线性回归模型。 【例5-1】多元消费回归模型。消费不仅受到收入的影响，还会受到物价变动的影响，特别是在时间序列模型里。这样我们可以设定一个二元线性回归模型： （5-1） 其中 -消费 -收入 -物价,【5-2】影响经济增长的因素很多，主要的有消费、投资和净出口。以GDP作为一国经济状况的代表变量，则可以设

2、定一个三元线性回归模型： （5-2） 其中 -GDP -消费 -投资 -净出口,一般的，多元线性回归模型的基本形式为： （5-3） 其中 -模型的参数（j=0，1，2，k） -随机扰动项,随机扰动项的设定与一元线性模型时一样的，它代表了那些我们无法知道的因素、或者“周边变量”，它对被解释变量的影响是随机的，我们有足够的理由认为其均值为0。即： （5-4） 因此有： （5-5） 我们将式（5-3）称为总体多元线性回归模型，它是真实的统计模型；式（5-5）称为总体多元线性回归方程，它是真实的回归“直线”。,和一元线性回归模型一样，总体是不能完全观测的，我们只能通过样本来对总体做推断。假如我们抽到一

3、个样本，对应的有n 个观测值，这样就得到了样本的回归模型和样本回归方程： （5-6） 其中 -参数的估计值（j=0，1，2，k） -残差项 （5-7） 比较式（5-6）和式（5-7），容易得到： （5-8）,在总体多元线性回归模型中，诸 （j=0，1，2，k）称为偏回归系数，其意义是在其他解释变量不变的条件下，某一个 变动对 平均变动的影响。,1.对模型和变量的假定 （1）在重复抽样中，诸X的值是固定的。也就是说，我们认为，在一个回归过程中，诸X是确定性变量，而不是随机变量。 （2）模型的设定是正确的。也就是说，模型没有设定偏误，即无论是从变量的设定还是函数形式的设定，模型都是正确的。,2.对

4、随机扰动项的假定 （1）零均值假定。即 的条件均值为0。 为了方便，我们将的条件均值简记为 。 （2）同方差假定。即 的条件方差相同。 （3）无自相关假定。即 对于不同的之间不存在线性相关性。,（4）与诸X之间不存在线性相关。即 与诸X的协方差为0。 （5）正态性假定。即 服从正态分布。 （6）无多重共线性假定。 这个假定的含义是在诸X之间不存在线性相关性；或者说在诸X中，不存在其中某一个X被其他的X线性表示。即存在不全为0的 使得正式成立： （5-9）,5.2多元线性回归模型的估计 多元线性回归模型的估计同样运用最小二乘法，与一元线性回归模型不同的是计算过程要复杂一些。下面以二元线性回归模型

5、为例来说明多元线性回归模型估计方法。 设样本的二元线性回归模型为： （5-11） 样本的二元线性回归方程为： （5-12） 则有： （5-13）,要使估计的误差为最小，则要满足 ，即： （5-14） 上式能否取得最小值取决于诸 ，所以式（5-14）是关于 的三元函数，而这个三元函数取得最小值的必要条件是其偏导数为0，即： （5-15） （5-16） （5-17）,注意到 ，上述三式也可以写为： （5-18） （5-19） （5-20）,将式（5-15）、（5-16）、（5-17）整理得： （5-21） （5-22） （5-23） 式（5-21）、（5-22）、（5-23）称为正规方程，由其组成

6、的方程组称为正规方程组。,可从中解出诸 ： （5-24） （5-25） （5-26） 式中 - 的平均值 - 的离差,设多元线性回归模型如式（5-3），对应的方程为（5-5）。假设k个解释变量X有n次取值，于诸X对应的Y有一“簇”取值，这样得到这些变量的n组观测值，则有： （5-27）,于是，这个方程组可以用矩阵表示为： （5-28） 其中,这样，总体多元线性回归模型和方程可以写成矩阵形式： （5-29） （5-30） 同样，我们将样本多元线性回归模型和方程可以写成矩阵形式： （5-31） （5-32）,我们可以用矩阵来表达对随机扰动项的古典假定： （）零均值假定,（）、（）同方差与无自相关假

7、定 由于 ，故有：,（4）随机扰动项与解释变量不相关 （5）正态性假定 （6）无多重共线性假定 ，即矩阵X满秩。,我们还可以用矩阵得到最小二乘法的估计结果。 一般的，k元线性回归模型的偏导数可以表示为：,（5-33）,在样本回归方程两边同乘以X的转置矩阵得到正规方程组： （5-34） 由于模型中无多重共线性，则矩阵X满秩，故 存在，从式（5-34）中可解出 ： （5-35） 用矩阵表示多元线性回归模型会使其表达式变得简洁，还可以引入矩阵的运算使计算过程简化。但一般情况下，我们是用矩阵来表示或推导一些性质，最小二乘法的估计结果用Eviews得到。,【例5-3】居民的消费支出除了受到收入的影响外，

8、还会受到物价的影响。以全国城镇居民1990-2009年的消费绝对数、职工平均工资、定基价格指数为变量设定二元线性回归模型（数据见例5-3，数据来源：中国统计年鉴2010）, 运用Eviews对模型进行估计。 解：打开Eviews录入数据，并对变量命名：其中Y居民消费水平 X1职工平均工资 X2定基价格指数,在命令栏中输入命令：ls y c x1 x2回车后即得到估计的结果：,估计的回归方程为： 这个回归结果说明，在价格指数保持不变的条件下，平均工资增加1元，消费水平增加约0.29元；在平均工资不变的条件下，价格指数每增加一个百分点，消费水平会增加约12.83元。 由这个结果可以得到，价格指数对

9、消费的影响程度是较高的。,5.3多元线性模型最小二乘估计量的性质 与一元线性OLS回归一样，多元线性OLS回归也具有相同的性质。 1.多元线性回归OLS回归直线的代数性质 我们运用最小二乘法得到了多元线性回归模型的样本方程，由这个方程决定的直线具有与一元线性回归直线相同的性质，下面我们以二元线性回归直线进行说明：,（1）各变量的均值在回归直线上 由式（5-24）即得： (2)Y估计值的均值等于Y的实际值的均值 即： （3）残差的均值为0 即: （4）残差与解释变量不相关 即: 、 （5）残差与Y的估计值不相关 即： 。 这些结果很容易推广到一般的多元线性OLS回归直线的情形。,利用这些结果，我

10、们可以得到多元线性回归模型和方程的离差形式。 （5-36） （5-37） （5-38） 式中 - 的离差（j=1，2，k）,.多元线性回归方程拟合优度的度量 与一元线性回归一样，我们可以得到其总变差的分解结果： TSSESS+RSS （5-39） 式中 ， ， 我们定义为多元线性回归方程的可决系数，其含义是由回归方程（诸X）对Y所做出解释的程度。显然，的值越接近1，表明回归方程解释的程度越高。,但是，在多元的情况下，可决系数 的取值会随着解释变量X个数的增加而增加，如果我们在模型中加入无关的解释变量就会增加 的值，这样就不能很好的说明拟合的程度了。,上式中的分母项总大于0，一般情况下分子项则会

11、随着项数的增加而增加。,由于多元线性回归方程的可决系数有这样的性质，所以其不能非常好的描述拟合的程度。这样，我们就需要对其进行必要的调整，方法是剔除多个解释变量对可决系数的影响，在其计算式中除以各自的自由度。 调整后的可决系数记为 。 （5-41） 在多元的条件下，我们一般会用调整后的可决系数判断拟合的程度。,3.多元线性回归OLS估计量的统计性质 一元线性回归OLS估计量有一个非常重要的统计性质，即：在满足古典假定的条件下，OLS估计量是最佳线性无偏估计量（BLUE），这个结论被称之为高斯-马尔可夫定理。与一元线性回归OLS一样，多元线性回归OLS估计量也有这样的结论。 （1）线性性 （2）

12、无偏性 （3）最小方差性,我们可以得到OLS估计量的协方差矩阵，而其对角线上对应元素就是方差： （5-42） 具体的每个估计量的方差为： （5-43） 式中 是矩阵 中第j行第j列位置上的元素。,以二元线性回归模型（5-11）为例，其估计量的方差为： （5-44） （5-45） （5-46）,由于是总体随机扰动项的方差，一般是未知的，故可以用样本方差来估计： （5-47） n-k-1称之为自由度，在二元线性回归模型中，由于k=2，所以自由度为n-3。 将 代入到（5-44）、（5-45）、（5-46）中，可得到对应方差的估计值，从而可以得到标准差的估计值： 、 、 。,4.多元线性回归OLS估

13、计量的抽样分布 由高斯-马尔可夫定理可知，多元线性回归OLS估计量在满足古典假定的条件下，OLS估计量是最佳线性无偏估计量。据此我们可以得到其抽样分布： （5-48）,5.参数的检验与区间估计 1.经济意义检验 经济意义检验就是要检验各项系数的符号是否与经济理论或者预期相同。 2.参数的检验 （1）模型设定整体的显著性检验（F检验）,构造检验统计量： （5-49） 给定显著性水平，如果F检验统计量的值 则我们就有理由拒绝原假设，说明模型设定整体上是显著的；否则不能拒绝原假设，说明模型设定在整体上是不显著的。,F检验检验也可以采用p值方法，在Eviews中我们可以得到F检验统计量的值和其对应的伴

14、随概率（即p值），可以简便的做F检验。,（2）模型设定变量的显著性检验（t检验） 对于这样的假设检验，与一元线性回归模型显著性检验一样采用t检验，但是自由度为n-k-1。 (5-50) 给定显著性水平 ，如果t检验统计量的绝对值 ，则我们有理由拒绝原假设，说明 不为0，对应的 显著的对对Y做出了解释；反之，则说明 没有显著的对Y做出了解释。 t检验也可以采用p值方法，在Eviews中我们可以得到t检验统计量的值和其对应的伴随概率（即p值），可以简便的做t检验。,3.偏回归系数的区间估计 偏回归系数的区间估计与一元线性回归模型的区间估计是相同的，基本的估计方法是： 的 的置信区间为： （5-51

15、） （j=1，2，k） 满足：,5.多元线性回归模型的预测 1.点预测 设多元线性回归模型为 ，其样本回归方程为 给定样本以外的各个解释变量的取值： 代入到样本回归方程得： （5-52） 容易证明，这个点预测是对总体平均值 的无偏估计，即 。,2.总体平均值的区间预测 可以证明: （5-53） （5-54） （5-55）,3.个别值 的区间预测 考虑 ，则有 ；可以证明，个别值的方差 。 构造t统计量： （5-56） 设显著性水平为 ，则置信水平为 。于是个别值 的 置信区间为： （5-57）,5.案例分析 【例5-4】投资、消费、净出口是影响经济发展的基本因素。为了测算三种基本因素对经济发展的影响，选取湖北省