计量经济学第2章一元线性回归模型

《计量经济学第2章一元线性回归模型》由会员分享，可在线阅读，更多相关《计量经济学第2章一元线性回归模型（45页珍藏版）》请在金锄头文库上搜索。

1、1,第2章 一元线性回归模型 2.1 模型的建立及其假定条件,1.回归分析的概念 回归分析是处理变量与变量之间关系的一种数学关系。 经济变量之间的关系，一般分为两类： 一类是变量之间存在的确定函数关系；Yi=PXi 另一类是变量之间存在着非确定的依赖关系。Yi=f(Xi)+ui 回归分析的理论和方法是计量经济模型估计理论和估计方法的主要内容。,2,2.一元线性回归模型 例如：Yi=1+2Xi +ui 其中Yi某市城镇居民年人均鲜蛋需求量，称作被解释变量； Xi某市城镇居民年人均可支配收入，称作解释变量； ui随机误差项（随机扰动项或随机项、误差项）； 1、2回归系数（待定系数或待定参数）。 随

2、机误差项ui中一般包括以下几个方面的因素： （1）回归模型中省略的变量； （2）人们的随机行为； （3）建立的数学模型的形式不够完善； （4）测量误差。,3,Y 0 X Yi=1+2Xi表示X与Y之间的线性部分，称作总体回归直线。 样本值与回归直线的偏离ui表示对这种线性关系的随机扰动。 即ui= Yi-Yi （i=1,2,n）,4,3.随机误差项的假定条件 (1)E(ui)=0，i=1,2, (2)Var(ui)=Eui-E(ui)2=E(ui2)=u2, i=1,2, (3)Cov(uiuj)=Eui-E(ui)Ej-E(uj) =E(uiuj)= 0，ij (4)Cov(ui,Xi)=E

3、ui-E(ui)EXi-E(Xi) =E(uiXi)=0，i=1,2, (5)ui服从正态分布,即uiN(0,u2) 前五条称为线性回归分析的经典假设条件，是古典线性回归模型的基本假定。,5,2.2 一元线性回归模型的参数估计,1.普通最小二乘法（OLS） 总体回归模型： 总体回归方程： 样本回归模型： 样本回归方程：,6,下面用最小二乘法求总体回归系数1、2的估计值 。即令 根据微积分多元函数极值原理，要使上式达到最小，对 的一阶偏导数都等于零，即,7,正规方程组,8,求解得到：,9,2.几个常用的结果 （1） （2） （3） （4）,10,3.截距为零的一元线性回归模型的参数估计 一元线性

4、回归模型的一般形式为 当ui满足假定条件时，的最小二乘估计量为,11,2.3 最小二乘估计量的统计性质,1.线性性 最小二乘估计量 均是Yi的线性函数，即可以表示为Yi的线性组合。 证明： 其中,12,前面的式子可记为 表明是Yi的线性组合，其中bi不全为零，线性性得证。 的线性性可利用 的线性性得到。 可记为 这表明 同样是Yi的线性组合，其中Wi也不全为零，线性性也得到证明。,13,2.无偏性 无偏性指 的数学期望分别等于总体回归系数的值1和2，即 证明： 即 是参数真实值2的无偏估计得到了证明。推导,14,同样地，证明 的无偏性。 即 是1的无偏估计。,15,3.最小方差性 最小方差性，

5、即在1和2所有可能的线性无偏估计中，最小二乘估计 的方差最小。 证明思路：假设 是1和2的任意其他线性无偏估计，设法证明满足Var( )Var( )和Var( )Var( )。这两个不等式的证明相似，因此只证明其中第二个不等式。,16,因为 是2的线性无偏估计，因此根据线性性， 可以写成下列形式： 其中i是线性组合的系数，为确定性的数值。则有 由于 是2的无偏估计，因此不管Xi的取值如何，上式都必须等于2。这就要求 必须成立。,17,因此 再计算方差Var( )，得 为了比较Var( )和Var( )的大小，可以对上述表达式做一些处理：,18,前面式子中的第三项 因此 这样 的最小方差性就得到

6、了证明。,19,由于最小二乘估计量 具有线性性、无偏性、最小方差性，因此被称为最佳线性无偏估计量（The Best Linear Unbiased Estimator），简称BLUE性质。,20,2.4用样本可决系数检验回归方程的拟合优度,本节要检验的是样本回归线对样本观测值的拟合优度。样本观测值距回归线越近，拟合优度越好，X对Y的解释能力越强。 判断回归结果好坏的基本标准，是回归直线对样本数据的拟合程度，称为“拟合优度”。回归直线的拟合优度一方面取决于回归直线的选择，这是由参数估计方法决定的，另一方面取决于样本数据的分布。当参数估计方法固定时，主要取决于样本数据的分布。 样本数据的分布在本质

7、上是由变量关系决定的。因此回归拟合度也是检验模型变量关系真实性，判断模型假设是否成立的重要方法。,21,1.总离差平方和的分解,Y,Yi,O,X,Xi,(Xi,Yi),22,仅仅考察个别Yi由回归直线或解释变量决定的程度，或者对Yi逐点进行离差分解，仍然难以判断总体拟合情况。为此进一步考察所有Yi离差平方和的分解问题。所有Yi离差的平方和记为 ，称“总离差平方和”。分解可得,23,下证明最后一项等于零。 即 所以 也可写为 即总离差平方和可分解为两部分，一部分为： 称为“回归平方和”,记为ESS；另一部分为： 称为“残差平方和”，记为RSS。,24,因此有 TSS=ESS+RSS 即 总离差平

8、方和=回归平方和+残差平方和 前一部分ESS相对于后一部分RSS越大，说明回归拟合程度越好，Y与X之间的线性决定关系越明显。,25,2.样本可决系数 将TSS=ESS+RSS两端同除以TSS，得到 或 式中的 正是反映解释变量对被解释变量决定程度的指标，称之为“样本可决系数”(determined coefficient)，也叫决定系数、判定系数，通常用R2表示。,26,这个指标的计算公式是 或 R2是样本回归线与样本观测值拟合优度的度量指标，其数值在0到1之间。 R2=0，解释变量X与Y没有线性关系； R2=1，样本回归线与样本观测值重合，X与Y在一条直线上； 0R21，R2越接近1，样本回

9、归线对样本值的拟合优度越好，X对Y的解释能力越强。,27,3.样本相关系数 样本相关系数是变量X与Y之间线性相关程度的度量指标。定义为 其取值范围为|r|1，即-1r1。,28,当r=-1时，表示X与Y之间完全负线性相关； 当r=1时，表示X与Y之间完全正线性相关； 当r=0时，表示X与Y之间无线性相关关系，即说明X与Y可能无相关关系或X与Y之间存在非线性相关关系； 当0|r|1时，X与Y之间存在一定的线性相关关系。,29,2.5回归系数估计值的显著性检验,检验 的统计可靠性，为此，首先考虑其概率分布。 假定i服从正态分布，因此Yi也服从正态分布， 也服从正态分布。 即,30,1.随机变量u的

10、方差 随机变量ui的方差u2是一个不可能测量计算出的量。因此，我们只能用它的估计值e的方差，作为它的方差估计值。 即 并且可证明，它还是u2的无偏估计量，即 由此可知， 的标准差估计值分别为,31,2.回归系数估计值的显著性检验t检验 模型回归系数估计值的显著性检验，即检验模型回归系数是否显著异于0，是基本的一种假设检验。 一元线性回归模型的基本出发点就是两个变量之间存在因果关系，认为解释变量是影响被解释变量变化的主要因素，而这种变量关系是否确实存在或者是否明显，会在回归系数1的估计值中反映出来。若1的估计数值较大，说明两变量的关系是明显的，若1的估计数值较小，甚至无法排除它等于0的可能性，说

11、明这两个变量之间的关系不明显，模型的基本设定不成立。因此显著性检验对于确定变量关系和模型的真实性非常重要。,32,对回归系数估计值的显著性检验用t检验。根据 的概率分布，由数理统计知，来自单一样本的估计值 的t统计量为 对于 可以通过下列变换转化为服从标准正态分布的随机变量 用 代上式中未知的2得到的统计量为 服从的分布是自由度为n-2的t分布。,33,具体检验步骤如下： 提出原假设H0：1=0，备择假设H1：10。 计算t统计量， 给出显著水平（一般常用0.05或0.01），查自由度n-2的t分布表，得临界值t/2(n-2)。 做出判断。如果|t|t/2(n-2)，拒绝H0，接受H1：10，

12、表明X对Y有显著影响。,34,补充：F检验 与t检验相对比，t检验属于回归系数估计值的统计显著性检验，是对个别参数感兴趣的检验。而F检验属于回归方程的显著性检验，它是对所有参数感兴趣的一种显著性检验。 其检验步骤如下： 第一步：提出假设。 原假设H0：0=1=0，备择假设H1：01不同时为零。 第二步：构造F统计量。 即统计量F服从第一自由度为1，第二自由度为n-2的F分布。,35,第三步：给定显著性水平，查F分布临界值得到F(1,n-2)。 第四步：做出统计决策。若FF(1,n-2)时，拒绝原假设H0，接受备择假设，则认为X与Y的线性相关关系显著，即回归方程显著；若F F(1,n-2)时，接

13、受原假设H0 ，则认为X与Y的线性相关关系不显著，即回归方程不显著。,36,补充：四种检验的关系 前面介绍的拟合优度(R2)检验、相关系数(r)检验、t检验和F检验，对于一元线性回归方程来说，这四种检验是等价的。 可以了解： 因此，对于一元线性回归方程，我们只需作其中的一种检验即可。但对于多元线性回归方程这四种检验有着不同的意义，并不是等价的，需分别进行检验。,37,补充：回归方程的标准记法 为了方便，我们往往将回归方程的参数估计和系数的显著性检验统计量结果放在一起。 例如： 注：t统计量右上角的星号表示显著性水平的大小，一个星号表示在显著性水平5%下显著，两个星号表示在显著性水平1%下显著，

14、无星号表示5%下不显著。,38,2.6 一元线性回归方程的预测,1.点预测 根据一元线性回归模型的回归直线进行预测，只要把解释变量X的一个特定值X0代入回归方程，就可以得到被解释变量Y的一个相应的预测值 我们称 为被解释变量的“点预测”。,39,由于回归直线与真实的变量关系不可能完全相同，而且变量关系本身是随机函数关系，因此预测与将来实际出现的结果之间必然存在误差。设Y将来实际出现的对应X0的被解释变量值为Y0，预测值 与Y0之间的偏差e0=Y0- =Y0-( + X0),称为“预测误差”。由于在预测的当时Y0是未知的，因此预测误差e0也是未知的，是一个随机变量。,40,无偏性 即 是Y0的无

15、偏预测，E( )=Y0。 证明如下： 因此 是Y0的无偏预测性质得证。,41,X0是可任意给定的。 如果X0在样本区间内，即为X1 ，X2 ，Xn样本点之一，则点预测的过程称为“内插预测”。 如果X0是样本区间之外的点，则预测过程称为“外推预测”。,42,2.区间预测 （1）单个值的预测区间 令e0=Y0- 且可知 即可知e0服从均值为零，方差为2(e0)的正态分布。 用Se2代2(e0)中未知的u2得到2(e0)的估计值,构造t统计量 给出置信度1-,查自由度为n-2的t分布表，得临界值t/2(n-2),t值落在(-t/2,t/2)的概率是1-，即P-t/2tt/2=1- 整理得 即在置信度1-下，Y0的置信区间为,43,因此，当置信水平1-给定之后， Y0预测区间的大小由e0的标准差 决定。实际由 绝对值的大小决定。X0越接近样本区间内的解释变量X的平均值，Y0的置信区间就越小，预测结果就越可靠；反之，预测值就越不可靠。 当我们进行外推预测时，X0的值一般比n个样本点X1,X2,Xn都远离样本均值，且外推期越长，X0越远离样本均值，预测区间也就越大。,44,（2）均值的预测区间,45,