《计量经济学的2.2一元线性回归模型的参数估》由会员分享，可在线阅读，更多相关《计量经济学的2.2一元线性回归模型的参数估（71页珍藏版）》请在金锄头文库上搜索。
1、1,概念：,在给定解释变量Xi条件下被解释变量Yi的期望轨迹相应的函数称为总体回归函数（PRF）,基于样本数据，所得到的总体回归函数的一个估计函数称为样本回归函数。,回顾,问题：当我们设定总体回归模型的函数形式后，如何通过样本数据得到总体回归函数的一个估计（即样本回归函数）？-参数估计问题,2,2.2 一元线性回归模型的参数估计,一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计（OLS） 三、参数估计的最大或然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干扰项方差的估计,3,单方程计量经济学模型分为两大类：线性模型和非线性模型,线性模型中，变量之间的关系呈线性
2、关系 非线性模型中，变量之间的关系呈非线性关系,一元线性回归模型：只有一个解释变量,i=1,2,n,Y为被解释变量，X为解释变量，0与1为待估参数， 为随机干扰项,一元线性回归模型的定义,4,回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。,5,普通最小二乘法（Ordinary Least Squares, OLS）德国数学家高斯提出。简单，应用广泛。 (2)最大似然法（Maximum Likelihood）在线性模型上估计值与OLS法相同。,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。,注：实际这些假设与所采用的估计方法紧密相关
3、。,两种参数估计方法,6,普通最小二乘法（OLS）原理,构造SRF的原则：回归线尽可能好地拟合样本观测值。,7,参数的普通最小二乘估计（OLS）,普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：样本观测值与样本回归函数值二者之差的平方和,最小。,8,方程组（*）称为正规方程组（normal equations）。,参数的普通最小二乘估计（OLS）,9,记,参数的普通最小二乘估计的离差形式,为X和Y的样本均值,和,为Xi和Yi对均值的离差,和,可得：,10,进而，参数估计量可以写成：,参数的普通最小二乘估计的离差形式,why？,故,可表示为：,称为OLS
4、估计量的离差形式（deviation form）。 由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators）。,why？,11,若记,则有,可得,（*）式也称为样本回归函数的离差形式。,（*）,注意：在计量经济学中，往往以小写字母表示对均值的离差。,样本回归函数的离差形式,或,why？,12,将最后一个等式两边对样本值求和并同除以样本大小n，即得,1. OLS回归线通过Y和X的样本均值，即：,OLS回归线的性质(1),根据正规方程：,可得,2. 估计的Y( ),均值等于实测的Y均值,13,3. 残差 的均值为0,O
5、LS回归线的性质(2),根据正规方程：,并对上式两端求和有：,即：,或,14,4. 残差 和预测的Yi值不相关， 即,OLS回归线的性质(3),5. 残差 和Xi值不相关即,why？,why？,15,经典线性回归模型的基本假设的引入,在回归分析中我们的目的不仅仅是获得参数的估计值，而且要对参数估计值作出推断 。例如： 和 离它们相应的真实值有多远？ 与其期望值E(Yi|Xi)多接近？由PRF： 可知，Yi依赖于Xi 和ui，除非我们明确Xi 和ui的产生方式，否则我们将无法对Yi 作任何推断。同时，为了使得使用OLS方法的估计量具有良好的性质，我们作出如下假设。,16,线性回归模型的基本假设（
6、1）,假设1、解释变量X是确定性变量，不是随机变量；即在重复样本中，X的值被认为是固定的。例如：把收人值X固定在80美元的水平上。我们随机地抽取一个家庭。并观测到它的每周家庭消费支出Y，比方说为60美元，仍然把X固定在80美元，而随机地另抽取一个家庭并观测到它的Y值是75美元。在每次抽取（即重复抽样)中，X值都固定在80关元二我们可以对表中的全部X值重复这一过程。,17,线性回归模型的基本假设（2-1）,假设2、随机误差项具有零均值、同方差和不自相关性：(2.1) 零均值： E(i|Xi)=0 i=1,2, ,n意为：对给定的X值，随机干扰项ui的均值（条件期望）为0，几何意义见下图：,18,
7、这一假定无非是说，凡是模型不含的因而归属于ui的因素，对Y的均值都没有系统的影响。因此正的ui值就抵消了负的ui值，以致它们对Y的平均影响为零。,19,线性回归模型的基本假设（2-2）,假设2、随机误差项具有零均值、同方差和不自相关性： (2.2) 同方差 Var (i|Xi )=2 i=1,2, ,n意为：对给定的X值，随机干扰项ui的条件方差是恒定的。 几何意义见下图：,20,同方差性,21,异方差性,22,如异方差图所表明，var(u|X1)var(u|X2)var(u|X3)var(u|Xi)。 因此，很有可能，来自X=X1时的Y总体的观测值比来自X2, X3等等时的Y总体的观测值会更
8、靠近PRF。简言之:并不是对应于不同X的所有Y值都是同样可靠的。可以根据Y值多么靠近或多么远离其均值(也就是PRF上的点）分布以判断其可靠程度。因此，我们可以认为那些离均值较近的Y总体的样本比远为分散的Y总体的样本更为可取。同方差假设表明：对应于不同X值的全部Y值具有同样的重要性。,23,线性回归模型的基本假设（2-3）,假设2、随机误差项具有零均值、同方差和不自相关性(不序列相关)：(2.3) 不自相关： Cov(i, j|Xi, Xj)=0 ij i,j= 1,2, ,n 或记为Cov(i, j)=0 ij i,j= 1,2, ,n意为：相关系数为0， i, j非线性相关。 几何意义如下,
9、24,给定Xi值;.任意两个Y值对它们的均值的离差都不会表现出如图(a)和 (b)的模式。该假设是说，我们只考虑Xt对Yt的系统性影响和是否有影响，而不去担心由于u之间的可能的交互相关而造成的其他可能作用于Y的影响。,25,线性回归模型的基本假设（3）,假设3、随机误差项与解释变量X之间不相关：Cov(Xi, i)=0 i=1,2, ,n,作此假设的理由：当我们把PRF表述为 时，我们假定了X和u(后者代表所有被省略的变量的影响)对Y有各自的（并且可加的)影响。但若X和u是相关的，就不可能评估它们各自对Y的影响。,Xi确定,26,线性回归模型的基本假设（4）,假设4、服从零均值、同方差、零协方
10、差的正态分布iN(0, 2 ) i=1,2, ,n 意为：ui服从正态分布且相互独立。因为对两个正态分布的变量来说，零协方差或零相关意为这两个变量独立。作该假设的理由：i代表回归模型中末明显引进的许多解释变量的总影响，利用统计学中著名的中心极限定理：如果存在大量独立且相同分布的随机变量，那么，随着这些变量的个数无限地增大，它们的总和将趋向正态分布。,注意：在古扎拉蒂教材中，该假设是作为经典正态线性回归模型的假设，并非经典线性回归模型的假设。,27,1、如果假设1、2满足，则假设3也满足;2、如果假设4满足，则假设2也满足。,注意：,以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设，
11、满足该假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM）。,28,线性回归模型的基本假设（5）,假设5、var(X)必须是一个有限的正数。（教材的假设5）意为：在一个给定的样本中，X值不可以全是相同的如果全部X值都相同，则 ，方程 的分母就变为零，从而无法估计 ，也就无法估计 。又如： 家庭消费支出例子，如果家庭收入很少变动，我们就不能解释消费支出的变化。读者应该记住，要把回归分析作为一种研究工具来使用，Y和X两者均有变化是最为重要的。简言之，变量必须在变!,29,线性回归模型的基本假设（6-1）,假设6、回归模型是正确
12、设定的。 模型的正确设定表现为以下几个方面： （1）模型应包括哪些变量 （2）模型的函数形式如何（线性？非线性？） （3）对进入模型的变量要做些什么概率上的假定(Xi, Yi, ui),30,线性回归模型的基本假设（6-2）,实际上人们很少知道模型应包括的正确变量、模型的正确函数形式或关于进人模型变量的正确的概率假定是什么。因为，关于某一具体研究的基础理论未必牢靠或扎实到足以回答所有这些问题。因此，在实践中，计量经济学家在选择进入模型的变量个数、模型的函数形式以及关于模型所含变量的概率性质的假定时，必须做出一些自己的判断。为做经验分析而选择“正确”模型在一定程度上涉及一些尝试与纠错过程。计量经
13、济的模型建造，与其说是一种科学，毋宁说是一种艺术,31,线性回归模型的基本假设(7),补充三个假设假设7、回归模型是线性模型。（对参数而言为线性）假设8、没有完全的多重共线性。即解释变量之间没有完全的线性关系。假设9、观测次数大于待估计参数个数。,32,习题（1）,P53：4,33,最小二乘估计量的性质,当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。,一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1）线性性，即它是否是样本观测值的线性函数；（2）无偏性，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线
14、性无偏估计量中具有最小方差。,34,（4）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值； （5）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值； （6）渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。,这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（best liner unbiased estimator, BLUE）。,当不满足小样本性质时，需进一步考察估计量的大样本或渐近性质：,35,高斯马尔可夫定理(Gauss-Markov theorem)在给定经典线性回归的假定下，最小二乘估计量是具
15、有最小方差的线性无偏估计量。,why？,36,证：,易知,故,同样地，容易得出,why？,37,38,（2）证明最小方差性,其中，ci=ki+di，di为不全为零的常数 则可证明,普通最小二乘估计量（ordinary least Squares Estimators）称为最优线性无偏估计量（best linear unbiased estimator, BLUE）,why？教材没有，请补充,39,由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性。,why？,40,1）满足线性性、无偏性、有效性三个小样本性质的参数估计量称为最佳线性无偏估计量（best linear unbiased estimator，BLUE）。,2）满足小样本性质的参数估计量自然也满足大样本性质。,3）在小样本性质不满足的情况下，应扩大样本容量，考察大样本性质。,4）在满足基本假设情况下，一元线性回归模型的普通最小二乘参数估计量是最佳线性无偏估计量。（why?）,几点说明：,41,变量及参数估计量的概率分布,前提： iN(0, 2 )1.变量Yi满足正态分布,其中：,因此：,42,变量及参数估计量的概率分布,前提： iN(0, 2 )1.估计量 和 满足正态分布,
