《计量经济学导论-伍德里奇02资料》由会员分享，可在线阅读，更多相关《计量经济学导论-伍德里奇02资料（34页珍藏版）》请在金锄头文库上搜索。
1、横截面数据的回归分析 简单回归模型 2 简单回归的术语1 在简单线性回归模型（ the simple linear regression model ） Y= =0+ 1X+ u Y被称为 因变量（Dependent Variable），或 被解释变量（Explained Variable），或 响应变量（response variable），或 回归子（Regressand） 3 简单回归的术语2 在简单线性回归模型（ the simple linear regression model ） Y=0+ 1X+ u （2.1） X被称为 自变量（independent variable），或
2、解释变量（explanatory variable），或 控制变量（control1 variable），或 回归元（Regressor），或 协变量（covariate） 变量u被称为关系式中的误差项（error term）或者干扰项 （disturbance），表示除 X 之外其他影响y的因素。 简单回归分析有效地把除 X 之外其他所有影响y的因素都看 成无法观测的因素。 保持u中其他因素不变，1是Y 和 X 的关系式中的斜率参 数（slope parameter），0 被称为截距参数（intercept parameter） 例2.1 大豆收成与施肥量 假设大豆收成由以下模型所决定： y
3、ield= b0+ b1fertilizer+ u （2.2） 于是，y=收成（yield），而x=施肥量（fertilizer）。 农业研究者感兴趣的是，在其他因素不变的情况下，施 肥量如何影响大豆收成。这个影响由b1给出，误差项u 包括了诸如土地质量、降雨量等因素。系数b1度量了 在其他条件不变的情况下施肥量对产出量的影响： 6 简单假设 假设总体中u的平均值为0，即 E(u) = 0 （2.3） 式（2.3）的约束性不是特别强，我们可以用b0来进行标准 化 ，令（2.3）成立。 对解释变量的假设 假设假设1、解释变量解释变量X是确定变量，不是随机变量；是确定变量，不是随机变量； 假设假设
4、2、解释变量解释变量X在所抽取的样本中具有变异性，随着在所抽取的样本中具有变异性，随着 样本容量的无限增加，解释变量样本容量的无限增加，解释变量X的样本方差趋于一有的样本方差趋于一有 限常数。即；限常数。即； 假设3旨在排除时间序列数据出现持续上升或下降的 变量作为解释变量，因为这类数据不仅使大样本统计推 断变得无效，而且往往产生所谓的伪回归问题伪回归问题 （spurious regression problem）。 对对随机干扰项的假设随机干扰项的假设 假设假设3、随机误差项具有零均值、同方差和不序列相关性： E(i)=0i=1,2, ,n Var (i)=2i=1,2, ,n Cov(i,
5、 j)=0 ij i,j= 1,2, ,n 假设假设4、随机误差项与解释变量X之间不相关： Cov(Xi, i)=0 i=1,2, ,n 假设假设5、服从零均值、同方差、零协方差的正态分布 iN(0, 2) i=1,2, ,n 以上假设也称为线性回归模型的经典假设经典假设或高斯（高斯（Gauss） 假设假设，满足该假设的线性回归模型，也称为经典线性回归模型经典线性回归模型 （Classical Linear Regression Model, CLRM）。 在施肥的例子中，如果施肥量与该地区的其他条件没有关系， 那么式E(u|X) = E(u) 成立：土地的平均质量不会依赖于施肥 量。然而，如
6、果更多的肥料被施用在更高质量的土地上，那 么u的期望值就会随着肥料的用量而改变，式E(u|x) = E(u) 也就不成立了。 式（2.4）表明，总体回归函数（population regression function，PRF） E(y|x) 是x的一个线性函数。线性意味着x 变化一个单位，将使y的期望值改变1之多，如下图所示， 对任何给定的X值，y的分布都以 E(Y|X) 为中心。 11 . . x1x2 E(y|x) as a linear function of x, where for any x the distribution of yis centered about E(y|x
7、) E(y|x) = 0+ 1x y f(y) 12 最小二乘法（Ordinary Least Squares） 令 (Xi, Yi): i=1, ,n 表示从总体中抽取的一个容量为n的随 机样本，样本的每个观测，一元线性回归模型可以写为 Yi =0 + 1Xi + ui 这里，ui包括除Xi 之外所有影响Yi 的因素，所以它是第i次 观测的误差项。 13 . . . y4 y1 y2 y3 x1x2x3x4 u1 u2 u3 u4 x y Population regression line, sample data points and the associated error terms
8、 E(y|x) = 0 + 1x 14 OLS 估计的推导 为了推导OLS估计，假定 of E(u|X) = E(u) = 0 和（2.5） Cov(X,u) = E(Xu) = 0 （2.6） 因为（Cov(X,Y) = E(XY) E(X)E(Y)） 用可观测变量X和Y以及未知参数和来表示，（2.5）和（2.6）可分别写为 （2.7） （2.8） （2.7）（2.8）意味着总体中的联合概率分布的两个限制，为矩限制 （moment restrictions ）。 15 用矩估计法推导OLS 矩估计法，利用样本矩来估计总体中相应的参数. 最简单的矩估 计法是用一阶样本原点矩来估计总体的期望而用
9、二阶样本中心矩 来估计总体的方差. 根据矩估计法，和 （2.7）（2.8），我们有 16 由第一个条件，我们有 17 Economics 20 - Prof. Anderson18 得到斜率参数估计 19 斜率参数估计总结： 斜率参数估计是x和y的样本协方差与x的样本方差之比。 （分子、分母同时除以n-1，对结果不会产生影响）。 如果x和y正相关，则为正；如果X和Y负相关，则 为负。 样本需要X在总体中有变化，即保证 20 More OLS 实际上，OLS是通过样本点拟合一条直线，拟合时是令残差平方和 最小化 残差是干扰项的估计，是拟合直线和样本点之间的差。 21 . . y1 xi x y
10、Sample regression line, sample data points and the associated estimated error terms =拟合值 =残差 例例：在上述家庭可支配收入可支配收入- -消费支出消费支出例中，对于所抽出的一组样本数， 参数估计的计算可通过下面的表2.2.1进行。 最小二乘估计量的性质 当模型参数估计出后，需考虑参数估计值的精度，即是否能代 表总体参数的真值，或者说需考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方面考察其优劣性： （1）线性性）线性性，即它是否是另一随机变量的线性函数； （2）无偏性）无偏性，即它的均
11、值或期望值是否等于总体的真实值； （3）有效性）有效性，即它是否在所有线性无偏估计量中具有最小 方差。 （4）渐近无偏性渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋 于总体真值； （5）一致性一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体 的真值； （6）渐近有效性渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致 估计量中具有最小的渐近方差。 这三个准则也称作估计量的小样本性质。小样本性质。 拥有这类性质的估计量称为最佳线性无偏估计量最佳线性无偏估计量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的
12、大样本大样本或或渐近性质渐近性质： 高斯高斯马尔可夫定理马尔可夫定理(Gauss-Markovtheorem) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性 无偏估计量。 证明： 其中 证：证： 易知 故 同样地，容易得出 2、无偏性、无偏性，即估计量的均值（期望）等于总体回归参数。 3、有效性（最小方差性），即在所有线性无偏估计量中，最 小二乘估计量具有最小方差。 （1）先求的方差 （2）证明最小方差性 假设是其他估计方法得到的关于的线性无偏估计量，令 其中，ci=ki+di，di为不全为零的常数 则容易证明 同理，可以证明的最小二乘估计量具有最小方差。 普通最小二乘估计量
13、普通最小二乘估计量（ordinary least Squares Estimators）称 为最佳线性无偏估计量最佳线性无偏估计量（best linear unbiased estimator, BLUE） 由于最小二乘估计量拥有一个由于最小二乘估计量拥有一个“好好”的估计量所应具备的小样本的估计量所应具备的小样本 特性，它自然也拥有大样本特性特性，它自然也拥有大样本特性。 如：考察的一致性 参数估计量的概率分布及随机干扰项方差的估计 1、参数估计量和的概率分布 普通最小二乘估计量分别是的线性组合，因 此，的概率分布取决于Y的分布特征。 在是正态分布的假设下，Y 是正态分布，则也 服从正态分布
14、，因此 的标准差为 2、随机误差项、随机误差项 的方差的方差 2的的估计估计 在估计的参数在估计的参数的方差表达式中，都含有随机扰动项的方差表达式中，都含有随机扰动项的方差的方差。 由于由于实际上是未知的，因此实际上是未知的，因此的方差实际上无法计算，这就需的方差实际上无法计算，这就需 要的对其进行估计。要的对其进行估计。 由于随机项 i不可观测，只能从 i的估计残差ei i出发，对总体方差进 行估计。 可以证明可以证明，2的最小二乘估计量最小二乘估计量为 它是关于2的无偏估计量。 在极大似然极大似然法法中， 因此， 2 2的的极大极大似然似然估计量估计量不具无偏性不具无偏性，但却具有一致但却具有一致 性性。
