《多元线性回归分析估计》由会员分享，可在线阅读，更多相关《多元线性回归分析估计（48页珍藏版）》请在金锄头文库上搜索。
1、Multiple Regression Analysis: Estimation 多元线性回归分析：估计 (1)y = b0 + b1x1 + b2x2 + . . . bkxk + u1第2章内容回顾 1. Definition of the Simple Regression Model 简单回归模型的定义 2. Deriving the Ordinary Least Squares Estimates 推导普通最小二乘估计量 3. Mechanics of OLS OLS相关的代数性质 4. Unites of Measurement and Functional Form 测量单位和函
2、数形式 5. Expected Values and Variances of the OLS estimators OLS估计量的期望值和方差 6. Regression through the Origin 过原点的回归2本章大纲1. 为什麽使用多元回归Motivation for Multiple Regression2. 普通最小二乘法的操作和解释Mechanics and Interpretation of Ordinary Least Squares3. OLS估计量的期望值The Expected Values of the OLS Estimators4. OLS估计量的方差T
3、he Variance of the OLS Estimators5. OLS的有效性：高斯马尔科夫定理Efficiency of OLS: The Gauss-Markov Theorem3本课大纲 1. 多元回归模型的结构 2. 为什么使用多元回归 3.多元回归模型中的零值条件期望假定 4.多元回归模型的OLS 估计及代数性质 5.解释多元回归模型参数 6. 简单回归模型与多元回归模型的比较41. 多元线性回归模型结构：5多元线性回归模型结构： 含有k个自变量的模型 多元线性回归模型一般可以写作： x1xk，k=2,K，多个解释变量。6多元回归模型的结构 b0 仍是截距(intercept
4、) b1到bk仍然都称为斜率参数(slope parameters) u仍是误差项(或干扰项) ( error term (or disturbance) )：除了x1xk之外，影响y的 其他因素。7多元回归模型的结构因变量自变量被解释 变量解释 变量响应 变量控制 变量被预测 变量预测元变 量回归子回归元8多元回归模型的结构 线性： 参数线性：对于回归模型参数是线性的。92. 为什么使用多元回归模型？10为什么使用多元回归？ 1. 为获得其它因素不变的效应，控制更多的因素在实证工作中使用简单回归模型,首要的困难在于：要得到在 其它因素不变的情况下， x1对y的影响(ceteris parib
5、us effect) ，非常困难。在简单线性回归中，是否能够获得在其它条件不变情况下， x1对y的影响(ceteris paribus effects of x on y)，完全取决于 零值条件期望假设是否符合现实。如果影响y的其它因素，与x1不相关，则改变x1，可以确保u( 均值)不变，从而识别出在其它条件不变情况下x对y的影响。不幸的是，影响y的其它因素(包含在u中)，往往与x1相关：改 变x1，u(均值)也往往发生变化，从而使得仅仅利用简单回归 模型，无法识别出在其它条件不变情况下x1对y的影响。11为什么使用多元回归？ 1. 控制更多的因素一个策略就是，将与x1相关的其他因素从误差项u
6、中取出来，放在 方程里，作为新的解释变量，这就构成多元回归模型。多元回归分析可以明确地控制许多其它同时影响因变量的因素， 而不是放在不可观测的误差项中，故多元回归分析更适合于其它 条件不变情况下（ceteris paribus）的特定因素x对y的影响。多元回归模型能容许很多解释变量，而这些变量可以是相关的。在使用非实验数据时，多元回归模型对推断y与解释变量x间的因 果关系很重要。12为什么使用多元回归？ 2. 更好地预测 一个变量y的变化，不仅与一种因素有关，可能 决定于许多因素。 预测一个变量的变化，往往需要尽可能多地知道 影响该变量变化的因素。 简单回归模型，只包含一个解释变量，有时只能
7、解释y的变动的很小部分。(如，拟合优度很低) 多元回归模型由于可以控制更多地揭示变量，因 此，可以解释更多的因变量变动。13为什么使用多元回归？ 3. 表达更多的函数关系 多元回归模型，可以包含多个解释变量， 因此，可以利用变量的函数变换，在模型 中表达多种函数关系。 因此，多元线性回归模型，是实证分析中 应用最广泛的分析工具。14为什么使用多元回归模型？ 例1: 教育对工资的影响 教育educ对工资wage的影响 一个简单回归模型: Wage= b0 + b1 educ +u 然而，上述工资方程中，许多影响工资，同时又与教 育年限相关的变量，被包含于误差项u中，如劳动力 市场经验等。一方面，
8、他们影响工资，但又不同于教 育，故包含于u中。另一方面，他们又与教育相关。 如教育年限越长，则参与劳动市场的时间就相对越短 。因此，零值条件期望假定不成立，会导致OLS估计 量b1 有偏。15例1: 教育对工资的影响 一个策略就是，最好能够将这些与教育相关的变 量找出来，放在模型中，进行控制。 一个多元回归模型：Wage= b0 + b1 educ + b2 exper+ u wage: 工资对数；educ: 教育年限; exper: 劳动 力市场经验(年)。 在此例中，劳动力市场经验exper，由于与感兴趣 变量教育educ相关，而被从误差项u中取出。16例2：预测高考成绩 预测高考成绩：
9、一个简单模型：成绩= b0 + b1 师资 +u 一个学生的期末成绩不仅决定于师资，还 决定于其他多种因素： 成绩= b0 + b1 师资 + b2 心理+ b3 方法+ b4 内在能力+ b5 家庭+b6 早恋+u17为什么使用多元回归？ 例3：收入与消费 假定存在一个模型：家庭消费cons是家庭 收入inc的二次方程，则模型可写作：cons = b0 + b1 inc + b2 inc2 +u 尽管该模型表述的是消费与收入两个变量之 间的关系，但是，简单回归方程无法实现。 这里，边际消费倾向(marginal propensity to consume)可以近似表达为：MPC =cons/
10、inc = b1 + 2b2inc 183. 零值条件期望假定19多元回归模型中的零值条件期望假定 多元回归的零值条件期望假定：E(u|x1,x2, ,xk) = 0 两层含义：(1) E(u)=0(2) E(u|x1,x2, ,xk) =E(u), 即, cov(u,xj)=0, j=1,k 注意：在上面例3中，零值条件期望假定可以表述 为：E(u|inc,inc2)= E(u|inc)=0204.多元回归模型的OLS 估计与 代数性质214.多元回归模型的OLS 估计 普通最小二乘法(OLS): 选择能最小化残 差平方和的参数估计值：224.多元回归模型的OLS 估计 如何得到OLS估计值
11、234.多元回归模型的OLS 估计 零值条件期望假定与距条件 一阶条件也是相关的总体矩在样本中 的对应。 E(u|x1,x2, ,xk) = 0E(u)=0Cov(u,xj)=0，j=1k 在估计之后，得到样本回归函数（ SRF），或称为OLS回归线：24OLS的代数性质 残差之和与平均值为零 OLS残差与每个自变量之间的样本协方差为零。 OLS残差与因变量拟合值之间的样本协方差为零。 点 总位于OLS样本回归线上。255. 解释多元回归模型： 其他因素不变； 剔除其他变量的影响；26解释多元回归模型 估计一个两自变量回归方程，得到： 是当x1=0, x2=0时，y的(平均值)预测值 (pre
12、dicted value), 或拟合值(fitted value). 则可以解释为局部效应(partial effect), 或其他因素不变效应(ceteris paribus)27解释多元回归 可解释为：当x2保持不变，即x2=0时 ，x1变化所引起的y的变化。 相应地， 可解释为：当x1保持不变，即 x1=0时，x2变化所引起的y的变化。28解释多元回归 对于所估计的一个多元回归函数： 进行差分，得到： 保持x2xk不变，意味着： 此时： 故， 解释为在其他解释因素不变的情况下，x1变化1单 位，所引起的y的(平均值)的变化数量。 因此，每一个均可解释为局部效应(partial effec
13、t),或其 他情况不变效应(ceteris paribus effect)29解释多元回归 教育对工资的影响 估计教育-经验-工资方程： wage= b0 + b1 educ + b2 experwage: 工资拟合值；educ: 教育年限; exper: 劳动力市场经验(年)。 差分得到：wage= b0 + b1 educ + b2 exper b1衡量的就是，在工作经验exper不变的情况下， 教育每增加1年，工资增加多少元； b2衡量的是，在教育水平educ不变的情况下，工 作经验每增加1年，工资增加多少元；30关于多元回归中的“保持其它因素不变” (Holding other fac
14、tors fixed) 多元回归中，所得到的“其他因素不变的效应” ，并非是通过在实际抽样中，固定其他因素 不变。 在教育-经验-工资一例中，在获得教育对的工 资其他条件不变影响时，在实际抽样中，也 并非是固定工作经验，收集不同教育年限的 样本，来分析教育年限变化，对于工资的影 响。 对个体进行随机抽样，就可通过多元回归分 析得到“其他因素不变的效应”。 多元回归分析的优势，在于它使我们能在非 实验环境中去做自然科学家在受控实验中所 能做的事情：保持其它因素不变。31一个“剔除其它变量影响”的解释 A “Partialling Out” Interpretation 对于估计的样本回归线 可以
15、表示为： ？32一个“剔除其它变量影响”的解释 A “Partialling Out” Interpretation 首先， 将第一个自变量x1对第二个自变量x2进行回 归，得到样本回归函数 ， 根据xi和拟合值 ，得到残差 。残差 表示剔除了x2的影响之后，x1的其他部分。它与x2 不相关,样本均值为0。 然后，将y对 进行简单回归得到 。 衡量的是，剔除了其他自变量的影响之后，x1 对于y的净影响。33“剔除其它变量影响” “Partialling Out” 上述过程表明：将y同时对x1和x2回归得出的 x1的影响，与先将x1对x2回归得到残差，再将 y对此残差回归得到的x1的影响相同。 同时说明，在多元回归模型中， x1的系数衡 量的是，x1中与其他自变量不相关的部分， 与y的相关关系。 即，在多元回归模型中，所估计的是，在其 他自变量对于x1的影响“被剔除(partialled out)”后，x1对y的影响。34“剔除其它变量影响” “Partialling Out” 在一个含有k个解释变量的一般模型中， 仍然可 以写成(3.22)式(证明见本章附录3A.2): 残差 是来自x1对x2 , xk的回归。 因此， 度量的是
