《线性回归模型（计量经济学北京师范大学刘泽云）》由会员分享，可在线阅读，更多相关《线性回归模型（计量经济学北京师范大学刘泽云）（113页珍藏版）》请在金锄头文库上搜索。
1、第三讲 线性回归模型 Linear Regression Model,一、基本概念 二、二元线性回归模型 三、多元线性回归模型 四、回归模型的函数形式 五、包含虚拟变量的回归模型,回归的涵义 总体回归函数和样本回归函数 回归分析中的常用术语 经济数据的分类,一、基本概念,回归的涵义,regress: return to an earlier or more primary form or state 最初的涵义：“回归”一词最早由英国生理学家高尔顿（Galton,1886）提出，用以指儿女的身高有回复到人口总体平均身高的趋势。 回归分析研究因变量对一个或多个自变量的依赖关系，其用意在于通过后者
2、的已知值，去估计或预测前者的总体均值（古扎拉蒂，1995）,回归的涵义,例子,U,X,Y,总体回归函数和样本回归函数,总体回归函数（population regression function,PRF） 总体：北京师范大学全体教职工（3000人） 问题：北京师范大学教职工的工资W与受教育年限S的关系,W,S,总体回归函数和样本回归函数,总体回归函数的另一种表述 误差（error）的来源 其他解释变量的影响 测量误差 人类行为的随机性,总体回归函数和样本回归函数,总体回归函数图解,Si,PRF,Wi,A,C,E(W|Si),PRF,ui,总体回归函数和样本回归函数,样本回归函数（sample r
3、egression function,SRF） 样本：从上述总体中随机抽取了100人 问题：根据样本数据估计总体中工资W与受教育年限S的关系,W,S,总体回归函数和样本回归函数,样本回归函数的另一种表述,W,S,对于每一个样本都会有一个SRF，每一个SRF都各不相同，都是PRF的一个近似。至于真正的PRF是什么，我们不知道,SRF1,SRF2,总体回归函数和样本回归函数,图解,Si,PRF,SRF,Wi,A,B,C,E(W|Si),总体回归函数和样本回归函数,小结,回归分析中的常用术语,线性模型（Linear model）：所谓线性，是指对参数是线性的，并非指对变量是线性的。,回归分析中的常用
4、术语,回归分析中的常用术语,相关与回归（correlation & regression） 从逻辑上说，回归分析本身并不意味着因果关系，对因果关系的判断来源于经济理论,回归分析中的常用术语,确定性关系（deterministic relationship） 处理确定性变量 统计关系（statistical relationship） 处理随机变量（random/stochastic variable）,经济数据的分类,根据数据的结构 时间序列数据（time series data） 横截面数据（cross-sectional data） 混合数据（pooled data） 平面板数据/综列数据
5、（panel data） 根据数据的性质 定类变量（nominal/categorical variable） 定序变量（ordinal variable） 定距变量（interval variable） 根据数据的来源 非实验/观测数据（non-experimental/observational data） 实验数据（experimental data）,研究结果不可能比数据的质量更好！,经典线性回归模型 参数估计 假设检验 预测,二、二元线性模型,经典线性回归模型,如果线性回归模型满足下列条件，称之为经典线性回归模型（classical linear regression model,
6、CLRM） 上述假定是针对总体回归函数的，而对于样本回归函数，这些假定可能不成立,参数估计,普通最小二乘法（method of ordinary least square,OLS ）的基本思想，就是要找到一组合适的参数估计值，使得因变量的估计值与实际值在总体上最为接近,X3,SRF,X1,X2,Y3,Y2,Y1,参数估计,截距系数和斜率系数的OLS估计量（OLS estimator , p.91 ）,参数估计,回归标准误：误差项标准差的估计,参数估计,OLS估计量的方差和标准差（p.101） 有了OLS估计量之后，还应判定估计量离参数真值的平均距离，这就需要对估计量的方差进行估计。这也是以后进
7、行假设检验的要求,参数估计,OLS估计量的方差估计和标准差估计（p.101）,参数估计,OLS估计量的性质： 高斯马尔科夫定理：在经典线性回归模型的假定下，最小二乘估计量是最优线性无偏估计量（BLUE）,参数估计,例题3.1 已知家庭消费支出C与家庭可支配收入I的相关数据如下： 用最小二乘法估计出以C为因变量的样本回归方程 计算回归标准误和回归系数估计量的标准误 参看：课本p92-94的实例,参数估计,习题3.1 已知1970-1980年美国咖啡的真实价格P（美元/磅）与人均每日咖啡消费量D（杯）的相关数据如下： 请用最小二乘法估计出以D为因变量的样本回归方程 计算回归标准误和回归系数估计量的
8、标准误,参数估计,经典正态线性回归模型 如果仅仅进行参数的点估计，不需要对误差项的概率分布作出假设；但如果要进行区间估计和假设检验，就需要知道误差项的概率分布。 如果经典线性回归模型的误差项服从正态分布，则称该模型为经典正态线性回归模型（classical normal linear regression model, CNLRM）,参数估计,经典正态线性回归模型 正态性假定的依据：中心极限定理 误差项代表除了模型中的自变量以外，其他诸多因素对因变量的综合影响程度。根据中心极限定理，这样的一个随机变量趋向于服从正态分布，而经典线性模型的其他假定保证了误差项的均值为0，而且是同方差的。因此，误差
9、项服从均值为0的、方差相同的正态分布（课本p105）。,参数估计,正态性假定下OLS估计量的性质,参数估计,正态性假定下OLS估计量的性质,参数估计,区间估计,参数估计,区间估计,参数估计,例题3.2：家庭消费支出C与家庭可支配收入Y的相关数据如下：,假设检验,置信区间法 根据估计值和置信系数构造置信区间，可以对原假设作出检验,假设检验,显著性检验法,假设检验,例题3.2,假设检验,例题3.3,假设检验,t检验和“2倍法则” 例题：课本p.108,假设检验,拟合优度检验 为了衡量根据OLS估计得出的样本回归线对真实数据的拟合程度，引入拟合优度（goodness of fitness）的概念，并
10、用判定系数（coefficient of determination）作为度量 总平方和（total sum of squares,TSS） 解释平方和（explained sum of squares,ESS） 残差平方和（residual sum of squares,RSS） 证明见课本P110-111,假设检验,拟合优度图解,Xi,SRF,Yi,A,B,C,假设检验,判定系数的计算 注意：只有两个模型的因变量相同，而且基于同一样本时，根据两个模型得出的判定系数才能比较,假设检验,正态性检验：关于误差项是否服从正态分布的检验 残差直方图（Histogram） 雅克-贝拉检验（Jarque
11、-Bera test）,假设检验,回归分析结果的报告（参看：课本p.113） 参看课本p.116-117,假设检验,习题3.2： 课本p.125：习题6.14,预测,预测（prediction）：对不知道的或尚未发生的数据或事件所作的估计 均值预测（mean prediction）：给定自变量的值，预测因变量的均值 个值预测（individual prediction）：给定自变量的值，预测与之对应的因变量的个别值 如果X0包含在样本内，则预测值实际上就是拟合值,预测,图解,X0,PRF,SRF,Y0,A,B,C,E(Y|X0),预测,预测,预测,例题3.4,基本概念 参数估计 t检验 F检验
12、 对于线性约束的检验 预测,三、多元线性模型,基本概念,多元回归分析的普遍性：一些例子,基本概念,经典正态线性回归模型（CNLRM）的假定,与二元回归分析类似，正态性假定是针对假设检验的,基本概念,多元回归分析的涵义,基本概念,例题3.5,参数估计,偏回归系数（partial regression coefficients）,参数估计,例题3.6：偏回归系数 多元回归分析的功能 在非实验的环境中完成受控试验，既保持其他因素不变,参数估计,偏回归系数的OLS估计,参数估计,偏回归系数OLS估计量的性质,参数估计,回归标准误：误差项方差的估计,参数估计,拟合优度 为了衡量根据OLS估计得出的样本回
13、归线对真实数据的拟合程度，引入复判定系数（multiple coefficient of determination）来度量模型的拟合优度,参数估计,例题3.7：拟合优度 注意！ 增加解释变量一般会使复判定系数变大，因此，不能简单地根据复判定系数是否增大来决定是否加入某个解释变量 只有两个模型的因变量相同，而且基于同一样本时，根据两个模型得出的复判定系数才能比较,参数估计,调整的复判定系数 例题3.8 注意：重要的是回归系数的大小及其显著性，而不是判定系数,参数估计,偏回归系数的方差估计和标准误 例题3.9：课本p132,参数估计,OLS估计量的性质,参数估计,OLS估计量的性质,参数估计,例
14、题3.10：区间估计,参数估计,模型设定与OLS估计量的性质 模型中包含了无关变量：偏回归系数的OLS估计量仍然是无偏的，但其方差估计偏大，因而不是最有效的 模型中遗漏了相关变量：偏回归系数的OLS估计量是有偏的（p.140） 什么时候增加新的解释变量：要增加的变量的回归系数的t值的绝对值大于1，或增加变量后调整的R2变大,关于单个偏回归系数的检验：t检验,基本思想,关于单个偏回归系数的检验：t检验,例题3.11：住房价格与空气污染,关于单个偏回归系数的检验：t检验,t检验（t test）,关于单个偏回归系数的检验：t检验,例题3.12：消费函数（中国，1981-1996）,关于回归总体显著性
15、的检验：F检验,基本思想,关于回归总体显著性的检验：F检验,两点说明 单个系数的t检验显著并不能保证F检验显著，同样，单个系数的t检验不显著也不能保证F检验不显著。因此，F检验是必要的 F值的直观含义,关于回归总体显著性的检验：F检验,例题3.12：消费函数（中国，1981-1996）,关于回归总体显著性的检验：F检验,例题3.13：附加预期的菲利普斯曲线（ 美国，1970-1982）,关于回归总体显著性的检验：F检验,例题3.13：附加预期的菲利普斯曲线（ 美国，1970-1982） 其他例题：课本p.132，p.144-146,对于线性约束的检验,问题的引入,对于线性约束的检验,基本思想,
16、对于线性约束的检验,例题3.14：台湾农业部门的柯布-道格拉斯生产函数（1958-1972）,对于线性约束的检验,例题3.15：牛肉的需求函数,对于线性约束的检验,应用一：回归模型的结构稳定性检验（Chow检验，p141-144）,对于线性约束的检验,应用二：F检验,预测,预测,例题3.16,对数-对数模型 对数-线性模型 线性-对数模型 倒数模型 多项式模型 过原点回归模型,四、回归模型的函数形式,对数-对数模型,对数-对数模型（log-log model，双对数模型）,对数-对数模型,需求价格弹性,Qd,P,LnQd,LnP,对数-对数模型,例题3.17 其他例题：课本p.158-160,对数-线性模型,对数-线性模型（log-lin model ，不变增长率模型）,对数-
