（多元线性回归模型）

《（多元线性回归模型）》由会员分享，可在线阅读，更多相关《（多元线性回归模型）（67页珍藏版）》请在金锄头文库上搜索。

1、计 量 经 济 学 Econometrics,2015-2016-1,任课教师： 范国斌,第三章 多元线性回归模型,引子:中国汽车的保有量将会达到1.4亿辆吗 ?,中国经济的快速发展，居民收入不断增加，数以百万计 的中国人开始得以实现拥有汽车的梦想，中国也成为世界上 成长最快的汽车市场。 中国交通部副部长在中国交通可持续发展论坛上做出的预 测 :“2020年，中国的民用汽车保有量将比2003年的数字 增长倍，达到1.4亿辆左右”。 什么因素导致中国汽车数量的增长? 显然,影响中国汽车行业发展的因素并不是单一的，经济增 长、居民收入、消费趋势、市场行情、业界心态、能源价格、 道路发展、内外环境，

2、都会使中国汽车行业面临机遇和挑战。,2,分析中国汽车行业未来的趋势，应当具体分析这样一些问题： 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？ （如收入、价格、费用、道路状况、能源、政策环境等） 各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的产业 政策？ 很明显，只用一个解释变量很难分析汽车产业的实际发展,简 单线性回归模型不能解决多因素问题的分析，还需要去寻求有 更多个解释变量情况的回归分析方法。,怎样分析多种因素的影响呢？,3,多元线性

3、回归模型,本章讨论: 将简单线性回归的的研究方式推广到多元的情况 多元线性回归模型及古典假定 多元线性回归参数的估计 多元线性回归模型的检验 多元线性回归预测,4,（一） 多元线性回归模型及古典假定 1、多元线性回归模型的意义 一般形式：对于有K-1个解释变量的线性回归模型 注意：模型中的 （j=2,3,-k）是偏回归系数 样本容量为n 偏回归系数： 控制其它解释量不变的条件下，第j个解释变量的单位变动对被解释变量平均值的影响，即对Y平均值“直接”或“净”的影响。,5,对偏回归系数的理解,例如 并且 可证明 (证明见古加拉蒂计量经济学第三版附录7A.5) 结论: 只要 ， 与 是有区别的。 不

4、仅包括 对Y平均值的“直接”影响，还包括由于 的变动 对Y平均值的“间接”影响。,对比,（误差项）,6,7,从残差理解偏回归系数,例如 1、作回归 ，则 ， 表示除去 影响后的 2、作回归 ，则 ， 表示除去 影响后的 将 对 回归（因 和 的均值为0，为过原点的回归)， 则 可以证明，这样估计的 与估计的 是一致的，而 与 是不一致的。 (证明见古加拉蒂计量经济学第四版附录7A.2),7,对比,由 将 、 代入得 由后面将讲的OLS估计量可知，这就是多元回 归中 的估计式,8,证明过程(参考),多元线性回归中的“线性” 指对各个回归系数而言是“线性”的，对变量则可以是线性的，也可以是非线性的

5、 例如：生产函数 取对数 这也是多元线性回归模型，只是这时变量为lnY、lnL、lnK,9,多元总体回归函数 条件期望表现形式： 将Y的总体条件期望表示为多个解释变量的函数，如: 注意：这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式： 引入随机扰动项 或表示为,10,直观理解（供参考）,多元样本回归函数 Y 的样本条件均值可表示为多个解释变量的函数 或回归剩余（残差）： 其中,12,2、多元线性回归模型的矩阵表示,多个解释变量的多元线性回归模型的n组样本观测值，可 表示为 用矩阵表示,13,总体回归函数 或 样本回归函数 或 其中： 都是有n个元素的列向量 是有k 个 元素的列向量

6、 （ k = 解释变量个数 + 1 ） 是第一列为1的nk阶解释变量数据矩阵 ， (截距项可视为解释变量总是取值为1),矩阵表示方式,14,3、多元线性回归中的基本假定,假定1：零均值假定 （ i=1，2，-n） 或 E（u）=0 假定2和假定3：同方差和无自相关假定： 或 假定4：随机扰动项与解释变量不相关 Cov( )=0 k=2,3,-k,（i=j）,(ij),0,15,假定5: 无多重共线性假定 (多元中增加的) 假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值矩阵X的秩为K(注意X为n行K列)。 Ran(X)= k Rak(XX)=k 即 (XX)

7、 可逆 假定6:正态性假定,16,（二） 多元线性回归模型的估计,1.普通最小二乘法（OLS） 原则：寻求剩余平方和最小的参数估计式 即 求偏导，并令其为0 即,17,用矩阵表示的正规方程 偏导数 因为样本回归函数为 两边左乘 根据最小二乘原则 则正规方程为,18,OLS估计式 由正规方程 多元回归中 只有两个解释变量时： 注意： 为X、Y的离差,对比,简单线性回归中,19,OLS回归线的数学性质 (与简单线性回归相同),回归线通过样本均值 估计值 的均值等于实际观测值 的均值 剩余项 的均值为零 被解释变量估计值 与剩余项 不相关 解释变量 与剩余项 不相关 （j=2,3,-k）,20,2、

8、 OLS估计式的统计性质,1、 线性特征 是Y的线性函数，因 是非随机或取固定值的矩阵 2、 无偏特性 (证明见教材P80) 3、 最小方差特性 在 所有的线性无偏估计中，OLS估计 具有最小方差 (证明见教材P101附录3.1) 结论：在古典假定下，多元线性回归的 OLS估 计式是最佳线性无偏估计式（BLUE）,21,3、 OLS估计的分布性质 基本思想： 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 是服从正态分布的随机变量, 决定了Y也是服从正态分布的随机变量 是Y的线性函数，决定了 也是服从正态分布的随机变量,22, 的期望 (由无偏性) 的方差和标准误差： 可以证明 的

9、方差协方差矩阵为（见下页） 这里的 （其中 是矩阵 中第 j 行第 j 列的元素） 所以 （j=1,2,-k）,的期望与方差,23,的方差协方差矩阵,其中：,(由无偏性),(由同方差性),(由OLS估计式),24,4、 随机扰动项方差 的估计,一般未知，可证明多元回归中 的无偏 估计为：(证明见P103附录3.2) 或表示为 将 作标准化变换：,25,未知时 的标准化变换,因 是未知的， 可用 代替 去估计参数的标准误差: 当为大样本时，用估计的参数标准误差对 作标准化变换，所得 Z 统计量仍可视为服从正态分布 当为小样本时，用估计的参数标准误差对 作标准化变换，所得的 t 统计量服从 t 分

10、布：,26,5. 回归系数的区间估计,由于 给定 ，查t分布表的自由度为 n-k 的临界值 或 或表示为,27,(三) 多元线性回归模型的检验,1、多元回归的拟合优度检验 多重可决系数：在多元回归模型中，由各个解释 变量联合起来解释了的Y的变差，在Y的总变差中占 的比重，用 表示 与简单线性回归中可决系数 的区别只是 不同 多元回归中 多重可决系数可表示为 (注意:红色字体是与一元回归不同的部分),28,多重可决系数的矩阵表示 可用代数式表达为 特点:多重可决系数是模型中解释变量个数的不减函 数，这给对比不同模型的多重可决系数带来缺陷， 所以需要修正。,29,可决系数的修正方法 总变差 TSS

11、 自由度为 n-1 解释了的变差 ESS 自由度为 k-1 剩余平方和 RSS 自由度为 n-k 修正的可决系数为,30,修正的可决系数 思想：可决系数只涉及变差，没有考虑自由度。 如果用自由度去校正所计算的变差，可纠 正解释变量个数不同引起的对比困难。 回顾: 自由度：统计量的自由度指可自由变化的样本观 测值个数，它等于所用样本观测值的个 数减去对观测值的约束个数。,31,修正的可决系数 与可决系数 的关系 已经导出： 注意： 可决系数 必定非负，但所计算的修正可决系数 有可能为负值 解决办法：若计算的 ，规定 取值为0,32,33,运用可决系数时应注意：, 在多元回归中，可决系数只是说明列

12、入模型的所有 解释变量对被解释变量的联合的影响程度，不说明模 型中每个解释变量的影响程度 如果回归的主要目的是经济结构分析，不能只追 求高的可决系数，而是要得到总体回归系数可靠的 估计量。可决系数高并不一定每个回归系数都可信任。 如果研究的主要目的只是为了预测被解释变量的值， 不是为了正确估计回归系数，一般可考虑有较高的可 决系数。,2、回归方程的显著性检验（F检验）,基本思想： 在多元回归中包含多个解释变量，它们与被解释 变量是否有显著关系呢？ 当然可以分别检验各个解释变量对被解释变量影 响的显著性。 但为了说明所有解释变量联合起来对被解释变量 影响的显著性, 或整个方程总的联合显著性，需要

13、对方 程的总显著性在方差分析的基础上进行F检验。,34,35,在讨论可决系数时已经分析了被解释变量总变差 TSS的分解及自由度： TSS=ESS+RSS 注意: Y的样本方差= 总变差/自由度 即 显然，Y的样本方差也可分解为两部分，可用方 差分析表分解,35,(1)方差分析,总变差 TSS= 自由度 n1 模型解释了的变差 ESS= 自由度 k1 剩余变差 RSS= 自由度 nk,变差来源 平 方 和 自由度 方 差 归于回归模型 ESS= k-1 归于剩余 RSS= n-k 总变差 TSS= n-1 基本思想: 如果多个解释变量联合起来对被解释变量的影响不显著, “归于回 归的方差”应该比

14、“归于剩余的方差”显著地小（即这应是大概率事件）。,方差分析表,36,(2)F检验,原假设: （所有解释变量联合起来对被解释变量的影响不显著） 备择假设: 不全为0 建立统计量: 给定显著性水平 ，查F分布表中自由度为 k-1 和 n-k 的临界值 ，并通过样本观测 值计算F值,37,38,F检验方式,如果计算的F值大于临界值 (小概率事件发生) 则拒绝 ，说明回归模型有显 著意义，即所有解释变量联合起来对Y确有显著影响。 如果计算的F值小于临界值 (大概率事件发生) 则不拒绝 ，说明回归模型没 有显著意义，即所有解释变量联合起来对Y没有显著 影响。,(3) 可决系数的显著性检验,拟合优度检验与对线性回归的总体显著性的 F 检验是从不同原理 出发的两类检验，但二者有内在联系: 拟合优度检验从已估计的模型出发，检验对样本观测值的拟 合程度。 总体显著