多元线性回归模型 (2)

《多元线性回归模型 (2)》由会员分享，可在线阅读，更多相关《多元线性回归模型 (2)（74页珍藏版）》请在金锄头文库上搜索。

1、计量经济学 第三章 多元线性回归模型,中国经济的快速发展，使居民收入不断增加，数以百万 计的中国人开始得以实现拥有汽车的梦想，中国也成为世界 上成长最快的汽车市场。 中国交通部副部长在“中国交通可持续发展论坛”上做出预 测 :“2020年，中国的民用汽车保有量将比2003年的数字增长 倍，达到1.4亿辆左右”。 是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的，经济增长、 消费趋势、市场行情、业界心态、能源价格、道路发展、内 外环境,相关政策，都会使中国汽车行业面临机遇和挑战。,引子:中国汽车的保有量会达到1.4亿辆吗 ?,分析中国汽车行业未来趋势,应具体分析这样一些

2、问题： 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？ （如收入、价格、费用、道路状况、能源、政策环境等） 各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后发展前景怎样？应当如何制定汽车的产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。,怎样分析多种因素对汽车市场的影响？,第三章 多元线性回归模型,本章主要讨论: 如何将简单线性回归的研究方式推广到多元的情况 多元线性回归模型及古典假定 多元线性回归模型的参数估计

3、多元线性回归模型的检验 多元线性回归模型的预测 案例分析,第一节 多元线性回归模型及古典假定,本节基本内容: 一、多元线性回归模型的意义 二、多元线性回归模型的矩阵表示 三、多元线性回归中的基本假定,一、多元线性回归模型的意义,例如:有两个解释变量的电力消费模型 其中: 为各地区电力消费量； 为各地区国内生产总值（GDP）； 为各地区电力价格变动。 模型中参数的意义是什么呢?,与简单线性回归模型不同，模型中参数 是 偏回归系数，样本容量为,一般形式：对于有 个解释变量的线性回归模型,可表示为,一、多元线性回归模型的意义,偏回归系数： 控制其它解释变量不变的条件下，第 个解释变量的单位变动对应变

4、量平均值的影响。,对偏回归系数的理解,例如：,对比,和 都是 对 影响的参数,并且,可证明,结果：只要 , 是有区别的,指对各个回归系数而言是“线性”的，对变量即可是线性的，也可是非线性的 例如：生产函数 取自然对数,多元线性回归的“线性”,这也是多元线性回归模型，只是这时变量为,的总体条件均值表示为多个解释变量的函数,多元总体回归函数,条件均值表现形式,个别值表现形式,引入随机扰动项,多元样本回归函数,条件均值表现形式,个别值表现形式,的样本条件均值表示为多个解释变量的函数,引入残差项（剩余项）,多元线性回归模型有多个解释变量，参数的估计和各种统计量用代数式表达较为困难，需要借助矩阵形式来表

5、述。,二、多元线性回归模型的矩阵表示,个解释变量的多元线性回归模型的 个观测 样本，可表示为,用矩阵表示,多元总体线性回归函数的矩阵形式为,总体回归函数 或 样本回归函数 或 其中： 都是有 个元素的列向量 是有 个元素的列向量 是第一列为1的 阶解释变量数据矩阵 (截距项可视为解释变量取值为1),矩阵表示方式,三、多元线性回归中的基本假定,假定1：零均值假定,用矩阵的形式可表示为：,假定2：同方差和无自相关假定,三、多元线性回归中的基本假定,方差协方差矩阵为：,假定3：随机扰动项与解释变量不相关,三、多元线性回归中的基本假定,可逆,假定5：正态性假定,假定4: 无多重共线性假定 假定各解释变

6、量之间不存在线性关系，或解释变量观测值矩阵 列满秩( 列)。,第二节 多元线性回归模型的估计,本节基本内容: 普通最小二乘法（OLS） OLS估计式的性质 OLS估计的分布性质 随机扰动项方差 的估计 回归系数的区间估计,一、普通最小二乘法（OLS）,最小二乘原则：估计的剩余平方和最小 求偏导,令其为0:,注意到,因为样本回归函数为 两边乘 有： 因为 ，则正规方程为：,用矩阵表示的正则方程,偏导数,0,由正规方程 多元回归中参数估计式 当只有两个解释变量时 注意： 和 为 的离差,OLS估计式,OLS回归线的性质 （与简单线性回归相同）,回归线通过样本均值 估计值 的均值等于实际观察值 的均

7、值 剩余项 的均值为零 被解释变量估计值 与剩余项 不相关 解释变量 与剩余项 不相关,1、线性特征 因 是非随机的或取固定值的矩阵， 是 的线性函数 2、无偏特性 3、最小方差特性 在 所有的线性无偏估计中,OLS估计 具有最小方差.（证明见书101页） 在古典假定条件下，多元线性回归的OLS估计式是最佳线性无偏估计式（BLUE）,二、OLS估计式的性质,基本思想 是随机变量，必须确定其分布性质才可能进行区间估计和假设检验 是服从正态分布的随机变量, 决定了 也是服从正态分布的随机变量 是 的线性函数，决定了 也是服从正态分布的随机变量,三、OLS估计的分布性质,的期望 (由无偏性) 的方差

8、和标准误差： 可以证明 的方差-协方差矩阵为 这里是 矩阵 中第 行第 列的元素,的期望和方差,其中,四、随机扰动项方差 的估计,多元回归中 的无偏估计为（证明见103页） 或表示为 将 作标准化变换：,因 是未知的，可用 代替 去估计参数 的标准误差: 当为大样本时，用估计的参数标准误差对 作标准化变换，所得Z统计量仍可视为服从正态分布 当为小样本时，用估计的参数标准误差对 作标准化变换，所得的t统计量服从t分布：,五、回归系数的区间估计,由于 给定 ，查t分布表的自由度为 的临界值 或: 或表示为:,例3.1从中国统计年鉴中取得西部各地区2002年电力消费量、国内生产总值、电力价格变动等数

9、据作为样本,解：,所以,因为,估计的样本回归模型为,第三节 多元线性回归模型的检验,本节基本内容: 多元回归的拟合优度检验 回归方程的显著性检验（F检验） 各回归系数的显著性检验（t检验）,一、多元回归的拟合优度检验,总离差平方和的分解,所以有：,注意：,多重可决系数：在多元回归模型中，由各个解释变量联合 解释了的 的变差，在 的总变差中占的比重，用 表 示。 与简单线性回归中可决系数 的区别只是 不同，多元 回归中 多重可决系数也可表示为,多重可决系数,该统计量越接近于1，模型的拟合优度越高。,问题： 在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大（Why?) 这就给人一个错

10、觉：要使得模型拟合得好，只要增加解释变量即可。 但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需修正。,多重可决系数,总变差 自由度为 解释了的变差 自由度为 剩余平方和 自由度为 修正的可决系数为 调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响:,可决系数的修正方法,特点 1、如果k1，则 。即随着模型中解释变量个数增加，修正判定系数 越来越小于未修正判定系数R2，这似乎是对增加解释变量的“惩罚”。 2、可决系数 必定非负，但修正的可决系数 可能为负值，这时规定,修正的可决系数 与可决系数 的关系：,解： 下面改变n

11、的值，看一看 的值如何变化。我们有 若n = 10，则 = 0.55 若n = 5，则 = - 0.20 由本例可看出， 有可能为负值。这与 不同 （ ）。,例： 设 n=20,k=3, =0.70 求： 当n=10、n=5时， 分别等于多少？,基本思想 在多元回归中有多个解释变量，需要说明所有解 释变量联合起来对应变量影响的总显著性,或整个 方程总的联合显著性。对方程总显著性检验需要 在方差分析的基础上进行F检验。,二、回归方程显著性检验（F检验）,总变差 自由度 模型解释了的变差 自由度 剩余变差 自由度,变差来源 平方和 自由度 方差 归于回归模型 归于剩余 总变差,方差分析表,F检验,

12、如果 (小概率事件发生了) 则拒绝 ，说明回归模型有显著意义，即所有解释变量联合起来对 有显著影响。 如果 (大概率事件发生了) 则接受 ，说明回归模型没有显著意义，即所有解释变量联合起来对 没有显著影响。,由方差分析可以看出，F检验与可决系数有密切联系，二者 都建立在对应变量变差分解的基础上。F统计量也可通过可 决系数计算： 可看出：当 时， 越大， 值也越大 当 时， 结论：对方程联合显著性检验的F检验，实际上也是对 的显著性检验。,可决系数与F检验,目的： 在多元回归中，分别检验当其他解释变量保持不变时，各个解释变量 对应变量 是否有显著影响。 方法： 原假设 备择假设 统计量为：,三、

13、各回归系数的显著性检验（t 检验）,给定显著性水平 ，查自由度为 时t分布表的临界值为 如果 就不拒绝 而拒绝 即认为 所对应的解释变量 对应变量 的影响不显著。,t检验的方法,如果 就拒绝 而不拒绝 即认为 所对应的解释变量 对应变量 的影响 是显著的。 在多元回归中，可分别对每个回归系数逐个地进 行t检验。 注意:在一元回归中F检验与t检验等价,且 但在多元回归中F检验与t检验作用不同。,第四节 多元线性回归模型的预测,本节基本内容: 一、应变量平均值预测 二、应变量个别值预测,1. 平均值的点预测 将解释变量预测值代入估计的方程： 多元回归时： 或 注意:预测期的 是第一个元素为1的行向

14、量,不是矩阵,也不是列向量,一、应变量平均值预测,2. 平均值的区间预测,基本思想： 由于存在抽样波动，预测的平均值 不一定等于真实平均值 ，还需要对 作区间估计。 为对 作区间预测，必须确定平均值预测值 的抽样分布。必须找出与 和 都有关的统计量 。,具体作法 (回顾一元回归),多元回归时,与 和 都有关的是偏差 从正态分布,可证明 用 代替 ,可构造t统计量,则给定显著性水平 ，查t分布表，得自由度 的临界值 ，则 或,基本思想： 既是对 平均值的点预测，也是对 个别值的点预测。 由于存在随机扰动 的影响, 的平均值并不等于 的个别值 为了对 的个别值 作区间预测，需要寻找与预测值 和个别值 有关的统计量，并要明确其概率分布,一、应变量个别值预测,已知剩余项 是与预测值 和个别值 都有关的变量，并且已知 服从正态分布，且可证明 当用 代替 时，对 标准化的变量为：,具体作法,给定显著性水平 ，查 t 分布表得自由度为 的临界值 则 因此，多元回归时 的个别值的置信度 的预测区间的上下限为：,案例：中国税收增长的分析 提出问题 改革开放以来，随着经济体制改革的深化和经济的快速增长，中国的财政收支状况发生很大变化，为了研究影响中国税收收入增长的主要原因，分析中央和地方税收收入的增长规律，预测中