《统计学原理：第十章2- 多元线性回归》由会员分享，可在线阅读，更多相关《统计学原理：第十章2- 多元线性回归（57页珍藏版）》请在金锄头文库上搜索。
1、9 - 1统计学统计学STATISTICS(第三版第三版)10第 9 章 多元线性回归10.110.1 多元线性回归模型多元线性回归模型 10.210.2 拟合优度和显著性检验拟合优度和显著性检验10.3 10.3 多重共线性及其处理多重共线性及其处理10.4 10.4 利用回归方程进行预测利用回归方程进行预测10.5 10.5 虚拟自变量的回归虚拟自变量的回归9 - 2统计学统计学STATISTICS(第三版第三版)身高受那些因素影响？ 决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用2004年12月，中国人民大学国民经济管理系02级的两位学生，对人大在校生进行了
2、问卷调查。问卷采取随机发放、当面提问当场收回调查的样本量为98人，男性55人，女性43人。调查内容包括被调查者的身高(单位：cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如教材中的表所示(1代表男性，0代表女性) 父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？这就是本章将要讨论的多元线性回归问题 2008年8月9 - 3统计学统计学STATISTICS(第三版第三版)10.1 多元线性回归模型 10.1.1 回归模型与回归方程 10.1.2 参数的最小二乘
3、估计9 - 4统计学统计学STATISTICS(第三版第三版)10.1.1 回归模型与回归方程9 - 5统计学统计学STATISTICS(第三版第三版)多元回归模型 (multiple linear regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1 ， x2 ， xk 和误差项 的方程，称为多元回归模型3.涉及 k 个自变量的多元线性回归模型可表示为2008年8月 0 0 ， 1 1， ， k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ， ，x xk k 的线
4、性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被k k个个自自变变量量的的线线性性关关系系所解释的变异性所解释的变异性9 - 6统计学统计学STATISTICS(第三版第三版)多元回归模型(基本假定) 1.正态性。误差项是一个服从正态分布的随机变量，且期望值为0，即N(0, 2)2.方差齐性。对于自变量x1，x2，xk的所有值，的方差 2都相同3.独立性。对于自变量x1，x2，xk的一组特定值，它所对应的与任意一组其他值所对应的不相关2008年8月9 - 7统计学统计学STATISTICS(第三版第三版)多元线性回归方程 (multiple linear reg
5、ression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，xk的方程2.多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + k xk2008年8月 1 1， ， k k称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动一个单位时，动一个单位时，y y 的平均变动值的平均变动值9 - 8统计学统计学STATISTICS(第三版第三版)二元回归方程的直观解释2008年8月二元线性回归模型二元线性回归模型二元线性回归模型( (观察到的观察到的观察到的y yy) )回归面
6、回归面回归面 0 00 i iix x x1 11y y yx x x2 22( ( (x x x1 11, , ,x x x2 22) ) ) 9 - 9统计学统计学STATISTICS(第三版第三版)估计的多元线性回归的方程(estimated multiple linear regression equation)1.用样本统计量估计回归方程中的参数时得到的方程2.由最小二乘法求得3.一般形式为2008年8月 是是 估计值估计值 是是 y y 的估计值的估计值9 - 10统计学统计学STATISTICS(第三版第三版)10.1.2 参数的最小二乘估计9 - 11统计学统计学STATIST
7、ICS(第三版第三版)参数的最小二乘估计2008年8月2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达到最小来求得达到最小来求得 。即。即9 - 12统计学统计学STATISTICS(第三版第三版)参数的最小二乘法(例题分析)2008年8月【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义 9 - 13
8、统计学统计学STATISTICS(第三版第三版)参数的最小二乘估计(例题分析)2008年8月F F检验检验t t 检验检验偏回归系数偏回归系数9 - 14统计学统计学STATISTICS(第三版第三版) 10.2 拟合优度和显著性检验 10.2.1 回归方程的拟合优度 10.2.2 显著性检验9 - 15统计学统计学STATISTICS(第三版第三版)10.2.1 回归方程的拟合优度9 - 16统计学统计学STATISTICS(第三版第三版)多重判定系数(multiple coefficient of determination) 1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变
9、差中，能被估计的多元回归方程所解释的比例2008年8月9 - 17统计学统计学STATISTICS(第三版第三版)修正多重判定系数(adjusted multiple coefficient of determination) 1.用样本量n和自变量的个数k去修正R2得到2.计算公式为3.避免增加自变量而高估R24.意义与R2类似5.数值小于R22008年8月9 - 18统计学统计学STATISTICS(第三版第三版)多重相关系数(multiple correlation coefficient) 1.多重判定系数的平方根R2.反映因变量y与k个自变量之间的相关程度3.实际上R度量的是因变量的
10、观测值 与由多元回归方程得到的预测值 之间的关系强度，即多重相关系数R等于因变量的观测值 与估计值 之间的简单相关系数即 (一 元 相 关 系 数 r也 是 如 此 ， 即 。读者自己去验证)2008年8月9 - 19统计学统计学STATISTICS(第三版第三版)估计标准误差 Se1.对误差项的标准差的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为2008年8月9 - 20统计学统计学STATISTICS(第三版第三版)10.2.2 显著性检验9 - 21统计学统计学STATISTICS(第三版第三版)线性关系检验1.检验因变量与所有自变量之间的线性关系是否显著2.也被称为总体的显著
11、性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F 检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系2008年8月9 - 22统计学统计学STATISTICS(第三版第三版)线性关系检验1.提出假设H0：12k=0 线性关系不显著H1：1，2， k至少有一个不等于02008年8月2. 2. 计算计算检验统计量检验统计量F F3.确定确定显著性水平显著性水平 和分子自由度和分子自由度k k、分母自由度、分母自由度n-n-k k-1-1找出临界值找出临界值F F 4. 4. 作出作出决策：若决策：若F
12、 F F F ，拒绝，拒绝H H0 09 - 23统计学统计学STATISTICS(第三版第三版)回归系数的检验1.线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验2.究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定3.对回归系数检验的个数进行限制，以避免犯过多的第类错误(弃真错误) 4.对每一个自变量都要单独进行检验5.应用t 检验统计量2008年8月9 - 24统计学统计学STATISTICS(第三版第三版)回归系数的检验(步骤)1.提出假设H0：i = 0 (自变量xi 与 因变量 y 没有线性关系) H1：i 0 (自变量xi 与 因变量 y有线性关系) 2.
13、计算检验的统计量t2008年8月3. 确定显著性水平，并进行决策 t t t t ，拒绝，拒绝H H0 0； t t t t ，不拒绝，不拒绝H H0 09 - 25统计学统计学STATISTICS(第三版第三版)回归系数的推断 (置信区间)回归系数在(1-)%置信水平下的置信区间为2008年8月回归系数的回归系数的抽样标准差抽样标准差9 - 26统计学统计学STATISTICS(第三版第三版) 10.3 多重共线性及其处理 10.3.1 多重共线性及其识别 10.3.2 变量选择与逐步回归9 - 27统计学统计学STATISTICS(第三版第三版)10.3.1 多重共线性及其识别9 - 28
14、统计学统计学STATISTICS(第三版第三版)多重共线性(multicollinearity)1.回归模型中两个或两个以上的自变量彼此相关2.多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反2008年8月9 - 29统计学统计学STATISTICS(第三版第三版)多重共线性的识别1.检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性2.如果出现下列情况，暗示存在多重
15、共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反2008年8月9 - 30统计学统计学STATISTICS(第三版第三版)多重共线性的处理1.将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关2.如果要在模型中保留所有的自变量，则应避免根据t 统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内2008年8月9 - 31统计学统计学STATISTICS(第三版第三版)提 示1.在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要2.在社会科学的研究中，由
16、于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得到的结果往往并不令人满意，但这不一定是选择的模型不合适，而是数据的质量不好，或者是由于引入的自变量不合适2008年8月9 - 32统计学统计学STATISTICS(第三版第三版)奥克姆剃刀(Occams Razor)1.模型选择可遵循奥克姆剃刀的基本原理最好的科学模型往往最简单，且能解释所观察到的实事2.对于线性模型来说，奥克姆剃刀可表示成简约原则一个模型应包括拟合数据所必需的最少变量3.如果一个模型只包含数据拟合所必需的变量，这个模型就称为简约模型(parsimonious model)实际中的许多多元回归模型都是对简约模型的扩展2
17、008年8月9 - 33统计学统计学STATISTICS(第三版第三版)9.3.2 变量选择与逐步回归9 - 34统计学统计学STATISTICS(第三版第三版)变量选择过程1.在建立回归模型时，对自变量进行筛选2.选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变
18、量3.变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等2008年8月9 - 35统计学统计学STATISTICS(第三版第三版)向前选择 (forward selection)1.从模型中没有自变量开始2.对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型3.分别拟合引入模型外的k-1个自变量的二元线性回归模型4.如此反复进行，直至模型外的自变量均无统计显著性为止2008年8月9 - 36统计学统计学STATISTICS(第三版第三版)向后剔除 (backward elimination)1.先对因
19、变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除2.考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除3.如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止2008年8月9 - 37统计学统计学STATISTICS(第三版第三版)逐步回归 (stepwise regression)1.将向前选择和向后剔除两种方法结合起来筛选自变量2.在增加了一个自变量后，它
20、会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除3.按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少4.在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中2008年8月9 - 38统计学统计学STATISTICS(第三版第三版)参数的最小二乘法(逐步回归)2008年8月【例】根据例10.1的数据，用逐步回归方法建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资
21、额x4的线性回归方程，并求出不良贷款的置信区间和预测区间 9 - 39统计学统计学STATISTICS(第三版第三版)逐步回归 (例题分析SPSS输出结果)2008年8月变量的进入和移出标准变量的进入和移出标准 9 - 40统计学统计学STATISTICS(第三版第三版)逐步回归 (例题分析SPSS输出结果)2008年8月两个模型的主要统计量两个模型的主要统计量 9 - 41统计学统计学STATISTICS(第三版第三版)逐步回归 (例题分析SPSS输出结果)2008年8月两个模型的方差分析表两个模型的方差分析表 9 - 42统计学统计学STATISTICS(第三版第三版)逐步回归 (例题分析
22、SPSS输出结果)2008年8月两个模型的参数估计和检验两个模型的参数估计和检验 9 - 43统计学统计学STATISTICS(第三版第三版) 10.4 利用回归方程进行预测9 - 44统计学统计学STATISTICS(第三版第三版)置信区间和预测区间(例题分析)2008年8月9 - 45统计学统计学STATISTICS(第三版第三版)置信区间和预测区间(例题分析)不良贷款的置信面和预测面2008年8月二元回归面二元回归面置信面置信面预测面预测面9 - 46统计学统计学STATISTICS(第三版第三版) 10.5 虚拟自变量的回归9 - 47统计学统计学STATISTICS(第三版第三版)1
23、0.5.1 在模型中引进虚拟变量9 - 48统计学统计学STATISTICS(第三版第三版)虚拟自变量(dummy variable)1.也称哑变量。用数字代码表示的定性自变量2.虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女) 有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他) 3.虚拟变量的取值为0，12008年8月9 - 49统计学统计学STATISTICS(第三版第三版)在回归中引进虚拟变量1.回归模型中使用虚拟自变量时，称为虚拟自变量的回归2.当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女) 3.一般而言，如果定性自变量有k个水
24、平，需要在回归中模型中引进k-1个虚拟变量2008年8月9 - 50统计学统计学STATISTICS(第三版第三版)在回归中引进虚拟变量(例题分析)2008年8月【例例】为为研研究究考考试试成成绩绩与与性性别别之之间间的的关关系系，从从某某大大学学商商学学院院随随机机抽抽取取男男女女学学生生各各8 8名名，得得到到他他们们的的市市场场营营销销学学课课程程的的考考试试成成绩绩如如右表右表 9 - 51统计学统计学STATISTICS(第三版第三版)10.5.2 含有一个虚拟自变量的回归 9 - 52统计学统计学STATISTICS(第三版第三版)在回归中引进虚拟变量(例题分析)2008年8月【例
25、】建立考试分数与性别之间的线性回归方程，并解释回归系数的含义 9 - 53统计学统计学STATISTICS(第三版第三版)虚拟自变量的回归 (例题分析)引进虚拟变量时，回归方程表示为E(y) =0+ 1x男( x=0)：E(y) =0男学生考试成绩的期望值女(x=1)：E(y) =0+ 1女学生考试成绩的期望值注意：当指定虚拟变量0，1时0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值=(0+ 1) - 0= 12008年8月9 - 54统计学统计学STATI
26、STICS(第三版第三版)虚拟自变量的回归 (例题分析) 考试成绩与性别的回归考试成绩与性别的回归2008年8月男男 学学 生生 考考试试 分分 数数 的的平均值平均值女女 学学 生生 与与男男 学学 生生 平平均均 考考 试试 分分数的差值数的差值9 - 55统计学统计学STATISTICS(第三版第三版)虚拟自变量的回归(考试成绩与性别的散点图)2008年8月男 女9 - 56统计学统计学STATISTICS(第三版第三版)虚拟自变量的回归(例题分析)2008年8月【例例】为为研研究究工工资资水水平平与与工工作作年年限限和和性性别别之之间间的的关关系系，在在某某行行业业中中随随机机抽抽取取1010名名职职工工，所所得得数数据据如右表如右表9 - 57统计学统计学STATISTICS(第三版第三版)虚拟自变量的回归 (例题分析)引进虚拟变量时，回归方程写为 E(y) =0+ 1x1+ 2x2女( x2=0)：E(y|女性) =0 +1x1男(x2=1)：E(y|男性) =(0 + 2 ) +1x1 0的含义表示：女性职工的期望月工资收入( 0+ 2)的含义表示：男性职工的期望月工资收入 1含义表示：工作年限每增加1年，男性或女性工资的平均增加值 2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值(0+ 2) - 0= 22008年8月
