《多元相关与回归分析课件》由会员分享，可在线阅读，更多相关《多元相关与回归分析课件（59页珍藏版）》请在金锄头文库上搜索。
1、第 10 章 多元线性回归10.1 多元线性回归模型多元线性回归模型 10.2 回归方程的拟合优度回归方程的拟合优度10.3 显著性检验显著性检验10.4 多重共多重共线性性10.5 非线性回归非线性回归多元相关与回归分析课件学习目标1. 回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2. 回归方程的拟合优度回归方程的拟合优度3.回归方程的显著性检验回归方程的显著性检验4.利用回归方程进行估计和预测利用回归方程进行估计和预测5.非线性回归非线性回归6.用用 SPSS 进行回归分析进行回归分析多元相关与回归分析课件10.1 多元线性回归模型10.1.1 多元回归模型与回归方
2、程多元回归模型与回归方程10.1.2 估计的多元回归方程估计的多元回归方程10.1.3 参数的最小二乘估计参数的最小二乘估计多元相关与回归分析课件多元回归模型与回归方程多元相关与回归分析课件多元回归模型 (multiple regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1 ， x2 ， xk 和误差项 的方程，称为多元回归模型3.涉及 k 个自变量的多元回归模型可表示为 0 0 ， 1 1， ， k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ， ，x xk k
3、 的线性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被k k个个自自变变量量的的线线性性关关系系所解释的变异性所解释的变异性多元相关与回归分析课件多元回归模型(基本假定) 1.误差项是一个期望值为0的随机变量，即E()=02.对于自变量x1，x2，xk的所有值，的方差 2都相同3.误差项是一个服从正态分布的随机变量，即N(0, 2)，且相互独立多元相关与回归分析课件多元回归方程 (multiple regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，xk的方程2.多元线性回归方程的形式为 E( y ) =
4、 0+ 1 x1 + 2 x2 + k xk 1 1， ， k k称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动一个单位时，动一个单位时，y y 的平均变动值的平均变动值多元相关与回归分析课件二元回归方程的直观解释二元线性回归模型二元线性回归模型二元线性回归模型二元线性回归模型( (观察到的观察到的y y) )回归面回归面 0 0 i ix x1 1y yx x2 2( (x x1 1, ,x x2 2) )多元相关与回归分析课件估计的多元回归方程多元相关与回归分析课件估计的多元回归的方程估计的多元回归的方程(estimated
5、multiple regression (estimated multiple regression equation)equation)1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得3.一般形式为 是是 的的估计值估计值 是是 y y 的估计值的估计值 多元相关与回归分析课件参数的最小二乘估计多元相关与回归分析课件参数的最小二乘法2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达到最小来求得达到最小来求得 。即即多元相关与回归分析课件参数的最小二乘法(例题分析)【例例】
6、一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义 多元相关与回归分析课件10.2 10.2 回归方程的拟合优度回归方程的拟合优度10.2.1 多重判定系数多重判定系数10.2.2 估计标准误差估计标准误差多元相关与回归分析课件多重判定系数多元相关与回归分析课件多重判定系数(multiple coefficient of determination) 1.1.回归平方和占总平方和的比例回归平方和占总平方和
7、的比例2.2.计算公式为计算公式为3.3.因因变变量量取取值值的的变变差差中中，能能被被估估计计的的多多元元回回归归方方程程所解释的比例所解释的比例 多元相关与回归分析课件在样本容量一定的条件下，不断向模型中在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与增加自变量，即使新增的变量与Y Y不相关，不相关，模型的模型的R R2 2也可能上升，至少不会下降。也可能上升，至少不会下降。在实际应用中，研究人员更欢迎简单的模在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果型，这样的模型更简单和易于解释。如果根据根据R R2 2来选择模型，显然会倾向于复杂的模来选择
8、模型，显然会倾向于复杂的模型。型。更常用的指标是更常用的指标是“修正后的修正后的R Ra a2 2”。修正的判定系数修正的判定系数多元相关与回归分析课件修正多重判定系数(adjusted multiple coefficient of determination) 1.用样本量n和自变量的个数k去修正R2得到 2.计算公式为3.避免增加自变量而高估 R24.意义与 R2类似5.数值小于R2多元相关与回归分析课件估计标准误差 Se1.对误差项的标准差 的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为多元相关与回归分析课件12.3 显著性检验12.3.1 线性关系检验线性关系检验12.3.
9、2 回归系数检验和推断回归系数检验和推断多元相关与回归分析课件线性关系检验多元相关与回归分析课件线性关系检验1.检验因变量与所有自变量之间的线性关系是否显著2.也被称为总体的显著性总体的显著性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应应用用 F 检检验验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系多元相关与回归分析课件线性关系检验1.1.提出假设提出假设H H0 0： 1 1 2 2 k k=0 =0 线性关系不显著线性关系不显著H H1 1： 1 1， 2 2， k k至少有一个不等于至少有一
10、个不等于0 02. 2. 2. 2. 计算检验统计量计算检验统计量计算检验统计量计算检验统计量F F F F3.3.确定显著性水平确定显著性水平确定显著性水平确定显著性水平 和分子自由度和分子自由度和分子自由度和分子自由度k k k k、分母自由度、分母自由度、分母自由度、分母自由度n-n-n-n-k k k k-1-1-1-1找出临界值找出临界值找出临界值找出临界值F F F F 4. 4. 4. 4. 作出决策：若作出决策：若作出决策：若作出决策：若F F F F F F F F ，拒绝拒绝拒绝拒绝H H H H0 0 0 0多元相关与回归分析课件回归系数检验和推断多元相关与回归分析课件回
11、归系数检验和推断 回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量变量Y Y的影响都重要的影响都重要, ,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著多元相关与回归分析课件回归系数的检验回归系数的检验( (步骤步骤) )1.提出假设H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： i 0 (自变量 xi 与 因变量 y有线性关系) 2.计算检验的统计量 t3. 确定显著性水平，并进行决策 t t t t ，拒绝拒绝H H0 0； t t t
12、(25-2)=2.0687，所所以以均均拒拒绝绝原原假假设设，说说明明这这4个个自自变变量量两两两两之之间间都都有有显著的相关关系显著的相关关系2.由由表表中中的的结结果果可可知知，回回归归模模型型的的线线性性关关系系显显著著(Significance-F1.03539E-06 =0.05) 。这这也也暗暗示示了了模模型型中中存在多重共线性存在多重共线性3.固固定定资资产产投投资资额额的的回回归归系系数数为为负负号号(-0.029193) ，与与预预期的不一致期的不一致多元相关与回归分析课件多重共线性问题的处理多重共线性问题的处理多元相关与回归分析课件多重共线性(问题的处理)1.1.将将一一个
13、个或或多多个个相相关关的的自自变变量量从从模模型型中中剔剔除除，使保留的自变量尽可能不相关使保留的自变量尽可能不相关2.2.如果要在模型中保留所有的自变量，则应如果要在模型中保留所有的自变量，则应避免根据避免根据 t t 统计量对单个参数进行检验统计量对单个参数进行检验对对因因变变量量值值的的推推断断( (估估计计或或预预测测) )的的限限定定在在自自变量样本值的范围内变量样本值的范围内多元相关与回归分析课件多元回归中的变量筛选多元回归中的变量筛选在多元回归中，预先选定的自变量不一定都对在多元回归中，预先选定的自变量不一定都对Y Y有显著的影响。有一些统计方法可以帮助我们有显著的影响。有一些统
14、计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。从众多可能的自变量中筛选出重要的自变量。SPSSSPSS软件提供了多种筛选自变量的方法：软件提供了多种筛选自变量的方法： “向前引入法（向前引入法（ForwardForward）” ” “向后剔除法（向后剔除法（BackwardBackward）” ” “逐步引入逐步引入剔除法（剔除法（StepwiseStepwise）”多元相关与回归分析课件变量选择过程1.1.在建立回归模型时，对自变量进行筛选在建立回归模型时，对自变量进行筛选2.2.选择自变量的原则是对统计量进行显著性检验选择自变量的原则是对统计量进行显著性检验将将一一个个或或一一
15、个个以以上上的的自自变变量量引引入入到到回回归归模模型型中中时时，是是否否使使得得残残差差平平方方和和( (SSESSE) )有有显显著著的的减减少少。如如果果增增加加一一个个自自变变量量使使SSESSE的的减减少少是是显显著著的的，则则说说明明有有必必要要将将这这个个自自变变量量引引入入回回归归模型，否则，就没有必要将这个自变量引入回归模型模型，否则，就没有必要将这个自变量引入回归模型确确定定引引入入自自变变量量是是否否使使SSESSE有有显显著著减减少少的的方方法法，就就是是使使用用F F统统计计量量的的值值作作为为一一个个标标准准，以以此此来来确确定定是是在在模模型型中中增增加加一一个自
16、变量，还是从模型中剔除一个自变量个自变量，还是从模型中剔除一个自变量3.3.变量选择的方法主要有：变量选择的方法主要有： 逐步回归、向前选择、向后剔除逐步回归、向前选择、向后剔除多元相关与回归分析课件向前选择 (forward selection)1.1.从模型中没有自变量开始从模型中没有自变量开始2.2.对对k k个个自自变变量量分分别别拟拟合合对对因因变变量量的的一一元元线线性性回回归归模模型型，共共有有k k个个，然然后后找找出出F F统统计计量量的的值值最最高高的的模模型型及其自变量，并将其首先引入模型及其自变量，并将其首先引入模型 3.3.分分别别拟拟合合引引入入模模型型外外的的k
17、k-1-1个个自自变变量量的的线线性性回回归归模模型型 4.4.如如此此反反复复进进行行，直直至至模模型型外外的的自自变变量量均均无无统统计计显显著性为止著性为止多元相关与回归分析课件向后剔除 (backward elimination)1.1.先先对对因因变变量量拟拟合合包包括括所所有有k k个个自自变变量量的的回回归归模模型型。然然后后考考察察p p( (p p k k) )个个去去掉掉一一个个自自变变量量的的模模型型( (这这些些模模型型中中每每一一个个都都有有的的k k-1-1个个自自变变量量) )，使使模模型型的的SSESSE值值减减小小最最少少的的自自变变量量被被挑挑选选出出来并从
18、模型中剔除来并从模型中剔除2.2.考考察察p-1p-1个个再再去去掉掉一一个个自自变变量量的的模模型型( (这这些些模模型型中中在在每每一一个个都都有有k k-2-2个个的的自自变变量量) )，使使模模型型的的SSESSE值值减减小小最最少少的的自自变变量量被被挑选出来并从模型中剔除挑选出来并从模型中剔除3.3.如如此此反反复复进进行行，一一直直将将自自变变量量从从模模型型中中剔剔除除，直直至至剔剔除除一一个自变量不会使个自变量不会使SSESSE显著减小为止显著减小为止多元相关与回归分析课件逐步回归的思想逐步回归的思想将变量逐一引入回归方程，先建立与将变量逐一引入回归方程，先建立与y y相关最
19、密相关最密切的一元线性回归方程，然后再找出第二个变量，切的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，建立二元线性回归方程，。在每一步中都要对引入变量的显著性作检验，仅在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。量变得不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选而没有引入的变量都
20、是不显著的时，就结束挑选变量的工作。变量的工作。可以设定引入和删除变量的条件。可以设定引入和删除变量的条件。 多元相关与回归分析课件10.5 非线性回归非线性回归10.5.1 双曲线双曲线10.5.2 幂函数曲线幂函数曲线10.5.3 对数曲线对数曲线多元相关与回归分析课件非线性回归非线性回归1.1. 因变量因变量 y y 与与 x x 之间不是线性关系之间不是线性关系2.2. 可通过变量代换转换成线性关系可通过变量代换转换成线性关系3.3.用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值4.4.并并非非所所有有的的非非线线性性模模型型都都可可以以化化为为线线性性模型模型多元相关与回归
21、分析课件双曲线 0 0 01.基本形式：2.线性化方法令：y = 1/y，x= 1/x, 则有y = + x3.图像多元相关与回归分析课件幂函数曲线1.基本形式：2.线性化方法两端取对数得：lg y = lg + lg x令：y = lgy，x= lg x，则y = lg + x3.图像00 1 1 1 1 = 1= 1-1-1 0 0 -1 -1 =-1 =-1 多元相关与回归分析课件对数曲线1.基本形式：2.线性化方法x= lnx , 则有y = + x3.图像 0 0 0 0 多元相关与回归分析课件SPSS中可以进行的曲线回归包括：多元相关与回归分析课件曲线回归的计算机实现： Spss
22、Spss：analyzeanalyzeregressioncurve estimation； Eviews Eviews：quickquickestimate equation。多元相关与回归分析课件例题：我国我国1978200219782002年人均年人均GDPGDP数据（数据（19781978年年不变价），试建立人均不变价），试建立人均GDPGDP与时间之间的回归方与时间之间的回归方程程。多元相关与回归分析课件1 1、画出散点图、画出散点图多元相关与回归分析课件2 2、计算相关系数、计算相关系数多元相关与回归分析课件3 3、进行回归、进行回归多元相关与回归分析课件3 3、进行回归、进行回归
23、多元相关与回归分析课件4 4、精细比较、精细比较（1 1）二次曲线：决定系数）二次曲线：决定系数（2 2）三次曲线：决定系数）三次曲线：决定系数多元相关与回归分析课件4 4、精细比较、精细比较（1 1）二次曲线：）二次曲线：F F检验检验（2 2）三次曲线：）三次曲线：F F检验检验多元相关与回归分析课件4 4、精细比较、精细比较（1 1）二次曲线：回归系数）二次曲线：回归系数（2 2）三次曲线：回归系数）三次曲线：回归系数多元相关与回归分析课件本章小结本章小结1.1.变量间关系的度量变量间关系的度量2.2.回归模型、回归方程与估计的回归方程回归模型、回归方程与估计的回归方程3.3.回归直线的拟合优度回归直线的拟合优度4.4.回归分析中的显著性检验回归分析中的显著性检验5.5.用用SPSS SPSS 进行回归分析进行回归分析多元相关与回归分析课件结结 束束多元相关与回归分析课件
