《多元相关与回归分析》由会员分享，可在线阅读，更多相关《多元相关与回归分析（82页珍藏版）》请在金锄头文库上搜索。
1、第 10 章 多元线性回归,10.1 多元线性回归模型 10.2 回归方程的拟合优度 10.3 显著性检验 10.4 多重共线性 10.5 哑变量回归 10.6 非线性回归,学习目标,1. 回归模型、回归方程、估计的回归方程 2. 回归方程的拟合优度 回归方程的显著性检验 利用回归方程进行估计和预测 非线性回归 用 SPSS 进行回归分析,10.1 多元线性回归模型,10.1.1 多元回归模型与回归方程 10.1.2 估计的多元回归方程 10.1.3 参数的最小二乘估计,多元回归模型与回归方程,多元回归模型 (multiple regression model),一个因变量与两个及两个以上自变
2、量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ， xk 和误差项 的方程，称为多元回归模型 涉及 k 个自变量的多元回归模型可表示为,b0 ，b1，b2 ，bk是参数 是被称为误差项的随机变量 y 是x1,，x2 ， ，xk 的线性函数加上误差项 包含在y里面但不能被k个自变量的线性关系所解释的变异性,多元回归模型 (基本假定),误差项是一个期望值为0的随机变量，即E()=0 对于自变量x1，x2，xk的所有值，的方差 2都相同 误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立,多元回归方程 (multiple regression equation),描述因变量
3、y 的平均值或期望值如何依赖于自变量 x1， x2 ，xk的方程 多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + k xk,b1，b2，bk称为偏回归系数 bi 表示假定其他变量不变，当 xi 每变动一个单位时，y 的平均变动值,二元回归方程的直观解释,估计的多元回归方程,估计的多元回归的方程 (estimated multiple regression equation),用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为,是 的估计值 是 y 的估计值,参数的最小二乘估计,参数的最小二乘法,求解各回归参数的标准方程如下,使因变量的
4、观察值与估计值之间的离差平方和达到最小来求得 。即,参数的最小二乘法 (例题分析),【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义,10.2 回归方程的拟合优度,10.2.1 多重判定系数 10.2.2 估计标准误差,多重判定系数,多重判定系数 (multiple coefficient of determination),回归平方和占总平方和的比例 计算公式为 因变量取值的变差中，能被估计的多
5、元回归方程所解释的比例,在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与Y不相关，模型的R2也可能上升，至少不会下降。 在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果根据R2来选择模型，显然会倾向于复杂的模型。 更常用的指标是“修正后的Ra2”。,修正的判定系数,修正多重判定系数 (adjusted multiple coefficient of determination),用样本量n和自变量的个数k去修正R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似 数值小于R2,估计标准误差 Se,对误差项的标准差 的一个估计值 衡量多元回归
6、方程的拟合优度 计算公式为,12.3 显著性检验,12.3.1 线性关系检验 12.3.2 回归系数检验和推断,线性关系检验,线性关系检验,检验因变量与所有自变量之间的线性关系是否显著 也被称为总体的显著性检验 检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系,线性关系检验,提出假设 H0：12k=0 线性关系不显著 H1：1，2， k至少有一个不等于0,2. 计算检验统计量F,确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F 4. 作
7、出决策：若FF ，拒绝H0,回归系数检验和推断,回归系数检验和推断,回归方程显著，并不意味着每个解释变量对因变量Y的影响都重要,因此需要进行检验：,回归系数检验的必要性,回归方程显著,每个回归系数都显著,回归系数的检验(步骤),提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t,确定显著性水平，并进行决策 tt，拒绝H0； tt，不拒绝H0,回归系数的推断 (置信区间),回归系数在(1-)%置信水平下的置信区间为,回归系数的抽样标准差,10.4 多重共线性,10.4.1 多重共线性及
8、其所产生的问题 10.4.2 多重共线性的判别 10.4.3 多重共线性问题的处理,多重共线性及其产生的问题,多重共线性,回归模型中两个或两个以上的自变量彼此相关 多重共线性带来的问题有 t检验值会减小、系数的显著性下降。 对于一组存在高度多重共线性的自变量，很难对单个系数进行解释。 有可能导致各回归系数的符号同我们的预期相反 。,多重共线性的识别,多重共线性的识别,检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验 若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性 如果出现下列情况，暗示存在多重共线性 模型中各对自
9、变量之间显著相关 当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反,多重共线性 (例题分析),【例】判别各自变量之间是否存在多重共线性,贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵,多重共线性 (例题分析),【例】判别各自变量之间是否存在多重共线性,相关系数的检验统计量,多重共线性 (例题分析),t(25-2)=2.0687，所有统计量t t(25-2)=2.0687，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系 由表中的结果可知，回归模型的线性关系显著(Significance-F1.03539E-06=0.0
10、5) 。这也暗示了模型中存在多重共线性 固定资产投资额的回归系数为负号(-0.029193) ，与预期的不一致,多重共线性问题的处理,多重共线性 (问题的处理),将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 如果要在模型中保留所有的自变量，则应 避免根据 t 统计量对单个参数进行检验 对因变量值的推断(估计或预测)的限定在自变量样本值的范围内,多元回归中的变量筛选,在多元回归中，预先选定的自变量不一定都对Y有显著的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。,SPSS软件提供了多种筛选自变量的方法： “向前引入法（Forward）” “向后剔除法
11、（Backward）” “逐步引入剔除法（Stepwise）”,变量选择过程,在建立回归模型时，对自变量进行筛选 选择自变量的原则是对统计量进行显著性检验 将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著的减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型 确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量 变量选择的方法主要有： 逐步回归、向前选择、向后剔除,向前选择 (forward select
12、ion),从模型中没有自变量开始 对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量，并将其首先引入模型 分别拟合引入模型外的k-1个自变量的线性回归模型 如此反复进行，直至模型外的自变量均无统计显著性为止,向后剔除 (backward elimination),先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中每一个都有的k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除 考察p-1个再去掉一个自变量的模型(这些模型中在每一个都有k-2个的自变量)，使模型的SSE值减小最少的
13、自变量被挑选出来并从模型中剔除 如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止,逐步回归的思想,将变量逐一引入回归方程，先建立与y相关最密切的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，。 在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。 这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量的工作。 可以设定引入和删除变量的条件。,10.5 哑变量回归 10.5.1 在模型中引进哑变量 10.5.2
14、 含有一个哑变量的回归,10.5.1 在模型中引进哑变量,哑变量 (dummy variable),也称虚拟变量。用数字代码表示的定性自变量 哑变量可有不同的水平 只有两个水平的哑变量 比如，性别(男，女) 有两个以上水平的哑变量 贷款企业的类型(家电，医药，其他) 哑变量的取值为0，1,在回归中引进哑变量,回归模型中使用哑变量时，称为哑变量回归 当定性变量只有两个水平时，可在回归中引入一个哑变量 比如，性别(男，女) 一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量,在回归中引进哑变量 (例题分析),例为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8
15、名，得到他们的市场营销学课程的考试成绩如右表,10.5.2 含有一个哑变量的回归,在回归中引进哑变量 (例题分析),【例】建立考试分数与性别之间的线性回归方程，并解释回归系数的含义,哑变量回归 (例题分析),引进哑变量时，回归方程表示为E(y) =0+ 1x 男(x=0)：E(y) =0男学生考试成绩的期望值 女(x=1)：E(y) =0+ 1女学生考试成绩的期望值 注意：当指定哑变量0，1时 0总是代表与哑变量值0所对应的那个分类变量水平的平均值 1总是代表与哑变量值1所对应的那个分类变量水平的平均值与哑变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0
16、= 1,哑变量回归 (例题分析),考试成绩与性别的回归,男学生考试分数的平均值,女学生与男学生平均考试分数的差值,用SPSS进行哑变量回归 (有一个哑变量和有一个数值变量),第1步：选择【Analyze】，并选择【General Linear Model-Univaiate】进入主对话框 第2步：将因变量(考试成绩)选入【Dependent Variable】，将自变量(性别)选入【Fixed Factor(s)】(模型中还含有一个数值自变量时，将数值自变量选入【Covariate(s)】) 第3步：点击【Model】，并点击【Custom】；将性别F选入【Model】(若模型中还含有工作年限自变量时，将工作年限C也选入【Model】；在【Bu
