《1645编号贾俊平统计学第十二章 多元线性回归_09》由会员分享，可在线阅读，更多相关《1645编号贾俊平统计学第十二章 多元线性回归_09（69页珍藏版）》请在金锄头文库上搜索。
1、第 12 章 多元线性回归,第12章 多元线性回归,12.1 多元线性回归模型 12.2 回归方程的拟合优度 12.3 显著性检验 12.4 多重共线性 12.5 利用回归方程进行估计和预测 12.6 虚拟自变量的回归 12.7 曲线回归,学习目标,1.回归模型、回归方程、估计的回归方程 2.回归方程的拟合优度 回归方程的显著性检验 多重共线性问题及其处理 利用回归方程进行估计和预测 虚拟自变量的回归问题 曲线回归,12.1 多元线性回归模型,多元回归模型与回归方程 估计的多元回归方程 参数的最小二乘估计,多元回归模型与回归方程,多元回归模型 (multiple regression mode
2、l),一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项 的方程，称为多元回归模型 涉及 p 个自变量的多元回归模型可表示为,b0 ，b1，b2 ，bp是参数 是被称为误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 包含在y里面但不能被p个自变量的线性关系所解释的变异性,多元回归模型(基本假定),误差项是一个期望值为0的随机变量，即E()=0 对于自变量x1，x2，xp的所有值，的方差2都相同 误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立,多元回归方程 (multiple regression
3、equation),描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，xp的方程 多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + p xp,b1，b2，bp称为偏回归系数 bi 表示假定其他变量不变，当 xi 每变动一个单位时，y 的平均平均变动值,二元回归方程的直观解释,估计的多元回归方程,估计的多元回归的方程(estimated multiple regression equation),是 估计值 是 y 的估计值,用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为,参数的最小二乘估计,参数的最小二乘法,求解各回
4、归参数的标准方程如下,使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即,参数的最小二乘法(例题分析),【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款(y)与贷款余额(x1)、累计应收贷款(x2)、贷款项目个数(x3)和固定资产投资额(x4)的线性回归方程，并解释各回归系数的含义 用SPSS进行回归,12.2 回归方程的拟合优度,多重判定系数 估计标准误差,多重判定系数,多重判定系数(multiple coefficient of determination),回归平方和占总平方和的比例 计算
5、公式为 因变量取值的变差中，能被估计的多元回归方程所解释的比例,修正多重判定系数(adjusted multiple coefficient of determination),用样本容量n和自变量的个数p去修正R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似 数值小于R2,SPSS 输出结果的分析,估计标准误差 Sy,对误差项的标准差的一个估计值 衡量多元回归方的程拟合优度 计算公式为,SPSS 输出结果的分析,12.3 显著性检验,线性关系检验 回归系数检验和推断,线性关系检验,线性关系检验,检验因变量与所有自变量之间的是否显著 也被称为总体的显著性检验 检验方法是将回归
6、离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系,线性关系检验,提出假设 H0：12p=0 线性关系不显著 H1：1，2，p至少有一个不等于0,2. 计算检验统计量F,3. 确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F 4. 作出决策：若FF ，拒绝H0,SPSS 输出结果的分析,回归系数检验和推断,回归系数的检验,线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验 究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决
7、定 对回归系数检验的个数进行限制，以避免犯过多的第一类错误(弃真错误) 对每一个自变量都要单独进行检验 应用 t 检验统计量,回归系数的检验(步骤),提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t,确定显著性水平，并进行决策 tt，拒绝H0； tt，不能拒绝H0,SPSS 输出结果的分析,回归系数的推断 (置信区间),回归系数在(1-)%置信水平下的置信区间为,回归系数的抽样标准差,SPSS 输出结果的分析,12.4 多重共线性,多重共线性及其所产生的问题 多重共线性的判别 多重
8、共线性问题的处理,多重共线性及其产生的问题,多重共线性(multicollinearity),回归模型中两个或两个以上的自变量彼此相关 多重共线性带来的问题有 可能会使回归的结果造成混乱，甚至会把分析引入歧途 可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同我们预期的正负号相反,spss 输出结果的分析,多重共线性的识别,多重共线性的识别,检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验 通过自变量间的相关系数矩阵，若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性 一般说来，相关系数超过0.9将会
9、存在共线性问题；相关系数在0.8以上可能有问题 如果出现下列情况，暗示存在多重共线性 模型中各对自变量之间显著相关。 当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号同预期的相反。,Excel 输出结果的分析,SPSS共线性诊断,自变量间的相关系数矩阵，观察是否存在自变量的相关系数非常高。一般，相关系数0.9将会存在共线性问题；相关系数在0.8以上可能有问题 容忍度（Tolerance）：容忍度即以每个自变量作为应变量对其他自变量进行回归分析时得到的残差比例，大小用1减决定系数来表示。该指标越小，说明该自变量被其余自变量预测的越精确，共线性可能就越严重。
10、陈希孺根据经验得出：如果某个自变量的容忍度小于0.1，则可能存在共线性问题严重 方差膨胀因子（Variance inflation factor,VIF）：实际上是容忍度的倒数，VIF越大，说明共线性问题可能越严重 特征根（Eigenvalue）：实际上是对自变量进行主成分分析，如果相当多维度的特征根约等于0，则可能有较严重的共线性 条件指数（Condition Index）：当某些维度的该指标数值大于30时，可能存在共线性,多重共线性(例题分析),【例】判别各自变量之间是否存在多重共线性,贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵,多重共线性(例题分析),【例】判别各自变量之
11、间是否存在多重共线性,相关矩阵系数的检验统计量,多重共线性(例题分析),t(25-2)=2.0687，所有统计量tt(25-2)=2.0687，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系 由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F1.03539E-06=0.05) 。这也暗示了模型中存在多重共线性 固定资产投资额的回归系数为负号(-0.029193) ，与预期的不一致,SPSS共线性诊断结果,多重共线性问题的处理,多重共线性(问题的处理),将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 如果要在模型中保留所有的自变量，
12、则应 避免根据 t 统计量对单个参数进行检验 对因变量值的推断(估计或预测)的限定在自变量样本值的范围内 增大样本量，有时可以部分解决共线性问题。 采用多种自变量筛选方法相结合的方式，建立一个最优的逐步回归方程。 从专业的角度加以判断，人为去除在专业上较次要的，或缺失值较多、测量误差较大的共线性因子。 进行主成分分析，用提取出的因子代替原变量进行回归分析。 进行岭回归分析，可以有效的解决多重共线性问题。 进行通经分析，采用结构方程，可以对应/自变量间复杂的关系加以精确刻画。,SPSS 输出结果的分析,12.5 利用回归方程进行估计和预测,软件应用,置信区间估计(例题分析),STATISTICA
13、输出的不良贷款的置信区间,预测区间估计(例题分析),STATISTICA输出的不良贷款的预测区间,12.6 虚拟自变量的回归,含有一个虚拟自变量的回归 用虚拟自变量回归解决方差分析问题,含有一个虚拟自变量的回归,虚拟自变量(dummy variable),用数字代码表示的定性自变量 虚拟自变量可有不同的水平 只有两个水平的虚拟自变量 比如，性别(男，女) 有两个以上水平的虚拟自变量 贷款企业的类型(家电，医药，其他) 虚拟变量的取值为0，1,虚拟自变量的回归,回归模型中使用虚拟自变量时，称为虚拟自变量的回归 当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量 比如，性别(男，女) 一般而言
14、，如果定性自变量有k个水平，需要在回归中模型中引进k-1个虚拟变量,虚拟自变量的回归(例题分析),【例】为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如下表,虚拟自变量的回归(例题分析),散点图,y与x的回归,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写：E(y) =0+ 1x 男( x=0)：E(y) =0男学生考试成绩的期望值 女(x=1 )：E(y) =0+ 1女学生考试成绩的期望值 注意：当指定虚拟变量01时 0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值 1总是代表与虚拟变量值1所对应的那个分类变量水
15、平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值 =(0+ 1) 0= 1,虚拟自变量的回归(例题分析),【例】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如下表,y与x1的回归及分析,y与x1、 x2的回归及分析,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写： E(y) =0+ 1x1+ 2x2 女( x2=0)：E(y|女性) =0 +1x1 男(x2=1)：E(y|男性) =(0 + 2 ) +1x1 0的含义表示：女性职工的期望月工资收入 (0+ 2)的含义表示：男性职工的期望月工资收入 1含义表示：
16、工作年限每增加1年，男性或女性工资的平均增加值 2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 (0+ 2) - 0= 2,用虚拟自变量回归解决方差分析问题,方差分析的回归方法 (例题分析),引进虚拟变量 建立回归方程：E(Y)=0+ 1x1+ 2x2+3x3 用Excel进行回归 0家电制造业投诉次数的平均值 (0+ 1)零售业投诉次数的平均值 (0+ 2)旅游业投诉次数的平均值 (0+ 3)航空公司投诉次数的平均值,11.6 曲线回归,曲线回归的处理思路 指数曲线回归方程 高次曲线回归方程,曲线回归思路,通常将曲线采用变量代换的方法将非线性模型转化为线性，再用线性方法处理,指数曲线的回归,指数的回归模型方程,作对数变换,参数求解方程组：,高次方程的回归,指数的回归模型方程,指数回归方程(例题分析),【例】 12个同类企业月产量和单位产品成本,指数回归方程(例题分析),绘制散点图，并可用软件进行曲线拟合,指数回归方
