第九章spss的线性回归分析

《第九章spss的线性回归分析》由会员分享，可在线阅读，更多相关《第九章spss的线性回归分析（63页珍藏版）》请在金锄头文库上搜索。

1、第九章,SPSS回归分析,本章内容,9.1 回归分析概述 9.2 线性回归分析 9.3 回归方程的统计检验 9.4 多元回归分析中的其他问题 9.5 线性回归分析的基本操作 9.6 线性回归分析的应用举例 9.7 曲线估计,9.1 回归分析概述,1.线性回归分析的内容 （1）能否找到一个线性组合来说明一组自变量和因变量的关系 （2）如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强 （3）整体解释能力是否具有统计上的显著性意义 （4）在整体解释能力显著的情况下，哪些自变量有显著意义,2.回归分析的一般步骤 （1）确定回归方程中的解释变量（自变量）和被解释变量（

2、因变量） （2）确定回归模型-选用合适的数学模型概括回归线 （3）确定回归方程-根据样本数据及确定的回归模型，在一定的统计拟合准则下估计模型的参数，得到确定的回归方程。 （4）对回归方程进行各种检验-基于样本得到的回归方程是否真实地反映了总体间的统计关系？回归方程能否用于预测？ （5）利用回归方程进行预测,9.2.1线性回归模型1.一元线性回归模型的数学模型其中：x为自变量；y为因变量；为截距，即常量；为回归系数，表明自变量对因变量的影响程度,9.2 线 性 回 归 分 析,X的变化引起的y的线性变化部分： 其他随机因素引起的y的变化部分：,用最小二乘法求解方程中的两个参数，得到：,多元线性回

3、归模型,2.多元线性回归方程：（1）1、2、p为偏回归系数。 （2）1表示在其他自变量保持不变的情况下，自变量x1变动一个单位所引起的因变量y的平均变动,9.3.1回归方程的拟合优度检验回归直线与各观测点的接近程度称为回归方程的拟合优度， 也就是样本观测值聚集在回归线周围的紧密程度 。 1.离差平方和的分解 建立直线回归方程可知：y的观测值的总变动可由 来反映，称为总变差。引起总变差的原因有两个： （1)由于x的取值不同，使得与x有线性关系的y值不同； （2）随机因素的影响。,9.3 线性回归方程的统计检验,总离差平方和可分解为,（1）总平方和（SST)=剩余平方和(SSE) +回归平方和（S

4、SR) （2）SST:反映因变量的 n 个观察值与其均值的总离差。 （3）SSR：由x和y的直线回归关系引起的，可以由回归直线做出 解释； （4）SSE：除了x对y的线性影响之外的随机因素所引起的Y的变动，是回归直线所不能解释的。,2.可决系数（判定系数、决定系数）,（1）可决系数：回归平方和在总平方和中所占的比例 （2）用来衡量X与Y 的关系密切程度以及回归直线的代表性好坏。 （3）对于一元线性回归方程：,（4）对于多元线性回归方程多元线性回归分析中，引起判定系数增加的原因有两个： 方程中的解释变量个数增多 方程中引入了对被解释变量有重要影响的解释变量 如果某个自变量引入方程后对因变量的线性

5、解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高 如果某个自变量对因变量的线性解释不明显，那么将其引入只会使SSE减少，但不会使平均的SSE减少，因此，多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度,（1）回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。 （2） 对于一元线性回归方程，检验统计量为：平均的SSA/平均的SSE，反映了回归方程所能解释的变差与不能解释的变差的比例。 SPSS自动计算F统计量值和p值，根据p值与显著性水平的大小进行判断。,9.3.2 回归方程的显著性检

6、验（方差分析F检验）,（3）对于多元线性回归方程，检验统计量为也即：回归方程的拟合优度越高回归方程的显著性检验也会越显著 回归方程的显著性检验越显著回归方程的拟合优度越高 回归方程的拟合优度检验仅是一种刻画性描述，不涉及假设检验中：提出原假设、选择检验统计量、计算检验统计量的值、决策等内容，而回归方程的显著性检验均涉及这些内容。,9.3.3回归系数的显著性检验（t检验）,（1）回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。 （2）对于一元线性回归方程，检验统计量为： 为回归方程的标准误差，是SSE的均方根，反映了回归方程无法解释y 变动的程度。SPSS

7、自动计算t值和p值，根据p值进行决策。一元线性回归中，回归方程显著性检验和回归系数显著性检验的作用相同，可相互替代，且回归方程显著性检验的F统计量等于回归系数显著性检验t统计量的平方,（3）对于多元线性回归方程，检验统计量为：,SPSS自动计算 统计量的值和相应的p值，可根据p值进行决策 多元线性回归中，回归方程显著性检验和回归系数显著性检验的作用不相同： （a）回归方程显著性检验检验所有偏回归系数是否同时为零。即使偏回归系数不同时为零，并不能保证方程中不存在解释力较差的自变量。 （b）回归系数显著性检验对每个偏回归系数是否为零逐一进行检验 （c）两种检验不能相互替代。,（1）残差是指由回归方

8、程计算得到的预测值与实际样本值之间的差距，定义为：（2）对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性和趋势性。 （3）残差分析包括以下内容：残差是否服从均值为零的正态分布；残差是否为等方差的正态分布；残差序列是否独立；借助残差探测样本中的异常值。,9.3.4 残差分析,9.3.4.1残差均值为零的正态性检验（1）通过绘制残差图进行分析（2）残差图是一种散点图：横轴为解释变量，纵轴为残差。（3）如果残差均值为零，残差图的点应该在纵坐标为0的中心带状区域中随机散落，（P290图9-1）,9.3.4.2残差独立性检验,1.残差序列独立性指：

9、残差序列前期和后期数值之间不存在相关关系，即：2.方法 （1）绘制残差序列散点图：时间为横轴，残差为纵轴，若残差随时间推移呈有规律变化，则存在相关性。 （2）计算残差的自相关系数：,（3）DW检验 DW检验用来检验残差的自相关。检验统计量为：DW=2，表示无自相关， DW=4，表示完全负自相关 DW=0，表示完全正自相关 DW在0-2之间说明存在正自相关， DW在2-4之间说明存在负的自相关。 一般情况下，DW值在1.5-2.5之间即可说明无自相关现象,（4）残差序列存在自相关可能表明：回归方程没有充分说明被解释变量的变化规律，遗漏了一些重要的解释变量变量存在取值滞后性回归模型选择不合适,9.

10、3.4.3异方差分析,1.残差分析的方差不随解释变量或被解释变量取值的变化而变化，否则，存在异方差。 2.异方差的后果 （1）参数的最小二乘估计不再是最小方差、无偏、有效估计 （2）导致回归系数显著性检验的t值偏高，进而容易拒绝原假设，使无用变量保留下来，增大模型的预测偏差。,3.异方差的检验 （1）绘制散点图横轴解释变量，纵轴残差，若残差随解释变量的增加呈增加（减少）趋势，则存在异方差。 （2）等级相关分析对残差序列取绝对值计算残差和解释变量的秩计算Spearman等级相关系数。若等级相关分析检验统计量的p值给定的显著性水平，则拒绝原假设，解释变量与残差存在相关关系，出现了异方差。,4.异方

11、差的处理 （1）对解释变量实施方差稳定变换，再进行回归方程参数的估计。 残差与预测值的平方根成比例变化对解释变量作开方处理 残差与预测值成比例变化对解释变量取对数 残差与预测值的平方成比例变化对解释变量求倒数 （2）利用加权最小二乘法估计回归方程参数,9.3.4.4.探测样本中的异常值,1. 异常值：远离均值的样本数据点，对回归方程参数估计有较大影响。 2.被解释变量中异常值的探测方法 （1）标准化残差对残差进行标准化，根据 准则， 的绝对值大于3的为异常值（2）学生化残差计算学生化残差， 绝对值大于3对应的观察值为异常值。,（3）剔除残差计算第i个样本残差时，用剔除该样本后剩余的（n-1）个

12、样本拟合方程，并计算第i个样本的预测值和相应的残差，此残差称为剔除残差。剔除学生化残差的绝对值大于3对应的观察值为异常值。,3.解释变量中异常值的探测方法 （1）杠杆值（2）库克距离,（3）标准化回归系数的变化和标准化预测值的变化在剔除第i个样本后，观察标准化回归系数的前后变化，如果标准化回归系数变化的绝对值大于 ，则可认为第i个样本可能是异常值。观察预测值的前后变化，如果标准化预测值变化的绝对值大于 ，则可认为第i个样本可能是异常值。,9.4 多元回归中的其他问题,9.4.1解释变量的筛选问题 1.引入多少个解释变量？ 太少不能很好解释因变量的变化 太多自变量间可能存在多重共线性 2.筛选策

13、略 （1）向前筛选（ Forward ）策略 解释变量不断进入回归方程的过程。 首先选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程的各种检验； 在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种检验； 这个过程一直重复，直到再也没有可进入方程的变量为止。,（2）向后筛选（ Backward ）策略 变量不断剔除出回归方程的过程。 首先把所有变量全部引入回归方程，并对回归方程进行各种检验； 在回归系数显著性检验不显著的一个或多个变量中，剔除t检验值最小的变量，并重新建立回归方程和进行各种检验 如果新建回归方程中所有变量的回归

14、系数检验都显著，则回归方程建立结束；否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。,（3）逐步筛选（ Stepwise ）策略在向前筛选策略的基础上结合向后筛选策略：向前策略中，变量一旦进入方程将不再被剔除，随着变量的不断引入，会由于变量间的多重共线性，使得已经引入的变量不再显著。在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。,1. 多重共线性是指解释变量之间存在线性相关关系的现象。 2.测度多重共线性一般有以下方式 （1）容忍度 是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示

15、解释变量之间的线性相关程度。 容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。 （2）方差膨胀因子VIF 方差膨胀因子是容忍度的倒数。 VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。,9.4.2 多重共线性问题,（3）特征根和方差比 根据解释变量的相关系数矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。 如果某个特征根既能够刻画某解释变量方差的较大部分比例（0.7以上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。,（4）条件指数 指最

16、大特征根与第i个特征根比的平方根。当条件指数在0-10之间时说明多重共线性较 当条件指数在10-100之间说明多重共线性较强； 当条件指数大于100时说明存在严重的多重共线性,3.多重共线性的后果 （1）偏回归系数估计困难 （2）偏回归系数的估计方差随解释变量相关性的增大而增大 （3）偏回归系数的置信区间增大 （4）偏回归系数估计值不稳定性增大 （5）偏回归系数假设检验的结果不显著,9.5 线性回归分析的基本操作 9.5.1选择菜单AnalyzeRegressionLinear，出现窗口：,（2）选择被解释变量进入Dependent框。 （3）选择一个或多个解释变量进入Independent(s)框。 （4）在Method框中选择回归分析中解释变量的筛选策略。 Enter表示所选变量强行进入回归方程，是SPSS默认的策略，通常用在一元线性回归分析中； Remove表示从回归方程中剔除所选变量； Stepwise表示逐步筛选策略； Backward表示向后筛选策略； Forward表示向前筛选策略。,