《多元线性回归分析研》由会员分享，可在线阅读，更多相关《多元线性回归分析研（42页珍藏版）》请在金锄头文库上搜索。
1、表表1 271 27名糖尿病人的血糖及有关变量的测量结果名糖尿病人的血糖及有关变量的测量结果 人的体重与身高、胸围有关人的体重与身高、胸围有关人的心率与年龄、体重、肺活量有关人的心率与年龄、体重、肺活量有关人的血压值与年龄、性别、劳动强度、饮人的血压值与年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史等有关食习惯、吸烟状况、家族史等有关射频治疗仪定向治疗脑肿瘤过程中，脑皮射频治疗仪定向治疗脑肿瘤过程中，脑皮质的毁损半径与辐射的温度、照射的时间质的毁损半径与辐射的温度、照射的时间有关有关 多元线性回归多元线性回归：简称为多元回归，分析一：简称为多元回归，分析一个应变量与多个自变量间的线性关系。个
2、应变量与多个自变量间的线性关系。表表2 2 多元回归分析数据格式多元回归分析数据格式例号例号X X1 1X X2 2X Xm mY Y1 1X X1111X X1212X X1m1mY Y1 12 2X X2121X X2222X X2m2mY Y2 2 n nX Xn1n1X Xn2n2X XnmnmY Yn n一、多元线性回归模型一、多元线性回归模型一般形式为： Y= Y=0 01 1X X1 1 2 2X X2 2 m mX Xm m 0 0 ：常数项：常数项, ,又称为又称为截距截距1 1,2 2,m m: :偏偏 回回 归归 系系 数数 (Partial (Partial regre
3、ssion regression coefficient)coefficient)简简称称回回归归系系数数，在在其其它它自自变变量量保保持持不不变变时时X Xi i(i=1,2,m)(i=1,2,m)每每改改变变一个单位时，应变量一个单位时，应变量Y Y的平均变化量的平均变化量: :去除去除m m个自变量对个自变量对Y Y的影响后的随机误差，的影响后的随机误差，又称残差又称残差多元线性回归模型的应用条件：多元线性回归模型的应用条件：1.线性趋势：Y与Xi间具有线性关系2.独立性：应变量Y的取值相互独立3.正态性：对任意一组自变量取值，因变量Y服从正态分布4.方差齐性：对任意一组自变量取值，因变
4、量y的方差相同 后两个条件等价于：残差后两个条件等价于：残差服从均数为服从均数为0 0、方差为方差为2 2的正态分布的正态分布多元线性回归的分析步骤：多元线性回归的分析步骤：1.根据样本数据求得模型参数的估计值，得到根据样本数据求得模型参数的估计值，得到应变量与自变量数量关系的表达式：应变量与自变量数量关系的表达式：2.对回归方程及各自变量作假设检验，并对方对回归方程及各自变量作假设检验，并对方程的拟和效果及各自变量的作用大小作出评价程的拟和效果及各自变量的作用大小作出评价此公式称为多元线性回归方程此公式称为多元线性回归方程多元线性回归方程的建立：多元线性回归方程的建立：利用最小二乘法原理估计
5、模型的参数：（使残差平方和最小）方程的求解过程复杂，可借助于SPSS、SAS等统计软件来完成SPSS：AnalyzeRegressionLinear regressiondependent：y independent：x1-x5SAS程序：PROC REG DATA=mr15-1; MODEL y=x1-x5; RUN;例例15.1：P210SPSS的分析结果的分析结果二、多元回归方程的假设检验二、多元回归方程的假设检验回归方程是否成立？回归方程是否成立？各偏回归系数是否等于各偏回归系数是否等于0 0？1.1.多元线性回归方程的假设检验：多元线性回归方程的假设检验：方差分析法：SSSS总总 =
6、 SS= SS回回 + SS+ SS残残2.2.偏回归系数的假设检验偏回归系数的假设检验 方差分析法、t检验法方差分析法：SS(XSS(Xi) )为第为第i i个自变量的偏回归平方和个自变量的偏回归平方和偏回归平方和偏回归平方和:SS(X:SS(Xi),),表示模型中含有其它表示模型中含有其它m-1m-1个自变量的条件下该自变量对个自变量的条件下该自变量对Y Y的回归贡献，的回归贡献，相当于从回归方程中剔除该自变量后回归平方相当于从回归方程中剔除该自变量后回归平方和的减少量，或者在和的减少量，或者在m-1m-1个自变量的基础上增个自变量的基础上增加一个自变量后回归平方和的增加量。加一个自变量后
7、回归平方和的增加量。注意：注意：m-1m-1个自变量对个自变量对y y的回归平方和由的回归平方和由m-1m-1个个自变量对自变量对y y重新建立回归方程后计算得到，而重新建立回归方程后计算得到，而不能简单的在整个方程的基础上把不能简单的在整个方程的基础上把b bi il liyiy去掉后去掉后得到。得到。各偏回归平方和各偏回归平方和SS（Xi i）及残差的计算）及残差的计算回归方程中包含的回归方程中包含的自变量自变量SSSS回回SSSS（X Xi i）X X1 1 X X2 2 X X3 3 X X4 4 X X5 5SS总X X2 2 X X3 3 X X4 4 X X5 5SS-1SS总
8、SS-1X X1 1 X X3 3 X X4 4 X X5 5SS-2SS总 SS-2X X1 1 X X2 2 X X4 4 X X5 5SS-3SS总 SS3X X1 1 X X2 2 X X3 3 X X5 5SS-4SS总 SS4X X1 1 X X2 2 X X3 3 X X4 4SS-5SS总 SS52.2.偏回归系数的假设检验偏回归系数的假设检验 t检验法：SPSS的结果的结果3.3.标准化偏回归系数标准化偏回归系数对各数据进行标准化后求得的回归方程即标准对各数据进行标准化后求得的回归方程即标准化回归方程，其相应的偏回归系数即标准化偏化回归方程，其相应的偏回归系数即标准化偏回归系
9、数。回归系数。标准化偏回归系数和偏回归系数的关系：标准化偏回归系数和偏回归系数的关系：在有统计学意义的前提下，在有统计学意义的前提下，标准化偏回归系数绝对值绝对值的大小可直接进行比较，以衡量自变量对应变量的作的大小可直接进行比较，以衡量自变量对应变量的作用大小用大小例：见例：见P2134.4.复相关系数复相关系数复相关系数：multiple correlation coefficient衡量因变量y与回归方程内所有自变量线性组合间相关关系的密切程度，也即Y与 之间的相关系数。R 其值在0与1之间如果只有一个自变量，此时 R2称为称为决定系数决定系数表明回归平方和在总平方表明回归平方和在总平方和
10、中所占的比重。和中所占的比重。R2越接近于越接近于1，说明引入方，说明引入方程的自变量与因变量的相关程度越高，程的自变量与因变量的相关程度越高，Xi与与y的回归效果越好。的回归效果越好。 R2受自变量个数的影响，由此又提出受自变量个数的影响，由此又提出校正校正决定系数决定系数，既反映模型的拟和优度，又同时考，既反映模型的拟和优度，又同时考虑了模型中的自变量个数。虑了模型中的自变量个数。三、选择最优回归方程的方法三、选择最优回归方程的方法1.1.最优回归方程最优回归方程 : 1）对y的作用有统计学意义的自变量，全部选入回归方程 2）对y的作用没有统计学意义的自变量，一个也不引入回归方程 2.2.
11、方法：方法：1)最优子集回归法：又称全局择优法，全局择优法，求出所有可能的回归模型（共有2m1个）选取最优者2)向后剔除法（backward selection）3)向前引入法（forward selection）4)逐步回归法（stepwise regression）逐步回归法逐步回归法自变量回归平方和最大的自变量回归平方和最大的X Xi i首先进入方程，在首先进入方程，在X Xi i进入方程的基础上计算其余进入方程的基础上计算其余m-1m-1个自变量分个自变量分别进入回归方程时的偏回归平方和，其中最大别进入回归方程时的偏回归平方和，其中最大者记为者记为SSSSj j，对，对X Xj j进行
12、检验，若有意义则进入方进行检验，若有意义则进入方程，并重新对程，并重新对X Xi i进行检验。若进行检验。若X Xi i退化为无意义，退化为无意义，则剔除则剔除X Xi i，同时再对，同时再对X Xj j进行检验。若进行检验。若X Xj j依然有依然有意义则继续选择下一个偏回归平方和最大者并意义则继续选择下一个偏回归平方和最大者并进行检验。重复此过程。进行检验。重复此过程。逐步回归法逐步回归法每每引入或剔除一个自变量后都要引入或剔除一个自变量后都要重新重新对已进对已进入方程中的自变量进行检验，直到方程外没入方程中的自变量进行检验，直到方程外没有有意义的自变量可引入、方程内也没有无有有意义的自变
13、量可引入、方程内也没有无意义的自变量可剔除为止意义的自变量可剔除为止 。逐步回归法逐步回归法双向筛选 ；引入一个有意义变量（前进法）的同时，剔除无意义的变量（后退法） “先剔除后选入”原则 入和出可等可不等 注意，引入变量的检验水准要小于或等于剔除变量的检验水准。四、多元线性回归的应用四、多元线性回归的应用1.1.影响因素分析影响因素分析: :年龄年龄(X1)饮食习惯饮食习惯(X2)吸烟状况吸烟状况(X3)工作紧张度工作紧张度(X4)家族史家族史(X5) 高血压高血压(Y)2.2.估计与预测估计与预测: :心脏表面积心脏表面积(Y)=b(Y)=b0 0+b+b1 1心脏横径心脏横径(X(X1
14、1)+ b)+ b2 2心脏纵心脏纵径径(X(X2 2)+ b)+ b3 3心脏宽径心脏宽径(X(X3 3) )新生儿体重新生儿体重(Y)=b(Y)=b0 0+b+b1 1胎儿孕龄胎儿孕龄(X(X1 1)+ b)+ b2 2 胎儿胎儿头径头径(X(X2 2)+ b)+ b3 3胎儿胸径胎儿胸径(X(X3 3)+ b)+ b4 4胎儿腹径胎儿腹径(X(X4 4) )3.3.统计控制统计控制: :利用回归方程进行逆估计，确定利用回归方程进行逆估计，确定Y Y后控制后控制X X 。采用射频治疗仪治疗脑肿瘤：采用射频治疗仪治疗脑肿瘤：脑皮质毁损半径脑皮质毁损半径(Y) =b0+b1射频温度射频温度(X
15、1)+ b2照射时间照射时间(X2)五、多元线性回归应用的注意事项五、多元线性回归应用的注意事项1.1.指标的数量化指标的数量化 应变量应变量Y Y为连续变量为连续变量自变量自变量X X可为连续、有序分类或无序分类变量可为连续、有序分类或无序分类变量 (1) (1)连续变量：连续变量：X X (2) (2)有序分类变量：有序分类变量： 1 1 轻轻 X= 2 X= 2 中中 3 3 重重(3)(3)无序分类变量无序分类变量自变量为二分类变量自变量为二分类变量: :自变量为多分类变量：假定有自变量为多分类变量：假定有n n类，则用类，则用n n1 1个个取值为取值为0 0或或1 1的哑变量（的哑
16、变量（dummy dummy variables)variables)来表示这些类别。来表示这些类别。X=0 男1 女2.2.样本含量：样本含量： n n至少是至少是X X个数个数mm的的5 51010倍倍3.3.关于逐步回归：关于逐步回归： 不要盲目信任，结合专业知识。不要盲目信任，结合专业知识。4.4.多重共线性：多重共线性：指自变量之间存在较强的线性关系指自变量之间存在较强的线性关系 使偏回归系数方差加大，系数估计不稳，使偏回归系数方差加大，系数估计不稳，难以有合乎专业知识的解释。难以有合乎专业知识的解释。提示可能存在多重共线性的情况：提示可能存在多重共线性的情况：整个模型的检验结果为整
17、个模型的检验结果为PPP。专业上认为应该有统计学意义的自变量检专业上认为应该有统计学意义的自变量检验结果却无统计学意义。验结果却无统计学意义。自变量的偏回归系数取值大小甚至符号明自变量的偏回归系数取值大小甚至符号明显与实际情况相违背，难以解释。显与实际情况相违背，难以解释。增加或删除一个自变量或一条记录，自变增加或删除一个自变量或一条记录，自变量回归系数发生较大变化。量回归系数发生较大变化。容忍度容忍度: :若某变量的容忍度若某变量的容忍度0.10.1时，说明该时，说明该变量与其它变量存在严重的多重共线性。变量与其它变量存在严重的多重共线性。方差膨胀因子（方差膨胀因子（VIFVIF）: :为容
18、忍度的倒数。为容忍度的倒数。VIF10VIF10时，存在严重的多重共线性时，存在严重的多重共线性Rj为第j个自变量与其它自变量间的相关系数多多重重共共线线性性的的判判断断指指标标条件指数条件指数: :条件指数条件指数1010，则提示存在多重共线性。，则提示存在多重共线性。方差比方差比: :如两个或多个变量的方差比均如两个或多个变量的方差比均0.50.5，说明这，说明这几个自变量之间存在多重共线性几个自变量之间存在多重共线性多多重重共共线线性性的的判判断断指指标标5.变量间的交互作用： 是否考虑交互作用主要靠专业知识6.残差分析检查资料是否符合模型条件消除共线性的方法：剔除、定义新变量、逐步回归
