《多元线性回归分析研ppt课件》由会员分享，可在线阅读，更多相关《多元线性回归分析研ppt课件（42页珍藏版）》请在金锄头文库上搜索。
1、表表1 271 27名糖尿病人的血糖及有关变量的测量结果名糖尿病人的血糖及有关变量的测量结果 人的体重与身高、胸围有关人的体重与身高、胸围有关人的心率与年龄、体重、肺活量有关人的心率与年龄、体重、肺活量有关人的血压值与年龄、性别、劳动强度、饮人的血压值与年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史等有关食习惯、吸烟状况、家族史等有关射频治疗仪定向治疗脑肿瘤过程中，脑皮射频治疗仪定向治疗脑肿瘤过程中，脑皮质的毁损半径与辐射的温度、照射的时间质的毁损半径与辐射的温度、照射的时间有关有关 多元线性回归：简称为多元回归，分析一多元线性回归：简称为多元回归，分析一个应变量与多个自变量间的线性关系。个
2、应变量与多个自变量间的线性关系。表表2 2 多元回归分析数据格式多元回归分析数据格式例号例号X X1 1X X2 2X Xm mY Y1 1X X1111X X1212X X1m1mY Y1 12 2X X2121X X2222X X2m2mY Y2 2n nX Xn1n1X Xn2n2X XnmnmY Yn n一、多元线性回归模型一、多元线性回归模型一般形式为： Y=01X1 2X2 mXm 0 0 ：常数项：常数项, ,又称为截距又称为截距1,2,1,2,m:,m:偏回归系数偏回归系数(Partial (Partial regression coefficient)regression c
3、oefficient)简称回归系数，在简称回归系数，在其它自变量保持不变时其它自变量保持不变时Xi(i=1,2,Xi(i=1,2,m),m)每改变每改变一个单位时，应变量一个单位时，应变量Y Y的平均变化量的平均变化量:去除去除m m个自变量对个自变量对Y Y的影响后的随机误差，的影响后的随机误差，又称残差又称残差多元线性回归模型的应用条件：多元线性回归模型的应用条件：1.线性趋势：Y与Xi间具有线性关系2.独立性：应变量Y的取值相互独立3.正态性：对任意一组自变量取值，因变量Y服从正态分布4.方差齐性：对任意一组自变量取值，因变量y的方差相同 后两个条件等价于：残差服从均数为0、方差为2的正
4、态分布多元线性回归的分析步骤：多元线性回归的分析步骤：1.根据样本数据求得模型参数的估计值，得到根据样本数据求得模型参数的估计值，得到应变量与自变量数量关系的表达式：应变量与自变量数量关系的表达式：2.对回归方程及各自变量作假设检验，并对方对回归方程及各自变量作假设检验，并对方程的拟和效果及各自变量的作用大小作出评价程的拟和效果及各自变量的作用大小作出评价此公式称为多元线性回归方程此公式称为多元线性回归方程多元线性回归方程的建立：多元线性回归方程的建立：利用最小二乘法原理估计模型的参数：（使残差平方和最小）方程的求解过程复杂，可借助于SPSS、SAS等统计软件来完成SPSS：AnalyzeRe
5、gressionLinear regressiondependent：y independent：x1-x5SAS程序：PROC REG DATA=mr15-1; MODEL y=x1-x5; RUN;例例15.1：P210SPSS的分析结果的分析结果二、多元回归方程的假设检验二、多元回归方程的假设检验回归方程是否成立？回归方程是否成立？各偏回归系数是否等于各偏回归系数是否等于0 0？1.1.多元线性回归方程的假设检验：多元线性回归方程的假设检验：方差分析法：方差分析法：SSSS总总 = SS = SS回回 + SS + SS残残2.2.偏回归系数的假设检验偏回归系数的假设检验 方差分析法、方
6、差分析法、t t检验法检验法方差分析法：方差分析法：SS(Xi)SS(Xi)为第为第i i个自变量的偏回归平方和个自变量的偏回归平方和偏回归平方和偏回归平方和:SS(Xi),:SS(Xi),表示模型中含有其它表示模型中含有其它m-m-1 1个自变量的条件下该自变量对个自变量的条件下该自变量对Y Y的回归贡献，的回归贡献，相当于从回归方程中剔除该自变量后回归平方相当于从回归方程中剔除该自变量后回归平方和的减少量，或者在和的减少量，或者在m-1m-1个自变量的基础上增个自变量的基础上增加一个自变量后回归平方和的增加量。加一个自变量后回归平方和的增加量。留意：留意：m-1m-1个自变量对个自变量对y
7、 y的回归平方和由的回归平方和由m-1m-1个个自变量对自变量对y y重新建立回归方程后计算得到，而重新建立回归方程后计算得到，而不能简单的在整个方程的基础上把不能简单的在整个方程的基础上把biliybiliy去掉去掉后得到。后得到。各偏回归平方和各偏回归平方和SSXi及残差的计算及残差的计算回归方程中包含的回归方程中包含的自变量自变量SSSS回回SSSS（X Xi i）X X1 1 X X2 2 X X3 3 X X4 4 X X5 5SS总X X2 2 X X3 3 X X4 4 X X5 5SS-1SS总 SS-1X X1 1 X X3 3 X X4 4 X X5 5SS-2SS总 SS
8、-2X X1 1 X X2 2 X X4 4 X X5 5SS-3SS总 SS3X X1 1 X X2 2 X X3 3 X X5 5SS-4SS总 SS4X X1 1 X X2 2 X X3 3 X X4 4SS-5SS总 SS52.2.偏回归系数的假设检验偏回归系数的假设检验 t t检验法：检验法：SPSS的结果的结果3.3.标准化偏回归系数标准化偏回归系数对各数据进行标准化后求得的回归方程即标准对各数据进行标准化后求得的回归方程即标准化回归方程，其相应的偏回归系数即标准化偏化回归方程，其相应的偏回归系数即标准化偏回归系数。回归系数。标准化偏回归系数和偏回归系数的关系：标准化偏回归系数和偏
9、回归系数的关系：在有统计学意义的前提下，标准化偏回归系数绝对值在有统计学意义的前提下，标准化偏回归系数绝对值的大小可直接进行比较，以衡量自变量对应变量的作的大小可直接进行比较，以衡量自变量对应变量的作用大小用大小例：见例：见P2134.4.复相关系数复相关系数复相关系数：multiple correlation coefficient衡量因变量y与回归方程内所有自变量线性组合间相关关系的密切程度，也即Y与 之间的相关系数。R 其值在0与1之间如果只有一个自变量，此时 R2称为决定系数表明回归平方和在总平方和中所占的比重。R2越接近于1，说明引入方程的自变量与因变量的相关程度越高，Xi与y的回归
10、效果越好。 R2受自变量个数的影响，由此又提出校正决定系数，既反映模型的拟和优度，又同时考虑了模型中的自变量个数。三、选择最优回归方程的方法三、选择最优回归方程的方法1.1.最优回归方程最优回归方程 : : 1 1对对y y的作用有统计学意义的自变量，全部的作用有统计学意义的自变量，全部选入回归方程选入回归方程 2 2对对y y的作用没有统计学意义的自变量，一的作用没有统计学意义的自变量，一个也不引入回归方程个也不引入回归方程 2.2.方法：方法：1)最优子集回归法：又称全局择优法，求出所有可能的回归模型共有2m1个选取最优者2)向后剔除法backward selection）3)向前引入法f
11、orward selection）4)逐步回归法stepwise regression）逐步回归法逐步回归法自变量回归平方和最大的自变量回归平方和最大的XiXi首先进入方程，在首先进入方程，在XiXi进入方程的基础上计算其余进入方程的基础上计算其余m-1m-1个自变量分个自变量分别进入回归方程时的偏回归平方和，其中最大别进入回归方程时的偏回归平方和，其中最大者记为者记为SSjSSj，对，对XjXj进行检验，若有意义则进入进行检验，若有意义则进入方程，并重新对方程，并重新对XiXi进行检验。若进行检验。若XiXi退化为无意退化为无意义，则剔除义，则剔除XiXi，同时再对，同时再对XjXj进行检验
12、。若进行检验。若XjXj依依然有意义则继续选择下一个偏回归平方和最大然有意义则继续选择下一个偏回归平方和最大者并进行检验。重复此过程。者并进行检验。重复此过程。逐步回归法逐步回归法每引入或剔除一个自变量后都要重新对已进每引入或剔除一个自变量后都要重新对已进入方程中的自变量进行检验，直到方程外没入方程中的自变量进行检验，直到方程外没有有意义的自变量可引入、方程内也没有无有有意义的自变量可引入、方程内也没有无意义的自变量可剔除为止意义的自变量可剔除为止 。逐步回归法逐步回归法双向筛选 ；引入一个有意义变量前进法的同时，剔除无意义的变量后退法） “先剔除后选入准绳 入和出可等可不等 留意，引入变量的
13、检验水准要小于或等于剔除变量的检验水准。四、多元线性回归的应用四、多元线性回归的应用1.1.影响因素分析影响因素分析: :年龄年龄(X1)饮食习惯饮食习惯(X2)吸烟状况吸烟状况(X3)工作紧张度工作紧张度(X4)家族史家族史(X5) 高血压高血压(Y)2.2.估计与预测估计与预测: :心脏表面积心脏表面积(Y)=b0+b1(Y)=b0+b1心脏横径心脏横径(X1)+ b2(X1)+ b2心脏心脏纵径纵径(X2)+ b3(X2)+ b3心脏宽径心脏宽径(X3)(X3)新生儿体重新生儿体重(Y)=b0+b1(Y)=b0+b1胎儿孕龄胎儿孕龄(X1)+ b2 (X1)+ b2 胎胎儿头径儿头径(X
14、2)+ b3(X2)+ b3胎儿胸径胎儿胸径(X3)+ b4(X3)+ b4胎儿腹径胎儿腹径(X4)(X4)3.3.统计控制统计控制: :利用回归方程进行逆估计，确定利用回归方程进行逆估计，确定Y Y后控制后控制X X 。采用射频治疗仪治疗脑肿瘤：采用射频治疗仪治疗脑肿瘤：脑皮质毁损半径脑皮质毁损半径(Y)(Y) =b0+b1 =b0+b1射频温度射频温度(X1)+ b2(X1)+ b2照射时间照射时间(X2)(X2)五、多元线性回归应用的注意事项五、多元线性回归应用的注意事项1.1.指标的数量化指标的数量化 应变量应变量Y Y为连续变量为连续变量自变量自变量X X可为连续、有序分类或无序分类
15、变量可为连续、有序分类或无序分类变量 (1) (1)连续变量：连续变量：X X (2) (2)有序分类变量：有序分类变量： 1 1 轻轻 X= 2 X= 2 中中 3 3 重重(3)(3)无序分类变量无序分类变量自变量为二分类变量自变量为二分类变量: :自变量为多分类变量：假定有自变量为多分类变量：假定有n n类，则用类，则用n n1 1个取值为个取值为0 0或或1 1的哑变量的哑变量dummy variables)dummy variables)来表示这些类别。来表示这些类别。X=0 男1 女2.2.样本含量：样本含量： n n至少是至少是X X个数个数m m的的5 51010倍倍3.3.关
16、于逐步回归：关于逐步回归： 不要盲目信任，结合专业知识。不要盲目信任，结合专业知识。4.4.多重共线性：多重共线性：指自变量之间存在较强的线性关系指自变量之间存在较强的线性关系 使偏回归系数方差加大，系数估计不稳，使偏回归系数方差加大，系数估计不稳，难以有合乎专业知识的解释。难以有合乎专业知识的解释。提示可能存在多重共线性的情况：提示可能存在多重共线性的情况：整个模型的检验结果为整个模型的检验结果为PPP。专业上认为应该有统计学意义的自变量检验结专业上认为应该有统计学意义的自变量检验结果却无统计学意义。果却无统计学意义。自变量的偏回归系数取值大小甚至符号明显与自变量的偏回归系数取值大小甚至符号
17、明显与实际情况相违背，难以解释。实际情况相违背，难以解释。增加或删除一个自变量或一条记录，自变量回增加或删除一个自变量或一条记录，自变量回归系数发生较大变化。归系数发生较大变化。容忍度容忍度: :若某变量的容忍度若某变量的容忍度0.10.1时，说明该时，说明该变量与其它变量存在严重的多重共线性。变量与其它变量存在严重的多重共线性。方差膨胀因子方差膨胀因子VIFVIF）: :为容忍度的倒数。为容忍度的倒数。VIF10VIF10时，存在严重的多重共线性时，存在严重的多重共线性Rj为第j个自变量与其它自变量间的相关系数多多重重共共线线性性的的判判断断指指标标条件指数条件指数: :条件指数条件指数1010，则提示存在多重共线性。，则提示存在多重共线性。方差比方差比: :如两个或多个变量的方差比均如两个或多个变量的方差比均0.50.5，说明这，说明这几个自变量之间存在多重共线性几个自变量之间存在多重共线性多多重重共共线线性性的的判判断断指指标标5.变量间的交互作用： 是否考虑交互作用主要靠专业知识6.残差分析检查资料是否符合模型条件消除共线性的方法：剔除、定义新变量、逐步回归
