《多元回归和logistic回归原理.ppt》由会员分享，可在线阅读，更多相关《多元回归和logistic回归原理.ppt（82页珍藏版）》请在金锄头文库上搜索。
1、我们要讨论的是我们要讨论的是SPSS建立方程检验方程总体和各自变量的统计学意义自变量的筛选Case的剔除（强影响点）共线性诊断多元统计方法多元统计方法zz线性回归zzLogistic 回归vv注：完全可以用于单因素分析，从这一点也可以看出统计学的方注：完全可以用于单因素分析，从这一点也可以看出统计学的方法是相通的。法是相通的。vvSPSSSPSS无法进行无法进行条件条件条件条件LogisticLogistic回归回归回归回归 ，就像，就像sassas没有专门针对配对资没有专门针对配对资料的语句一样，任何统计软件均有局限性。料的语句一样，任何统计软件均有局限性。建立方程的计算量很大，一般需软件完
2、成。前人手工计算这两种回归（借助科学计算器），精神可嘉80 年代，一个Logistic回归即使用计算机，计算的时间也以天计。调整或控制调整或控制zz多变量的控制或调整法就是同时记录可能有影响的因素，把他们与可能的危险因素一起作分析zz单因素分析有统计学意义，多因素分析没有意义的解释,举例zzIn univariate analysis, the family histories of SAH and ICH were positively associated with each of the subtypes of stroke. whereas after adjustment for p
3、otential risk factors, family history of ICH no longer showed a significant association with haematoma.单因素分析有意义，多因素没有意义的解释单因素分析有意义，多因素没有意义的解释zzFamily history of intracerebral haematoma was not an independent risk factor for haematoma, but it might be a good predictor, which indirectly influences the
4、 pathogenesis of intracerebral haematoma via certain hereditary components such as hypertension, and even lifestyle factors such as alcohol consumption. zzIs family history an independent risk factor for stroke? zzJ Neurol Neurosurg Psychiatry. 1997 Jan;62(1):66-70.多元线性回归（简单步骤）指标多，难以理解。在计算自动化时代，这是回归
5、的难点，我们不懂如何判断我们的模型的好坏回归的实际应用回归的实际应用zz在影响因素分析中在影响因素分析中 一种是探索模式一种是探索模式，在回归模型中探索所有，在回归模型中探索所有可能的自变量与应变量的关系可能的自变量与应变量的关系 一种是控制模式一种是控制模式，即控制混杂因素的影响，即控制混杂因素的影响后者对回归模型的要求要小的多，不出现异常后者对回归模型的要求要小的多，不出现异常情况，可仅对模型拟合稍作考虑。情况，可仅对模型拟合稍作考虑。SPSS菜单菜单zzanalyze-regression-linear变量的数量化（1）自变量为连续型变量 ：必要时作变换（2）自变量为有序变量：依次赋值，
6、如疗效好中差，可分别赋值3、2、1（3）自变量为二分类：如令男1，女0（4）自变量为名义分类：需要采用哑变量（dummy variables）进行编码 名义分类变量的哑变量化 假如职业分类为工、农、商、学、兵5类，则可定义比分类数少1个，即4个哑变量。编码方法如下：数据格式数据格式回归的一些定义回归的一些定义应变量（应变量（应变量（应变量（dependent variable)dependent variable)自变量（自变量（自变量（自变量（ independent variableindependent variable）偏回归系数偏回归系数偏回归系数偏回归系数 pertialperti
7、al regression coefficient regression coefficient常数项常数项常数项常数项b b0 0决定系数决定系数决定系数决定系数 determination coefficientdetermination coefficient，R squareR square共线性共线性共线性共线性 collinearity：自变量间存在着线性关系自变量间存在着线性关系yi=b0+b1x1i+b2x2i+bnxni回归方程的建立回归方程的建立zz就是求解b0和bi的过程zz矩阵的各种计算（求解线性方程）zzSPSS的实现： analyze-regression-line
8、ar将回归方程中的所有自变量作为一个整体来检验他们于应变量之间是否具有线性关系，P0.05,说明所拟合的方程具有统计学意义，但并不说明模型拟合的好坏各自变量的假设检验与评价，检验各自变量和应变量是否有线性关系，P(可放宽)说明有线性关系，同样t值不说明线性关系的强弱，这样，一个回归方程就建立了，回归方程的建立就是如此easy。线性与拟合优度线性与拟合优度zz有线性关系拟合优度不一定很好有线性关系拟合优度不一定很好zz上述上述F F和和t t检验有统计学意义，只是说明检验有统计学意义，只是说明 自变量自变量与与y y有线性关系，但未能表示有线性关系，但未能表示“ “关系有多大关系有多大” ”zz
9、举例：上述方程的举例：上述方程的R R2 2很小，但因为样本量大，很小，但因为样本量大，F F值很大值很大zzR R2 2的意义：可以由的意义：可以由BMIBMI，ageage和膳食口味解释和膳食口味解释SBPSBP的的4.34.3变化变化zz我认为，因素分析可以只考虑线性关系的有无。我认为，因素分析可以只考虑线性关系的有无。特别是在控制模式中。特别是在控制模式中。自变量的选择zz全局择优法：全局择优法： 求出求出求出求出所有可能所有可能所有可能所有可能的回归模型（共有的回归模型（共有的回归模型（共有的回归模型（共有2 2mm1 1个）对应的准则值；个）对应的准则值；个）对应的准则值；个）对应
10、的准则值；按按按按R R2 2，CpCp准则，准则，准则，准则，AICAIC准则等统计量选择最优模型。准则等统计量选择最优模型。准则等统计量选择最优模型。准则等统计量选择最优模型。求出所有求出所有可能的回归模型（共有可能的回归模型（共有2m1个）对应的个）对应的准则值；按上述准则选择最优模型准则值；按上述准则选择最优模型缺点：缺点：zz如果自变量个数为如果自变量个数为4 4，则所有的回归有，则所有的回归有2 24 41 1 15 15个；个；当自变量数个数为当自变量数个数为1010时，所有可能的回归为时，所有可能的回归为 2 210101 1 10231023个；个；当自变量数个数为；当自变量
11、数个数为5050时，所有可能的时，所有可能的回归为回归为2 250501101101515个。个。全局择优法zz决定系数(R2)和校正决定系数校正决定系数(R2c)，可以用来评价回归方程的优劣。【 R R2 2随着自变量随着自变量随着自变量随着自变量个数的增加而增加，所以需要校正个数的增加而增加，所以需要校正个数的增加而增加，所以需要校正个数的增加而增加，所以需要校正】 校正决定系数校正决定系数(R2c)越大，方程越优。zzCp选择法：选择Cp最接近p或p1的方程（不同学者解释不同）。 Cp无法用Spss直接计算，可能需要手工。其中p为方程中自变量的个数，m为自变量总个数Cp准则的计算公式准则
12、的计算公式AIC准则的计算公式自变量的选择逐步选择法zz逐步选择法：逐步选择法：逐步选择法：逐步选择法： （一）前进法（一）前进法（一）前进法（一）前进法（forwardforward） （二）后退法（二）后退法（二）后退法（二）后退法（backwardbackward） （三）（三）（三）（三）逐步回归法（逐步回归法（逐步回归法（逐步回归法（stepwisestepwise）小样本检验水准定为0.10或0.15，大样本把值定为0.05。值越小表示选取自变量的标准越严。 注意，引入变量的检验水准要小于或等于剔除变量的检验水准。自变量到底如何选择自变量到底如何选择z两种方法结合手工选择，逐步选择
13、法选两种方法结合手工选择，逐步选择法选择后手工增减变量看校正决定系数择后手工增减变量看校正决定系数(R2c)等方程拟合优劣指标的好坏z放宽或限制进入方程的标准，特别是在逐步回归的时候z硬性进入方程最感兴趣的研究变量统计“最优”与专业的“最优”不同准则、方法得出的“最优”方程不同；不同的引入、剔除标准获得的“最优”方程不同；方程还受数据的正确性、共线性影响强影响点，记录的选择强影响点，记录的选择变量记录强影响点，记录的选择强影响点，记录的选择zz从理论上讲，每一个样本点对回归模型的影响应该是同等的，实际并非如此。有些样本点（记录）对回归模型影响很大。对由过失或错误造成的点应删去zz没有错误的强影
14、响点可能和自变量与应变量的相关有关，不可轻易删除。判断强影响点的指标判断强影响点的指标zzSPSS软件中的指标zzanalyze-regression-linear-savezzSave中的选项均进入数据库，而不出现在output中zz各种残差越大，单一记录对方程的影响越大判断强影响点的指标（判断强影响点的指标（2）距1越远，越是强影响点其余指标绝对值越大越是强影响点多重共线性 自变量间存在着线性关系，使一个或几个自变量可以由另外的自变量线性表示时，称为该变量与另外的自变量间存在有共线性(collinearity)。容易出现：回归系数的符号与由专业知识不符变量的重要性与专业不符整个方程决定系数
15、R2高，但各自变量对应的回归系数均不显著。多重共线性的诊断多重共线性的诊断zSPSS中的指标容许度：越近似于0，共线性越强特征根：越近似于0，共线性越强条件指数：越大，共线性越强Spss的实现与结果的实现与结果zzanalyze-regression-linear-statistics实例实例zz以BMI为应变量，SBP，DBP和年龄为自变量进行回归。结果如图zz极端例子：以SBP为应变量，BMI和复制BMI为自变量，结果为其中之一无法进入方程从第四个特征根看，特征根小，条件指数大，从变量的方差比例来看，SBP和DBP在其中贡献最大，可以说两者有近似共线性不过两者的共线性对方程的影响并不大容许
16、度越近于0共线性越大，等于0，完全共线复制的BMI根本无法进入方程后面讨论交互作用的时候我们还要提到共线性一、应用影响因素分析，控制混杂因素预测：由自变量值推出应变量Y的值控制：指定应变量Y的值查看自变量的改变量影响因素分析，控制混杂因素影响因素分析，控制混杂因素在医学研究中最为长用，个人认为在医学研究中最为长用，个人认为对模型拟合要求较低，特别在对模型拟合要求较低，特别在控制混杂的控制模式中控制混杂的控制模式中后两种用途对模型要求严格二、应用条件回归系数符号反常与主要变量选不进方程回归系数符号反常与主要变量选不进方程的原因分析的原因分析zz有重要影响的因素未包括在内zz某些变量个体间的差异很
17、大zz样本内突出点上数据误差大zz变量的变化范围较小zz样本数太少上述各项在用最小二乘法求解方程过程中对残差等重要中间指标的影响大，造成最小二乘法的失效。线性回归的注意事项线性回归的注意事项应变量为连续变量，自变量可以为连续变量、分类变应变量为连续变量，自变量可以为连续变量、分类变量或有序变量量或有序变量样本含量：一般要求样本量样本含量：一般要求样本量n n至少是方程中自变量个数至少是方程中自变量个数mm的的5-105-10倍倍逐步回归不是万能的，一个逐步回归不是万能的，一个good of fitgood of fit好的模型建立需好的模型建立需要多方面考证。要多方面考证。多重共线性：多重共线
18、性：自变量存在较强的线性关系自变量存在较强的线性关系检验两变量间有无交互作用，普遍的做法是在方程中检验两变量间有无交互作用，普遍的做法是在方程中加入它们的乘积项再做检验。但共线性的问题会因此加入它们的乘积项再做检验。但共线性的问题会因此而突出，举例而突出，举例共线性很大SPSS菜单在处理回归中选项较少，菜单在处理回归中选项较少，但完全可以满足一般模型的拟合。但完全可以满足一般模型的拟合。其其syntax模式应该有更多选项，但鉴模式应该有更多选项，但鉴于介绍这方面内容的书籍文献较少。于介绍这方面内容的书籍文献较少。如确实需要严格的模型拟合，如确实需要严格的模型拟合，SAS可能是更好的选择可能是更
19、好的选择回归的发展回归的发展zz加权回归zz有重复测量的回归分析：对每一个回归变量x的y有多次重复的测量值。zz岭回归分析：改进的最小二乘方，用于自变量相关性大，或某些变量变化范围太小。可用sas实现。Logistic回归回归zz实际上属于判别分析，因拥有很差的判别效率而不常用。zz适用于流行病学资料的因素分析zz实验室中药物的剂量-反应关系zz临床试验评价zz疾病的预后因素分析二、 Logistic回归模型zzLogistic回归的分类回归的分类 二分类二分类二分类二分类 多分类多分类多分类多分类 其中二分较为常用其中二分较为常用其中二分较为常用其中二分较为常用 条件条件条件条件Logist
20、icLogistic回归回归回归回归 非条件非条件非条件非条件LogisticLogistic回归回归回归回归 两者针对的资料类型不一样，后者两者针对的资料类型不一样，后者两者针对的资料类型不一样，后者两者针对的资料类型不一样，后者者针对者针对者针对者针对 成组研究，前者针对配对或配伍研究。成组研究，前者针对配对或配伍研究。成组研究，前者针对配对或配伍研究。成组研究，前者针对配对或配伍研究。26例冠心病病人和例冠心病病人和28例对照者进行例对照者进行病例病例 对照研究（变量赋值表）对照研究（变量赋值表） 自变量为连续自变量为连续自变量为连续自变量为连续变量，最好变变量，最好变变量，最好变变量，
21、最好变为等级或计数为等级或计数为等级或计数为等级或计数资料资料资料资料有统计学家持反对意见认为损失信息26例冠心病病人和例冠心病病人和28例对照者进行例对照者进行病例病例 对照研究（数据格式）对照研究（数据格式） Logistic回归方程的建立回归方程的建立建立方程就是求解b0，b1bpzzLogistic回归中的常数项（回归中的常数项（b0）表示，在不接表示，在不接触任何潜在危险保护因素条件下，效应指标触任何潜在危险保护因素条件下，效应指标发生与不发生事件的概率之比的对数值。发生与不发生事件的概率之比的对数值。zzLogistic回归中的回归系数（回归中的回归系数（ bi ）表示，某一表示，
22、某一因素改变一个单位时，效应指标发生与不发生因素改变一个单位时，效应指标发生与不发生事件的概率之比的对数变化值，即事件的概率之比的对数变化值，即OR或或RR的的对数值。对数值。参数意义参数意义回归系数的意义单纯从数学上讲，与多元线性回单纯从数学上讲，与多元线性回归分析中回归系数的解释并无不归分析中回归系数的解释并无不同，亦即同，亦即bi表示表示xi改变一个单位改变一个单位时，时， logit P的平均变化量。的平均变化量。多因素多因素Logistic回归分析时，对回归系数回归分析时，对回归系数的解释都是指在的解释都是指在其它所有自变量固定其它所有自变量固定的的情况下的优势比。情况下的优势比。存
23、在因素间交互作用时，存在因素间交互作用时， Logistic回归系回归系数的解释变得更为复杂，应特别小心。数的解释变得更为复杂，应特别小心。zz调整与控制流行病学中的一些基本概念：流行病学中的一些基本概念：相对危险度相对危险度（relative risk）: RR=P1/P2比数比数Odds=P/(1-P)比数比比数比OR=P/(1-P)/P/(1-P)在患病率较小情况下，在患病率较小情况下，ORRR根据根据Wald检验可知，检验可知，Logistic回归系回归系数数bi服从服从u u分布。因此其可信区间为分布。因此其可信区间为进而，优势比进而，优势比e(bi)的可信区间为的可信区间为参数估计
24、参数估计似然函数计算方法最大似然法迭代法1.初始值2.迭代次数3.人为精度4.可能不收敛总体来说，解比较稳定。SPSS的实现的实现zzanalyze-regression-binary logisticanalyze-regression-binary logistic-option模型拟合优度指标，2值越小，P值越大表明模型越好迭代过程，可以监察方程计算的过程参数估计的相关矩阵，每步各协变量的零级相关系数（简单相关系数）均小（,说明 Logistic方程总体有意义，借用线性的 解释来说将回归方程中的所有自变量作为一个整体来检验他们于应变量之间是否具有线性线性线性线性关系，P0.05,说明所拟
25、合的方程具有统计学意义，但并不说明模型拟合的好坏：真正的模型拟合一般要把其提高到0.20或0.10而非0.05。结果结果3模型拟合优度指标，模型拟合优度指标，模型拟合优度指标，模型拟合优度指标， 2 2 2 2值越小，值越小，值越小，值越小，P P P P值越大表明模型越好值越大表明模型越好值越大表明模型越好值越大表明模型越好两种两种两种两种R2R2R2R2的解释与线性的解释与线性的解释与线性的解释与线性方程同，方程同，方程同，方程同，14.914.914.914.9在流行病学在流行病学在流行病学在流行病学研究中算一个比较好的了研究中算一个比较好的了研究中算一个比较好的了研究中算一个比较好的了
26、判别分析用表判别分析用表判别分析用表判别分析用表结果结果4Wald检验检验（ waldwald testtest）即广义的即广义的即广义的即广义的t t检验，统计量为检验，统计量为检验，统计量为检验，统计量为u,u,u,u,下面详细讨论之下面详细讨论之下面详细讨论之下面详细讨论之参数估计的相关矩阵，每步各协变量的零级相关系数（简单相关系数）均小（,!参考书目参考书目zz孙振球，医学统计学（供研究生用）.人民卫生出版社，2002，第一版。zz孙尚拱，医学多变量统计与统计软件. 北京医科大学出版社. 2000，第一版.zz刘润幸，医学统计学方法与应用(上、下册). 2001. 第一版.zz倪宗瓒，卫生统计学. 2001.第四版精品课件精品课件！精品课件精品课件！网上资源网上资源zzhttp:/
