《逐步回归分析(教材)》由会员分享，可在线阅读，更多相关《逐步回归分析(教材)（46页珍藏版）》请在金锄头文库上搜索。
1、第6节逐步回归分析逐步回归分析实质上就是建立最优的多元线性回归方程，显然既 实用而应用又最广泛。6.1逐步回归分析概述1 概念逐步回归模型是以已知地理数据序列为基础，根据多元回归分析 法和求解求逆紧凑变换法及双检验法而建立的能够反映地理要素之 间变化关系的最优回归模型。逐步回归分析是指在多元线性回归分析中利，用求解求逆紧奏变换 法和双检验法，来研究和建立最优回归方程的并用于地理分析和地理决 策的多元线性回归分析。它实质上就是多元线性回归分析的基础上派生 出一种研究和建立最优多元线性回归方程的算法技巧。主要含义如下1）逐步回归分析的理论基础是多元线性回归分析法；2）逐步回归分析的算法技巧是求解求
2、逆紧奏变换法；3）逐步回归分析的方法技巧是双检验法，即引进和剔除检验法；4）逐步回归分析的核心任务是建立最优回归方程；5）逐步回归分析的主要作用是降维。主要用途：主要用于因果关系分析、聚类分析、区域规划、综合评 价等等。2最优回归模型1）概念最优回归模型是指仅包含对因变量有显著影响的自变量的回归方 程。逐步回归分析就是解决如何建立最优回归方程的问题。2）最优回归模型的含义最优回归模型的含义有两点：（1）自变量个数自变量个数要尽可能多，因为通过筛选自变量的办法，选取自变量 的个数越多，回归平方和越大，剩余平方和越小，则回归分析效果就越 好，这也是提高回归模型分析效果的重要条件。（2）自变量显著性
3、自变量对因变量y有显著影响,建立最优回归模型的目的主要是用 于预测和分析，自然要求自变量个数尽可能少，且对因变量y有显著影 响。若自变量个数越多，一方面预测计算量大，另一方面因n固定，所 以 Q TS增大，即造成剩余标准差增大，故要求自变量个数要适 n 一 k 一 1 Q中。且引入和剔除自变量时都要进行显著性检验使，之达到最优化状态， 所以此回归方程又称为优化模型。3最优回归模型的选择方法最优回归模型的选择方法是一种经验性发展方法，主要有以下四 种：（1）组合优选法组合优选法是指从变量组合而建立的所有回归方程中选取最优着其具体过程是：（1）建立变量组合的所有回归方程（2）优选回归方程 首先对每
4、一个方程及自变量均作显著性检验，优选原则：自变量全 部显著，剩余标准差较小，既可选得最优回归方程。2）剔除优选法 剔除优选法适指从包含全部自变量的回归方程中逐个剔除不显著 自变量而求得最优回归方程的优选方法。其具体过程是：（1）建立多元回归方程（2）优选回归方程 剔除自变量的原则是先求取偏回归平方和最小者并作显著性检验 若不显著则剔除。终止原则是直至不显著自变量剔除完为至，而仅保留 对因变量y有显著影响的自变量。3）引入优选法 引入优选法是指将所有自变量经显著性检验而逐个引入对因变量 有显著影响的自变量的优选方法。其具体过程是：（1）建立一元回归方程（2）优选回归方程 引入原则是偏相关系数绝对
5、值最大者，引入后并进行显著性检验 若显著则继续引进自变量，直至再无显著自变量引进为止。4）逐步回归分析法 逐步回归分析法是指运用回归分析原理采用双检验原则逐，步引入 和剔除自变量而建立最优回归方程的优选方法。具体含义是：（1）每步有二个过程 即引进变量和剔除变量，且引进变量和剔 除变量均需作F检验后方可继续进行，故又称为双重检验回归分析法。（2）引入变量 引入变量的原则是未引进变量中偏回归平方和最 大者并经F显著性检验，若显著则引进，否则终止。（3）剔除变量 剔除原则是在引进的自变量中偏回归平方和最小 者，并经F检验不显著，则剔除。（4）终止条件 即最优条件，再无显著自变量引进，也没有不显 著
6、自变量可以剔除，这也是最优回归方程的实质。由此可知，它并没新的理论，只是多元回归分析基础上派生出的一 种算法技巧。现在就来介绍逐步回归分析的具体建模原理和方法步骤6.2逐步回归分析的数学模型逐步回归分析的数学模型是指仅包含对因变量 Y 有显著影响自 变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变 量进行重新编号并对原始数据进行标准化处理。6.2.1变量重新编号1新编号数学模型令y二x，自变量个数为k-1，则其数学模型为：a akxx +B x +B x +. + B xak 0 1 a 1 2 a 2 3 a 3k -1 ak-1式中，a=l，2， 3,，nn：样本个数其中：S
7、=工(x - X )2OkkS =工(X - x )2UOkkS = S - S =工(x - X )2QUOkkx 的偏回归平方和为：jcjjX :为X的算术平均值kOkb ： x 的偏回归系数jjC ：为逆矩阵L-1对角线对应元素 jj2回归数学模型新编号的回归数学模型为：x = b + b x + b x + b x + + b x k 0 1 1 2 2 3 3k-1 k-16.2.2 标准化数学模型 标准化回归数学模型是指将原始数据进行标准化处理后而 建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以 离差平方和的方根。1标准化回归数学模型令 z = xoJ -xj=l，2
8、, 3, ，kO jSj其中：1 xx =乙 x j nO jO =1S =厂=乞（x -x ）2!为离差平方和的方根JjJO J J注意：l，厂,S 2, S它们之间的区别，即离差平方和，离差平方 j j J j j j和的方根，方差，标准差。则回归数学模型为：z =3 + 3z +3z +3z + + 3 za k01 a12 a 23 a 3k -1 a k -12标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为+ za za za 厂 “、z 4a343 za?、/ f 1 2 3 2a a a + za z z标+ . + z %，=工 z3a k-1k -1a
9、 k+ 么 z z 舟,+. + 匕 z z a1 a33a1 a k-1+ 0z z43 +. + 么a 3 4 3 川R+么z 2 R+么2a33%=工z zk -1a 1 a kz z A = 乂a2 ak-1k-1z z=乙z za3 ak-1k-1a3 akzza 2 a kz %k-10z z Ta1 a k-11zza2 ak-1z z %+. + 2a3 ak-1 3z2a k -1=工 z zk-1a k-1 a k因为，工zaj工(x .- x) 0 Sj工zij工(x - x )(x- x )a!iajj = rijSSij所以上述正规方程组可变为：n0 +0+0+0+.
10、 +0= 000+ r 3 + r 3 + r 3 +. + r 3= r11 112 213 31 k-1k-11k0+ r3 + r3 + r3 + + r3= r2112222332 k-1k-12k0+ r3 + r3 + r3 + + r3= r3113223333 k-1k-13k0+r 3+r 3+r 3+.+r 3=rk-1 1 1k-1 2 2k-1 3 3k-1 k-1 k-1k-1 k这样，数据标准化处理后的估计值0，并令，则可得数据标准化 处理后的回归方程数学模型的正规方程组的一般形式为：r 3 + r 3 + r 3 + + r 3= r11 112 213 31 k
11、-1 k-11 kr3 + r3 + r3 + + r3= r2112222332 k-1k-12 k r3 + r3 + r3 + + r3= r3113223333 k-1k-13kr 3 + r 3 + r 3 + + r 3= rl k-1 11 k-1 22 k-1 33k-1 k-1 k-1 k-1 k这样，数据标准化后3 的估计值应为0 ，并3 =d 令，则可得 0 j jrd+rd+rd+ . + r d 二r11112 213 31 k 1 k 11krd+rd+rd+.+ r d二 r21122 223 32 k 1 k 12krd+rd+rd+,+ r d :二 r311
12、32 233 33 k 1k 13kr d + r dJ k-111k-1 22+ r d +. + r d k-1 3 3k-1 k-1k-1阵。其中:二 rk-1 kr rrr11121 k1R =r2122 r2 k1称为相关系数矩r k11rk 12 rk1 k 一1丿r1kr2krk-1k解此方程组，即可求出d,d,d,123, d ，k-1故可得标准化后的回归模型为：z = d z + d z + + dk 1 12 2标准化的回归模型的矩阵形式：zk -1 k -1x 一 xn1S1 _ x 一 x -11S1 _ x 一 x 311S1x 一 xn 1LSx 一 x122S2
13、_x 一 x22 2S2 _x 一 x32S2x 一 x1 k 一1k 一1S k -1_ x 一 x2 k 1k1S k -1_x 一 x3 k1k 一1S k-1x 一 x n k1k1Sx 一 x 1kkSk _x 一 x2kkSk _x 一 x3kkS kn00.0 0n0rrr11121 k -10rrr2122.2 k-10R0rrr一一-k-11k-12k -1 k-1 -A = X X =x 一 x nkkS k6.2.3标准化前后回归模型的关系1标准化前后的回归模型1）标准化前后回归模型为：x = b + b x + b x + b x + + b k 01 12 23 32)标准化后回归模型为：xk-1 k-1z = d z + d z +. + d zk 112 2k-1
