《2多元回归分析方法及其程序实现》由会员分享，可在线阅读，更多相关《2多元回归分析方法及其程序实现（8页珍藏版）》请在金锄头文库上搜索。
1、第二章 多元回归分析方法及其程序实现在生产过程和科学实验中，我们经常是需要研究变量与变量间的关系。变量间的关系， 总的来说可分为两种，即函数关系和相关关系。当变量间的关系为确定性关系，即对于一个变量的每一个值都有另一个变量的一个或几 个完全确定的值与它对应，我们就说变量间存在函数关系，对两个变量的函数关系可表示为 y = f(x)，一旦变量间的函数关系建立，事物发展变化的规律就随之确定。由此可以看出， 建立变量间的函数关系，研究函数关系在生产实践中就显得特别重要。然而在许多实际问题中，由于各种关系错综复杂，要精确的建立变量间的数学表达式又 特别困难，同时很多工程问题的变量之间还受到其它偶然因素
2、的影响，使它们之间的关系具 有不确定性，因此在这种情况下要建立准确的数学关系是不可能的，该如何解决这个问题呢?回归分析方法就是在大量试验观测数据的基础上，找出这些变量之间的内部规律性，从 而定量地建立一个变量和另外多个变量之间的统计关系的数学表达式。因此简单地说，回归 分析就是研究一个变量与其它变量间关系的一种统计方法。回归分析中被回归的变量y称为因变量，影响y变化的其它变量兀,x2，,x称为自变1 2 m 量。如果自变量只有一个，称为一元回归；如果自变量是两个或者以上，则称为多元回归； 如果y与x，x ,x间的关系是线性的，则称线性回归，否则称非线性回归。1 2 m 2.1 多元线性回归数学
3、模型建立2.1.1 模型的建立设随机变量y与m个自变量x , x ,x 存在线性关系： 12 my = B +B x +B x H B x +e(2.1)01 12 2m m(2.1)式称为回归方程，其中卩0,卩】，卩2，,卩称为回归系数。e为随机变量，称为随机误 012 m差，它可理解为y无法用x ,x，,x表示的其它各种随机因素造成的误差。我们的问题是 12 m要用B +B x +B x + B x01 12 2 m mB xmm来估计随机变量y的均值E(y)，即E(y)=卩 +B x + B x + 0 1 1 2 2 这里假定 N(OQ 2), y N(E(y)Q 2)。，卩Q2是与x
4、i,x2，,x无关的待定常数。O 1 m12 m设有n组样本观测值数据x11x21x12x22x1mx2my1y2x x x yn1n 2nm n其中x.表示第i次试验或第i个样本关于变量x .的观测值，于是有ijjyi = BO + 卩1x11 + 卩2x12 + 卩mxim + 1y2 = BO + B1x21 + B2x22 + Bmx2m + 2yn = BO + B1xn1 + B2 xn2 + Bnm3m +&n(2.2)其中B , B , B，,B为m +1个待定参数， ,，,为n个相互独立的且服从同一正态O 12 m12 n分布N(Oq 2)的随机变量，(2.2)式称为多元(m
5、元)线性回归数学模型。(2.2)式亦可写成矩阵形式，设y = (y1, y 2,yn ) T p= ( p 0, p,p ) T01m=( )T12n则（2.2）式可表为y= Xp+(2.3)nm2.3）式称为多元线性回归模型的矩阵形式。r 1xx11121xxX=21221xx1-n1n2x1mx2mx 2.2回归模型中参数卩的确定在回归模型（2.1）式中，只要卩确定回归模型实际上就确定，该如何确定卩呢?这里我们采用最小二乘法来对回归模型（2.3）式中的p , p，,p作最小二乘估计。0 1 m设b ,b ,b，,b分别是p , p，,p的最小二乘估计值，于是有0 1 2 m 0 1 my
6、= b + b x + b x HFb x（2.4）0 1 1 2 2 m m（2.4）式中；y是y中的一个最小二乘估计。对于每一个试验数据（x, xo，,x ）, i = 1,2,., n。由（2.4 ）式，可得一个y，即i1 i 2imiy = b + b +b x. ,i = 1,2,n这里称y为实际值y的回归值。i 0 1 xm imiii1显然，回归值与实际值y有误差，即y 一 y = y - （b + b x hf b x ）i = 1,2，,ni i i01 i 1m im当然我们希望y i 与 yi值偏离程度越小越好，这样才能使回归值y,与实际值歹拟合的最好。 这里与y偏差越小
7、是指每一个与y，于是对全部观察值（试验值）有min区（y. 一 y.）2i=1=min 为(几 一 5 一 b1 xi1 一 b2 xi 2 一一 bmxim i=1=min Q(b0, b1，,bm)为此，我们可以应用微分学中求极值的原理来确定b , b ,b0 1 m型=一2 工(y y )db0i=1些 = 一2 工(y. y .) x . = 0j2.5)dbiii=1j = 1,2,，m整理化简为jnb0 Hb2 H Hx. b im mi=1xi1xi2b2 + + 丿b0ximxi1b1 +ximxi 2b2 +乏 1ximximV i=1丿V i=1丿V i=1丿V i=1丿V
8、 i=1i =1V i=1丿b m、xi1ximb mi=1ximyii=1这里令C=B=ynXi1i=1yxim-i=1y厶y,为1,=1.y- Xim yi- i =1叮b1yn X 1i1yi=n12X2i1i=1ynXXi1 imi=1yn X 2i2Yn xiyni=1X XXi1 Xi2i=1xi2 xi1X Xi1 imi=1Yx 2i一 11 1 -yx11x21- xln1y 2-x1mx2m xnm-ym -i=1= X T Y,i=1所以（2.5）式可用矩阵形式表为(XTX)B= XTY=XTX或AB = C如果系数矩阵A满秩，则A-1存在,此时有B= A-1C=（XTX
9、）-1XTY 这里（2.7） 式即为多元回归方程中参数的最小二乘估计。正规方程组（2.6）式亦可表达为下述另一种形式：如果记1 y - 12 X = 口 ,mi n kik=1-1 y y = y” nk k=1式中第一等式可解出2.7)则由（2.6）b = y - b x - b x b x01 12 2m m式代入(2.6)式其它各式中经化简整理可得yy-x ) + b x (x - x ) + b 乙12k1 k22k=12.8)再将(2.8)Yn b1xk1 (xk1k=1y -=Xk1(yk - y)k =1yyb1Xk 2(Xk 2-X1)+ b2Xk 2(Xk 2-X2)+ +
10、bk=1k=1y -=Xk2(yk- y)k =1x ( xk 1 k k=1ynX (Xk2kk =12.9)nnn1b x (x x ) + b x (x x ) + b x(x x )1 km k 112 km k 22m km km mk =1k =1i=1=y xk (y y)km nk =1y y 乂由厶 s(怙xj) =(5xi)(xkj xj),i,j =,mk =1k =1工 x (y 一 y)=工(x 一 x )(y 一 y), i = 1,2,mki kki i kk =1k =1如果记Sij=(x,. x.)(x x ),i, j = 1,2,mki i kj jk=1
11、Siy=(x;. x.)(x y), i = 1,2，mki i kj k =1则( 2.9)式可以表示为S b + S b + + S b1111221m mS b + S b + + SbV21122 2=S1y=S2y2.10)Sbm1 1=Smyy = b0 +b x +b x + b x 2.11）式称为回归超平面方程。如果记（2.10）式的系数矩阵为 S，2.11)mmS = (S )ij记B* = (b,b2,.,b )T，则(4.10)式的矩阵形式为1 2 mmxm右端常数项向量为 S ，则 yS = (S , S ，S) Ty1y2 y my+ S b + + S bm 2
12、2mm m（2.10）式称为正规方程组，解此方程组可得b1,bm再代入（28 ）式中则得b，于是得回归方程SB * = S , B * = S-1 Syy再代回到（2.8）式，则得 b0。例2.1某养猪场估算猪的毛重，测得14头猪的体长兀，胸围x2与体重y的数据如12表2.1，请建立y与x及x的预测方程。12表 2.1序号体长胸围x 2体重y14149282455839351624l45271445596243662745076971518727457978796310808466119085701292947613989180141039584解由公式可计算出X- = 70.86, y = 56.57, n = 141x 2 =尤9342S =(x x ) = 5251.711k11k=121= S12国(X -门(X -匸)=3499.9k1 1 k 2 2k=1S22S1y_ 2(x x ) = 2550.9 k 2 2 k=1 =艺(xk1k=0=艺(xk=1 x1)(yky) = 4401.1S2y于是得正规方程组为
