《多元回归分析概述》由会员分享，可在线阅读，更多相关《多元回归分析概述（6页珍藏版）》请在金锄头文库上搜索。
1、、多元回归分析概述在处理测量数据时，经常要研究变量与变量之间的关系。变量之间的关系一般分为两种。一种是 完全确定关系，即函数关系；一种是相关关系，即变量之间既存在着密切联系，但又不能由一个 或多个变量的值求出另一个变量的值。例如，学生对于高等数学、概率与统计、普通物理的学习， 会对统计物理的学习产生影响，它们虽然存在着密切的关系，但很难从前几门功课的学习成绩来 精确地求出统计物理的学习成绩。但是，对于彼此联系比较紧密的变量，人们总希望建立一定的 公式，以便变量之间互相推测。回归分析的任务就是用数学表达式来描述相关变量之间的关系。回归分析基本原理：（一）回归分析的数学模型相关变量之间的关系可以是
2、线性的，也可以是非线性的。这里只讨论多元线性回归。设X,X2,Xp是p个可以精确测量或可控制的变量。如果变量y与X, X2, .,Xp之间的内在联 系是线性的，那么进行n次试验，则可得n组数据：0, Xi , Xi2,，Xp i= 1,2,n 它们之间的关系可表示为：+bpX1p+y=b+bx +b x1 0 1 11 2 12y =b +b x +b x + +b x + e2一 0121222p2p2y =b0+b,x, +b2x2 + +bx +en 01 n1 2 n2p npn其中，b0, b, b2,，bp是P+i个待估参数，e i表示第i次试验中的随机因素对yi的影 响。为简便起
3、见，将此n个方程表示成矩阵形式：Y = XB+e其中 11 Y=(y,y,，y)1 2nB=(b ,b ,，b)0 1p=（,， ）12n上式便是p元线性回归的数学模型。（二）参数B的最小M乘估计为了求出多元线性回归模型中的参数b0, b, b2,., bp,可采用最小二乘法，即在其数学模型 所属的函数类中找一个近似的函数，使得这个近似函数在已知的对应数据上尽可能和真实函数接 近。设c0, C, c2,，Cp分别是b0, b, b2，bp的最小二乘估计，则多元回归方程（即 近似函数）为：y=c +c x +c x + +c x01112p p其中C0, c1, C2，Cp叫做回归方程的回归系数
4、。对每一组（Xj Xi2,Xip），由回归方程可以确定一个回归值yi。这个回归值yi与实际观测值yi之差，反映了 yi与回归直线 y=C0+C1X1+C1X2+CpXp的偏离程度。若对所有的观测数据，人与yi （1=1, 2,n） 的偏离越小，则认为回归直线与所有试验点拟合得越好。全部观测值yi与回归值yi的偏差平方和为：qQg“空龙-兀=-cpxip.根据微分学中的极值原理C0, c1, c2，cp应是下列方程组的解:通过整理可将上述方程组写成如下形式:厂氏g兀厂耳咼厂兀1 一一G两）冠=0 = 12圧）里里H*工G十O工物十工忌十十工萬厂工另3-12-1!-13-12-1、花花rKK芒C正
5、兀芒ClSXi + G工兀皿1 +工耳兀广工兀2 N2-12 -12-1 2-1 2-15工扯十口工忑1血+ G工臥2 j宀G工兀1血=工血为Mi-LZZZ ICo工兀J。工忑1隔十心工血卷十十工兀厂工耳k i-1jLi-1j-1i-1u上式也可以用矩阵表示为：(XX)C二 XY其中，c=(co, c1, c2，cp)，称为回归方程的系数矩阵，X是x的转置矩阵。当XX满 秩时，逆矩阵(XX)-i存在，系数矩阵c可以表示为：C= (XX)-iXY上式即为回归模型中参数B的最小二乘估计。至此，我们就得到了 P元线性回归方程。建立回归方程的目的是要利用它来进行预报与控制。在实际问题中，事先并不能断定
6、随机变 量y与X,x2,xp之间确有线性关系，在求解回归方程前，线性回归模型只是一种假设，所 以在求出线性回归方程之后，还需对其进行统计检验，给以肯定或否定的结论。有关回归方程及 回归系数的显著性检验问题，这里就不介绍了。(三) 一些非线性回归方程的线性处理简介由于线性回归方程比较简单，所以在遇到非线性模型时，最好将其转换为线性模型。(1) 多项式模型多项式模型为y =卩o+卩ix +卩2X2+卩kxk+ ，对方程中的变量作如下变换X=x, x2= X2, , xk= Xk,则原方程变为y=P0+卩1Xi +卩2X2+卩kXk +， 就可用线性模型的方法处理。(2) 指数模型指数模型为：y=a
7、ebx方程两边取对数得：lny = lna +bx +ln 令 y* =lny,卩0=lna, P1=b, 8* =lns则可得线性方程y* =卩0+卩X+s*3）幂函数模型幂函数模型为：y =ax1 b1x2b28方程两边取对数得lny = lna +b1lnx1 +b21nx2 + ln8 令 y* = lny, b0 =lna,xl* =lnxl，x2* =lnx2, 8* =ln8则幂函数模型就变为线性模型y* =b0+b1x1* +b2x2* +8*（4）成长曲线模型成长曲线模型在经济、教育和心理研究中都非常有用，其数学表达式为y =1/（卩 o+卩 ie-x+8）令 y* =1/y x*=e-x,它就转化为线性模型：y* =卩0+卩ix*+8
