《线性回归模型》由会员分享，可在线阅读，更多相关《线性回归模型（8页珍藏版）》请在金锄头文库上搜索。
1、一、统计线性回归模型一、回归分析回归分析是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相 关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。回归分析是建立因变量Y (或称依变量，反应变量)与自变量X (或称独变量，解 释变量)之间关系的模型。简单线性回归使用一个自变量X，复回归使用超过一个自变 量。二、一元线性回归分析一元线性回归分析是指获得一元线性回归方程的方法。经过相关分析后，在直角坐 标系中将大量数据绘制成散点图，这些点不在一条直线上，但可以从中找到一条合适的 直线，使各散点到这条直线的纵向距离之和最小，这条直线就是回归直线，这条直线的 方程叫作
2、直线回归方程。1 .数学模型的建立设变量y与之间存在统计关系，通过观测得到关于 3, y)的n对独立观测数据3 ,y ),(x ,y ), ,(x ,y ).(1)1122n n在平面直角坐标系中，描出每对观测数据(x , y.)(i = 1,2, ,n)所对应的点，得到的 图称为散点图。若散点图呈直线状，则可以假定变量y与x之间有如下关系y = P + 叩+.(2)其中y为随机变量，x为非随机变量，P1称为回归系数。为随机变量，称为随机误差， 它可以理解为y中无法用x表示的其它各种随机因素造成的误差。我们的问题是要用 Po + P1 x来估计y的均值E(y)，即 1E (y) =30 + P
3、1 x.且假定N(0,a2),yN(3 +3 xq2)，p ,p q2是与x无关的待定常数。因此， 0101变量(x, y)的n对独立观测数据(x , y )(i = 1,2, , n)应满足i iy = 3 + 3 x + , 1 o 1 1 .T y =3 +3x + ,20122(3)y = 3 + 3 x + .n 0 1 n n其中3 , 3为待估参数， , , ,为n个相互独立的且服从同一正态分布N(0,a 2)的 0112 n随机变量。(2)式称为一元线性回归的数学模型。 数学建模内部资料第一章线性回归模型2.参数的最小二乘估计为了得到回归方程(4)我们需要利用观测数据（x ,
4、J ）（i = 1,2, ,n）来估计参数P , P，而估计参数P , P的原 i i00则是使88 2 （误差平方和）尽可能地小。又因为ii=101所以0和0的估计值0和0应为方程组01-00 , 0 ) = 8 8 2 = (J -0 -0 X )2 ,i 01 ii=1(5)的解。1V - 1V =_，X , J =，n i=1ni=16Q( 00,0) =-280aQ( 0 , 0)t01-501(J 0 0 X )=。,i 01 ii=1=-2L ( j - 0 - 0 x ) x = 0i 01 i ii=1J,，则方程组（6）化为n0 + nx 0 = nJ,nX 0 +(8x2
5、) 0 =8i=1i=1方程组（7）称为正规方程组。由于nnXnx8x 2i i=1n8 (x - x)2。0, ii=1所以方程组(7)有唯一解，其解为8 (x - X)(J - J)0 =，0 = J-0X .18014(x - X)2ii=1若记L =8(x x)2,L =8(x x)(y y),则(8)可化为i=1i=10 =虹,0 = y-0X1 L 01XX(6)(7)(8)(9)所求回归方程为y =+P x.(10)01这种以误差平方和达最小为原则的参数估计方法称为最小二乘估计。习题 考察硫酸铜(CuSO4)在100克水中的溶解量(y)与温度(X)间的关系时，作了 9组 独立试验
6、，结果见表3 1。试寻找隐藏在变量y与X之间的统计关系。温度x( oc)01020304050607080溶解量y (g)14.017.521.226.129.233.340.048.054.8三、多元线性回归分析多元线性回归分析的理论与一元线性回归分析的理论是相似的，只不过自变量由一 元扩展到了多元，因此在计算上相对要复杂一些。下面将多元线性回归分析简要地做一 个介绍。1.数学模型的建立假设变量y与变量气,七之间有如下关系.y =。+。x + P x + + P x + 8(11)01 12 2m m其中y为随机变量，x,x , ,x为非随机变量，p”p , ,p称为回归系数。8为随机 12
7、 m12m变量，称为随机误差，它可以理解为y中无法用气,x2， ,x”表示的其它各种随机因素造 成的误差。我们的问题是要用1 2 m P+P x + P x + + P x01 12 2m m来估计y的均值E(y)，即.E(y) = P+P x + P x + + P x .01 12 2m m且假定8 n(0Q2)，y N(P + P x + P x +P x q2)，P ,P , ,P，b 2是0112 2mm01m与x1,x2, ,xm无关的待定常数。为了.估计P (i = 0,1,2, ,m)，对变量(x ,x , ,x ,y)进行n次独立试验(或观测)，i12 m得到的n组独立观测数
8、据为 (x ,x , ,x , y ),i = 1,2, ,n .(12)i1 i 2 im i而变量（X1，X2,i1:c i 2imiy=P+ P X + P X+ PX+ ;1o1 112 12m 1m1y=P+ P X + P X+ P X+ ;2o1 212 22 m 2 m2y=P+ P X + P X + P X+ .m nm nXm, y)的n组独立观测数据(X XX , y )(i = 1,2, n)应满足n o 1 n1 2 n2P为待估参数， 点 为.n个相互独立且服从同一正态分布 m12 n(13)其中Po P1N（OC 2）的随机变量，（13）式称为多元线性回归的数学
9、模型。 若记（11x11x21X12X221则（13）式的矩阵形式为.Xn1X、r y)Pl任）1m1_o1X，Y=y，P =P2 m:.：2.1， =：2.X J nmy k yn JJm ,k nJ(14)2 .参数的最小二乘估计与一元线性回归的理论相同，也以使得误差平方和芸 2最小为原则，对回归方程 i i=1 y = P + P x + P x + + P x O 1 12 2m m的参数Po P1 Pm进行估计。因为存在 Q( P P P ) = E2 = (y - p - P X - - P X )2 0 1mii 01 i1m im-i=1i=1P彻的估计值P ； P 1 P皿应
10、为方程组 (P : P ,上)n=O(15)po, p1，aPo. aQ( P P P )=o t = 12 m(16)的解。方程组（7）称为正规方程组，其有唯一解。方程组（7）的矩阵形式为(XtX ) p若记回归方程（15）中待估参数PoP1，P彻的估计值为(17)(18)(19)其中 s =*(x - x)(x x ),i, j = 1,2, ,m ； X = 1 * ijki i kj ji nk=1k=1=* (x 弓)(七-y), i = 1,2,x , i = 1,2,siy若记k=1ki.二 1 *,m ； y =_J yk .k=1则p = (XtX)-1 XtY .所求回归方
11、程为y = p + p x + px +01 12 2方程组(16)也可以写为S p+ Sp+ Sp= s,11 112 21m m1 ys p + sp+ sp= s, 21 122 22 m m2 y * ,s p + s p + + s p = s .m1 1 m 2 2 mmm my(20)S = (s ) , C = (c )= S-1, S = (s , s , , s)Tij mxmij mxmy 1 y2 ymy人-p x - p x . 2 2m m胸围x2 (cm)与体重y (kg)则八 八 .(p , p , , p )t = S-1S = cs , p = y p x
12、12my y 01 1习题 某养猪场估计猪的毛重，测得14头猪的体长x1(cm), 的数据见表3-2.试建立y与xx2的回归方程。表32序号1234567891011121314_141455152596269727880909298103X24958627162747174798485949195y2839414443505157636670768084四、拟合优度拟合优度是指回归直线对观测值的拟合程度。度量拟合优度的统计量是可决系数(亦 称确定系数)R2。R2的取值范围是0, 1。R2的值越接近1,说明回归直线对观测值 的拟合程度越好；反之，R2的值越接近0,说明回归直线对观测值的拟合程度越差。 拟合优度的定义：TSS :总离差平方和 RSS :回归平方和ESS :残差平方和TSS = RSS + ESS n 1 =保 + 华 TSS TSS Z。- Y ) ER 2 =竺=1 -鸳=1TSS TSS意义：拟合优度越大，自变量对因变量的解释成都越高， 动的百分比高。观察点在回归直线附近越密集。自变量引起的变动占总变R 2的其他表示方法:、2、217i=1Ai =1R 2 = / X i=1件2i=1Jk 1 J i=1R 2 = 4=Ey2i
