《51一元线性回归的参数估计》由会员分享，可在线阅读，更多相关《51一元线性回归的参数估计（34页珍藏版）》请在金锄头文库上搜索。
1、第五章回归分析“回归”一词的由来1889年，英国著名统计学家FrancilsGalton在研究父代与子代身高之间的关系时发现：身材较高的父母，他们的孩 子也较高，但这些孩子的平均身高并没 有他们父母的平均身高高；身材较矮的 父母，他们的孩子也较矮，但这些孩子 的平均身高却比他们父母的平均身高 高。Galton把这种后代的身高向中间值 靠近的趋势称为“回归现象”。后来，人 们把由一个变量的变化去推测另一个变 量的变化的方法称为“回归方法”。回归分析的基本概念1. 函数关系和统计相关关系在一个实际问题中会遇到多个变量，可将其区分为自变量和因变量.自变 量和因变量之间的关系又可分为两类: 函数关系和
2、统计相关关系.函数关系：自变量的取值确定后，因变量的值就完全确定.如圆的半径与I的面积就构成函数关系.统计相关关系：自变量的取值确定后，因变量的值并不完全确定；通过大 量的统计数据又可发现它们之间确实存 在着某种关系，这时称自变量与因变量(1) 商品定价X与该商品的销售量(2) 日期x与某地的日平均气温(3) 父母身高(x,y)与儿子成年后 的身高Z ；上述自变量与相应因变量之间都构成统计相关关系.2. 回归分析回归分析(Regression Analysis)就是一种研究自变量(是可控变量时) 与因变量(随机变量)之间的统计相关 关系的统计方法.从自变量和因变量的 一组观测数据出发，寻找一个
3、函数式，将变量之间的统计相关关系近似表达出3来，这个能近似表达自变量与因变量之 间关系的函数，称为回归函数.3. 回归的分类依照回归函数是线性的还是非线性的，分为线性回归(Linear Regression) 和非线性回归(Nonlinear Regression)依照回归函数是一元函数还是多元函 数，又可分为一元回归(SimpleRegression)和多元回归(Multiple Regression).5.1 一无线性回归中的参数估计一元线性回归的数学模型与主要 问题一元回归的数学模型 一元回归模型：设X是一元可控变量，Y是依赖于 X的随机变量，二者具有相关关系，通 常称X为自变量或预报变
4、量；Y为因变量 或响应变量.1 =1Y = f (X) + E (&) = 0设想Y的值由两部分组成：一部分 是由X能够决定的，记为f (X)；另一部分 是由其它未加考虑的因素(包括随机因 素)所产生的影响，看作随机误差，记 力，且有理由要求E( ) = 0.故有(5.11)称(5.1-1)式为Y对X的一元回归模型f(x)为回归函数；其中 E(Y) = f ( x) y = f ( x)为回归方程. 一元线性回归模型：若进一步假定回归函数为f (X)=胃0+时，且存在D(& ) =6，则有Y = & + &x + 顼占)=0, D()= G2(5,1-2)称(5.1-2)式为Y对x的一元线性回
5、归模型，其中& ,们G2均为未知参数，P , P称0101为回归系数，而E(Y)=叩片，此时回归 方程y =叩叩是线性方程，称为回归直 线. 1 一元正态线性回归模型：应用中，为对回归方程的合理性进行检验，还假定N(0,g 2)，于是模型(5.1-2)化为Y = P + p X + .N(0,G 2)(5.1-3)称(5.1-3)式为Y对x的一元正态线性回归模型，此时YN(P +胃X, G2).01为研究x与Y之间的内在关系，在X = xi，x2, ,七的点上，做次独立试验，得到y =即七，七，于是有点(x y ),(x y ),.,(x，y ).画出散点图，1122n n如果这n个点(n很大
6、时)分布在一条直 线附近，直观上就可认为X与F的关系具 有(5.1-3)式的模型。将y视为K的子样值，模型(5.1-3) 又化为i Xi + 七(i = 1 2 . n)8N(0, o2),且相互独立(iL 们iY = & + &i 01(5.1-4)显然此时有Y N叩0+&己,2)，且当i = 1, 2,. ,n时相互独立.由(x,y ), (x ,y ),., (x ,y )求出回归1122n n系数&叫的估计值弗4后得到直线方程y = &+fix，称为经验回归直线.图1，图2Y的试验值yii丫的经验回归值E(Y) = |T+B工Y的理论回归值E(Y) = P +P x01 ii.*经验回
7、(2) 一元线性回归的主要问题 对未知参数们& , “2的估计；01 对参数及回归模型的假设检验; 对因变量Y的预测。对未知参数*13*2的估计&o,& 1的最小二乘估计 已“知x 与 Y 试(x,y ), (x ,y ), , (x ,y )，构造1122n n值y与理论回归值E(Y) = &o + &x平方和验值 的试验 的离差Q（&，& ） - Eg 2 = （y 一& 一& x ）2 01ii 01 ii=1i=1(5.1-5)以使q(们们取得最小值的，5为为*的估计值,称之为最小二乘店3 .。= -2 (y & g x ) = 0 酒七 “0 %，0i=1a Q = 2 (y g g
8、 x ) x = 0Wi 。1 i i1i=1于是有关于g 0, g 1的线性方程组I n y( x疽*i = 1i=1(x )g + (x2)g =1L x yi 0i 1i iI i=1i=1i=1(5.1-6)（5.1-6）式的解孔戏是由容量为n 的子样值得到的，只在这n个点处/的试i验值y与理论回归值go + gxt的离差平方和最小，因此，解吟,料不是go, g 1的真值， 只是估计值。故有1 其1 x = _z ni=11 n xy = _z x.y.i=1 解得1 ny = z jni=1& + x & = yx & + x2 & = xy（5.1-7）中1 nx 2 = z x2
9、.n i,i=1(5.1-7)式称为正规方程组.尸=,-xy1x 2 - x 2& = y - x & 1(5.1-8)(5.1-8)式中的8,钏称为未知参数&。顶1的最小二乘估计。y = B0 +P1 x = (y - x 料)+，x =，(x - x) + y, 即：经验回归直线恒过点(x，y).。2的矩估计& N(0, G2 )，.b 2 = D( ) = E( 2)，则可用-2的子样均值X - 2去估计其母n ii=1体均值g=e (& 2)，即有泰=n - 2.i=1但-2 = (Y - B - B x.)2，其中6邛未知，i i 01 i01以其最小二乘估计代替，于是。2的矩估计为
10、/ = 1X (YI x )2 =腥 n i 01 i n min1=1(5.1-9)其中揣称为残差平方和。将(5.1-8) 式中的$。=歹x吧代入，得Q = Y - (Y X 疗)一$ xi = 1=工(Y - Y)疗(x. X)2i = 1= (Y - Y)2 方2 工(x. - x)2i = 1i = 1(5.1-10)于是bA2 = 1 Q = 1 (Y Y)2 + B 2 1 (X X)2 = S2 B 2 S2 n min n i1 n iY 1 x(5.1-115i=1估计量的另一组表达式记L =(x 一X)2 = nS2， Lxxii=1，空yy i=1(y y)2 = nS2
11、 ，iy(X - X)(y, - y) = ILix y - nXy，则(5.1-8)（5.1 -10）（5.1-11）式分别化为B = xy1 LXXB0 = y - B 注(5.1-8)Qmin - L 一叩 - L -% Lx(5.1-10)2 =1Q =1 (L - B L ) =1 (L - 8 2 L ) n min n yy 1 xy n yy 1 xx(5.1-11)未知参数估计量的分布对于一元正态线性回归模型（5.1-4）定理5.1.1:e（%）=月e（81）=胃即（5.1-8）式中的估计量。，（A分别是 01A- b 2(印).胃0,胃的无偏估计.入1 X2忡邛，上+ Z
12、）XX定理 5.1.2：_1_QX2（n - 2），且Q min分别与们声相互独立。（说明：二次型 0 1Q =n u-B-B x）2中的.a满足正规方 mini 01 i，】i1程组（5.1-7），即有2个独立的线性约束 条件，故自由度是n - 2）。E（Qmin ） = n - 2， 从而b 2E(b 2) = E( Qmin ) = E( min ) = b 2 , 即nnb 2 n2=0.只是。2的一个渐近无偏估计.为纠偏，令b*2=b ，贝Un 2E(b*2) =b2，即 /2 = 2 Qmn 是。2 的一个 无偏估计.定理 5.1.3: 1 .厂-t(n 2).(由A X XX o
13、 *定理5.1.1、定理5.1.2及，分布定义 可以证得)定理 5.1.4： cov (Y, A ) = 0 .1画 点，(xn，yn)之间线性关子样相关系数及意义 为 刻(x,y ), (x ,y ),1122联程度，(1)定义：1L (Xj - X)(y - y)(七一 x)2_ zL (y - y)2r =i=ini=1可以证得件1.(2)意义:吃=El 1= 1 - 1 1= 1 - Qminn=1说明观测点故n越接近1时，七越接近o,说明线 性回归分析的效果越好；特别，当 时，Q =。，3,y ), (x ,y ), , (x ,y )全部落在经1122n n验回归直线y = 80+0x上。例5.1.1测量上海市13岁男孩的 平均体重，得到如下数据：年龄x (岁)i1.01.52.02.53.0平均体重yi(kg)9.7510.8112.0712.8813.74又设Y =万+万尤+ , 8N(0, b2),且相互 i 01 i i i独立，i = 1,2, , 5.(1) 求胃的最小二乘估计。，4；(2) 求残差平方和Q，标准差-的估计。气，子样相关系数r .
