《【精选】1一元线性回归的参数估计》由会员分享，可在线阅读，更多相关《【精选】1一元线性回归的参数估计（26页珍藏版）》请在金锄头文库上搜索。
1、第五章 回归分析“回归”一词的由来1889年，英国著名统计学家Francils Galton在研究父代与子代身高之间的关系时发现：身材较高的父母，他们的孩子也较高，但这些孩子的平均身高并没有他们父母的平均身高高；身材较矮的父母，他们的孩子也较矮，但这些孩子的平均身高却比他们父母的平均身高高。Galton把这种后代的身高向中间值靠近的趋势称为“回归现象” 。后来，人们把由一个变量的变化去推测另一个变量的变化的方法称为“回归方法” 。回归分析的基本概念1. 函数关系和统计相关关系在一个实际问题中会遇到多个变量，可将其区分为自变量和因变量. 自变量和因变量之间的关系又可分为两类：函数关系和统计相关关
2、系.函数关系：自变量的取值确定后，因变量的值就完全确定. 如圆的半径与圆的面积就构成函数关系.统计相关关系：自变量的取值确定后，因变量的值并不完全确定；通过大量的统计数据又可发现它们之间确实存在着某种关系，这时称自变量与因变量之间构成统计相关关系. 如（1）商品定价 与该商品的销售x量 ；Y（2）日期 与某地的日平均气温x；（3）父母身高 与儿子成年后),(yx的身高 ；Z上述自变量与相应因变量之间都构成统计相关关系.2. 回归分析回归分析（Regression Analysis） ，就是一种研究自变量（是可控变量时）与因变量（随机变量）之间的统计相关关系的统计方法. 从自变量和因变量的一组观
3、测数据出发，寻找一个函数式，将变量之间的统计相关关系近似表达出来，这个能近似表达自变量与因变量之间关系的函数，称为回归函数.3. 回归的分类依照回归函数是线性的还是非线性的，分为线性回归（Linear Regression）和非线性回归（Nonlinear Regression） ；依照回归函数是一元函数还是多元函数，又可分为一元回归（Simple Regression）和多元回归（Multiple Regression）.5.1 一元线性回归中的参数估计一元线性回归的数学模型与主要问题(1)一元回归的数学模型 一元回归模型：设 是一元可控变量， 是依赖于x Y的随机变量，二者具有相关关系，通
4、x常称 为自变量或预报变量； 为因变量或响应变量.设想 的值由两部分组成：一部分Y是由 能够决定的，记为 ；另一部x )(xf分是由其它未加考虑的因素（包括随机因素）所产生的影响，看作随机误差，记为 ，且有理由要求 . 故有 0)(E（5.1-0)(ExfY1）称(5.1-1)式为 对 的一元回归模型 ，Yx为回归函数；其中 ，称)(xf )()(xfYE为回归方程.y一元线性回归模型：若进一步假定回归函数为，且存在 ，则有xxf10)( 2)(D(5.D,EY2)( )(1-2)称(5.1-2)式为 对 的一元线性回归模Yx型，其中 均为未知参数， 称210, 10,为回归系数，而 xYE1
5、0)(，此时回归方程 是线性方程，称为 回归xy10直线.一元正态线性回归模型：应用中，为对回归方程的合理性进行检验，还假定 ，于是模型)0(2,N（5.1-2 ）化为(5.)0(2,NxY11-3)称(5.1-3)式为 对 的一元正态线性回Yx归模型，此时 .)(210,N为研究 与 之间的内在关系，在x的点上，做 次独立试验，nxx,21 n得到 ，于是有点nyyy,21. 画出散点图，)()()(2n1 ,x,x,x如果这 个点（ 很大时）分布在一条nn直线附近，直观上就可认为 与 的关xY系具有(5.1-3) 式的模型。将 视为 的子样值，模型(5.1-3)iyiY又化为)21( ,
6、)0(2 n,i,NxYi ii1i 且 相 互 独 立(5.1-4)显然此时有 ，且当)(2i10i ,xNY时相互独立.n,i21由 求出回归)()()(2n1 y,x,y,x,y,x系数 的估计值 后得到直线方程10, 10,，称为 经验回归直线.xy10图 1，图 2 xy10 回 xy10 经 验 回 归 直 线y x0ixiii xYEY10)(经 验 回 归 值的 ii y试 验 值的 iii 理 论 回 归 值的 i（2）一元线性回归的主要问题对未知参数 的估计；210,对参数及回归模型的假设检验；对因变量 的预测。Y对未知参数 的估计210, 的最小二乘估计 10,已知 与
7、试验值 xY，构造 的试验)()()(2n1 y,x,y,y,x iY值 与理论回归值 的离差平i i10i xYE)(方和 n1i 2i10in1i2i10 xy,Q )( )(（5.1-5 ）以使 取得最小值的 为)(10, 10,的估计值，称之为最小二乘估计. 10,为此，令 xyQni iiini ii11011100 0)(2)(于是有关于 的线性方程组0, )()()( n1ii1n1i2i0n1ii nii1n1ii0 yxxx （5.1-6 ）（5.1-6 ）式的解 是由容量为10,的子样值得到的，只在这 个点处n n的试验值 与理论回归值 的离iYiy i10x差平方和最小，
8、因此，解 不是10,的真值，只是估计值。故有10,xyx 12010（5.1-7 ）其中 , , ,n1iixxn1iiyyn1i2ixx2. （5.1-7）式称为正规方程n1iiyxxy组. 解得10221xyyx（5.1-8 ）（5.1-8 ）式中的 称为未知参数10,的最小二乘估计 。10,于是经验回归直线，yxxxyxy )()( 11110 即：经验回归直线恒过点 .)(, 的矩估计2，)0(2,N)()(22 ED，则可用 的子样均值 去估计其母2 nii12体均值 ，即有 .)(22Enii122但 ，其中 未知，2i10ii xY)(2 0,以其最小二乘估计代替，于是 的矩2估
9、计为minn1i 2i10i QxY)(2 （5.1-9 ）其中 称为残差平方和。将（5.1-8）minQ式中的 代入，得10xy)()()()( )( n1i 2i2n1i 2in1i 2i1in1i 2i11imi xY xY（5.1-10 ）于是 )()(1 2 2x12Yn1ii21ni 2imin SxYQ （5.1-11）估计量的另一组表达式记 ，2x2n1iix nSL)(， )(2y2n1iiy SL，则（ 5.1-8）yxnyxLn1iiin1iixy )(（5.1-10 ） （5.1-11）式分别化为（5.1-8）xyL10xy1x21yxy1ymin LLQ（5.1-10
10、 ）)()(1 2 x21yxy1ymin LnL （5.1-11 ）未知参数估计量的分布对于一元正态线性回归模型（5.1-4）有定理 5.1.1： . 1100 , EE)()(即（5.1-8）式中的估计量 分别是10,的无偏估计.10, .)()( x2112x00 L,N, Ln1,N定理 5.1.2： ，且)(22nQmin分别与 相互独立。 （说明：二次minQ10,型 中的 满足正规n1i 2i10ii xY)( 10,方程组（5.1-7） ，即有 2 个独立的线性约束条件，故自由度是 ） 。n ，从而2)(2nQEmi，即矩2222 )()()( nQEnminmin 估计 只是
11、 的一个渐近无偏估minQ1 2 2计.为纠偏，令 ，则 2 2*n，即 是 的一个22*)(E minQ1 2* 2无偏估计.定理 5.1.3： .（由)2(ntLx*1定理 5.1.1、定理 5.1.2及 分布定义t可以证得）定理 5.1.4： .0)(1,Ycov子样相关系数及意义为刻画点之间线性关)()()( 2 n1 y,x,y,x,y,x联程度，（1）定义： n1iin1ii in1ii yxyr 22)()( )(即 yxxyLr可以证得 .1r（2）意义：yminyxyyyxyx LQLLLr 111122故 越接近 1 时， 越接近 0，说明r minQ线性回归分析的效果越好
12、；特别，当时， ，说明观测点1r 0min全部落在经)()()( 2 n1 y,x,y,x,y,x验回归直线 上。10例 5.1.1 测量上海市 13 岁男孩的平均体重 ，得到如下数据：Y年龄 （岁）ix1.0 1.5 2.0 2.5 3.0平均体重 iy(kg)9.75 10.81 12.07 12.88 13.74又设 , , 且相互ii10i xY )0(2,Ni独立， .52,（1）求 的最小二乘估计 ；10,10,（2）求残差平方和 ，标准差 的估minQ计 ，子样相关系数 . *r解：先画散点图X=1.0 1.5 2.0 2.5 3.0;Y=9.75 10.81 12.07 12.
13、88 13.74;plot(X,Y,ro)（1）由于 , , ,5n2x .nSL2xx5, ，85.y1730.SL2yy . 故5.xnxLn1iixy 83720185120501 .xy.Lxy于是经验回归直线为 .x.y0137可以将经验回归直线与散点图画在一起.hold ony=7.83+2.01*X;plot(X,y,b-)（2）07252501217301 .LQxyymin 12572* .Qnmin 9640173520.Lryx 可见这组数据下的年龄与平均体重的线性关联程度很高。例 5.1.2 (P222Ex5.1) 过原点的一元回归的线性模型为 ，iiixY，其中 之间
14、独立，且)21(n,ii. 试由 用最小二乘法),0(2Ni )(iiy,x估计 ；用矩法估计 .2解： 回归模型为 ，故iiixY满足 ， ，)(iiy,x iiixy)21(n,i离差平方和 ni iinii xyQ1212)()( 为求使 成立的 ，令)()(min 0)(2)(2)( 1121 niiniiinii yxxxyQ2121xyniinii其中： ， .niiyxxy1 niixx122 的矩估计：2，)0(2,N，则 的)()()()( 2222 EED 2矩估计为 n1i2in1iin1i2in1i 2iinii xyxyxy)(1 222 22 222)()(xyxyxy例 5.1.3 (P224Ex5.7) 具有重复试验一元线性回归表述如下:对 做Yx,次试验， ，在每一个n rxx,21上对 作
