《第二章 多元线性回归》由会员分享，可在线阅读，更多相关《第二章 多元线性回归（43页珍藏版）》请在金锄头文库上搜索。
1、第二章 多元线性回归2.1 基本概述一、回归的任务多元线性回归(MLR) (multiple linear regression)是分析一个随机变量与多个变 量之间线性关系的统计方法。回归(Regression)起源于19世纪生物学家F高尔顿进行的遗传学研究。其核 心是“普通最小平方法”( Ordinary Least Squares) OLS。多元回归将所研究的变量分为:“被解释变量”(或因变量dependent variable)用Y表示“解释变量”(或自变量，independent variable)。分别和X” X2表示.确定自变量和因变量的关系是回归分析的主要任务：(1) 根据实测数
2、据求解某一模型的各个参数；(2) 评价回归模型是否较好地拟合实例数据；(3) 利用模型进行预测。需要注意的是:(1) 因变量必须是间距测度等级以上的变量(有时也包含定性变量。见应用回归分析)(也称为连续变量)。自变量可以是任意等级的变量。(2) 既使模型正确通过检验，也不能确定 X、Y 之间的因果关系，而只能确认 存在着统计关系。例不同地区的人均食品支出与人均收入的关系(图2-1)；汽车重量与每加仑燃料 行驶英里值的关系；(图2-2)。食品支出15 0 02 5 0 03 5 0 02 0 0 03 0 0 0图21图2-2元线性回归的回顾1 模型2.1)当获得 n 组样本观测值（ x1 ,
3、y1），（ x2 , y2）（x , y ）的数据时，如果符合J n2.1 式，则有Y =卩+卩 X + i = 12,n(2.2)i01 ii2.1式称为理论回归模型；2.2式称为样本回归模型。有时不加以区分地将两者 称为一元线性回归模型。通过n组观测值，用OLS法对p , p进行估计，得0 ,0，则称0 1 0 1Y = 0 +J3 Xi 01 i为Y关于X的一元线性方程。其中：p 1回归系数，说明X与Y之间的变化关系。2 普通最小二乘法估计的统计性质(OLSE Estimation)八(1)残差：ei = Y - Y，用来说明拟合效果，可以看作误差项S的估计值。e = 0ix e = 0
4、i i因为Y = Y + p(X - X)，所以工e = S (Y - Y) = S (Y -Y) J 工(X - X) = 0但2 | e I很麻烦，经常用Y e2来说明。ii i=1(2) 工(Y Y)2 = min1八(3) Y的平均值等于Y的平均值Y =2 Yn( 4 ) X 与 e 相互独立Cov(x , e ) = 12 (X X)(e ) = 0i i nii( 5 ) Y 与 e 相互独立1Cov(Y, e )= 工(Y Y)(e ) = 0i i ni(6)直线通过n个散点的重心(X,y)点3. 模型的假设条件(assumption)(1)高斯假设条件(C.F.Gauss)德
5、国数学家零均值性EC ) = 0 ； i = 1,2,ni9即在自变量取一定估计X的条件下，其总体各误差项的条件平均值为0。i 等方差性(为一常数)D(8 )二 Var(8 ) = 2,i 二 1,2,nii 误差项之间相互独立，(即不相关)Cov(8 ,8 )二 0; i 丰 j,i, j 二 1,2ni j 误差项与自变量之间相互独立性。Cov(8 , X ) = 0i i上述假设称为标准古典假设条件。符合条件的回归模型称为普通线性回归模型(general linear regression model)。如果仅为点估计则由OLSE计算的0，0，Y分别是卩，卩和Y的无偏估计量；如果需要进行
6、区间估计，需要以下假设：(2)正态误差假定|8 N(0Q2) i = 1,2，,n|I同时，Y N(0 +0 X Q2) i = 1,2,n|i01 i另外，还可推出E(S2)二 E工(e )2i=E工(Y Y )2=Q 2en 2n 2 即e(se2)2 是无偏估计量(Y - Y)2日X2(n P 1)Q 2其中：估计标准误差1 + (X0 - X)2 n 工(x x)2其中：X0S(Y0-Y。)二 SJ+n+啟是给定值。2.2 多元线性回归模型一、多元线性回归方程及其假设设模型为：|Y = P +P X +P X + - +P X +si01122ppi将n组独立观察的样本数据(y , X
7、 , x ，,x )i = 1,2,nii 1i 2ip代入方程：y = b + bx + b x Hbb x + ei01 i 12 i 2p ipi根据OLS，使工(ei)2二min。求卩，卩的估计值b，b ,i0p0p可得回归方程：y = b + bx + bxHbb xi 01 i12 i 2p ip称为多元线性回归方程。上述模型用矩阵形式来表示，即：y = x0 + 其中：y=y1yn nx11 x x x11421 p1: x2p:xij1 x x xn 1n 2npnx( p+1)卩p01pP(p+l)xl818 = 28n nxl假定1：自变量是确定性变量，且X是一个nX(p+
8、1)的矩阵。称x为回归设计矩阵或资料矩阵。矩阵X的秩 rank(x )=p+1是一个满秩矩阵。即p+lWn,表明自变 量列之间不相关。假定2：随机误差项具有0均值和等方差。E(8 ) = 0i2 i = jCov(8,8 ) = .i, j = 1,2，,ni j 0心 j假定3：正态分布。 N(0 , 21 )n根据上述假设即多元正态分布的性质可知，随机向量遵从n维正态分布。则有 E(y) = Xpvar( y) = 21n因此：yN( x卩， 21 n )二、回归平面和回归系数的意义估计回归方程:y 二b + bx + b xHbb xi 01 i12 i 2p ip是一个超平面。其中：b
9、 ,b，,b分别称为超平面的回归系数01pb为截距；0b表示其他变量X （i丰j）固定时，x每变化一个单位, jijy的平均变化。i例：以二元线性回归方程为例，如图 2-3图2-3例由1991年我国分地区家庭年人均食品支出（Y）和年人均收入（X ）及粮食1单价（X ）数据可得：2Y 二一87.38 + 0.35x + 206.64x12Coefficients(a)ModelUn sta ndardizedCoefficie ntsSta ndardizedCoefficie ntsBetatSig.BStd. Error1(Con sta nt)-87.37862.452-1.399.173
10、人均收入.354.039.7739.081.000粮食单价206.53875.212.2342.746.011a Dependent Variable: 食品支出表明：当价格固定时，收入每上升 1 元，食品支出上升 0.35 元；当人均收入固定时，价格每上升1 元，食品支出上升206.54 元。例用1998年世界若干国家的粗死亡率（Y）对其65岁以上人口占总人口的比例（x）和人均国民生产总值（x）做回归，得到：12Y = 11.932 + 0.152x 一 0.00043 x12即X对Y有提高作用，x2对Y有降低作用。特别是当多项式模型（以二元为例）Y二卩+卩X +卩X +卩X2 +卩XX +
11、0 1 1 2 2 3 1 5 1 2X变化一个单位，Y的平均变化为: 这种情况难以解释!卩+卩(2X +1) +卩X 3 5 23多元回归模型的估计（1）回归系数的估计将y = b + bx + bx + + bx代入E （Y -力2中，分别对0 1 1 2 2 p pb ,b,b ,b 求偏导数，得到正规方程组。用矩阵表示如下：0 1 2 px（y - xb） = 0xxb 二 xy移项得：当XX存在时，即xx是一个非奇异矩阵，IxX|丰0，则有：b 二（xx）- xy例一元方程时，y1 xi1y1 x2X =. 2_ y _1 xnnxln已知：y =1xn 2x nnx2 1 1 1
12、11 xn工x 1x x x12n2xn2工x工x 2 _1n n x 22x2有伴随阵：工x 2 (x x) * =y逆阵：1 y x 2- y x_ 1 y x 2_一 y xnn y (x - x )2_一 y xx(xx) iy xnSy x 2nSyxxnSXXXX1厂XX 1 1 xy =x x122x21xn 2x ny yy xy2x1yn nx1y y y x 2 一 y x y xy b = (xx) 一1 刈二n y xynSyxy y2x1_ nsxx一nS _y (x 一 x)2xxii _12) 因变量的估计已知 E(y) = XBy 二 xb 二 x(xx)-ixy有H = x( xx)-i Xx(xx) -i X =1 X11 X2工X 2二 X nSXX厶X1nS厂y = xb = X(xx)-ixy = H y则H = x(xx)-1X是n阶对称阵，形象地称为帽子矩阵该矩阵的诸对角线元素记为hii(杠杆率)。杠杆率：观测第i个观测值离其余n1个观测值的距离有多远。对一元回归来说，其杠杆率为：71h = +ii三、方程的解释能力1决定系数 R2 (coefficient of determination)(拟合优度)(y Y )SST =y
