《32多元线性回归模型的参数估教学讲义》由会员分享，可在线阅读，更多相关《32多元线性回归模型的参数估教学讲义（30页珍藏版）》请在金锄头文库上搜索。
1、3.2 多元线性回归模型的估计估计方法：OLS、ML或者MM一、普通最小二乘估计*二、最大或然估计*三、矩估计四、参数估计量的性质五、样本容量问题六、估计实例一、普通最小二乘估计对于随机抽取的n组观测值 (Yi , X ji ), i = 1,2, , n, j = 0,1,2, k如果样本函数的参数估计值已经得到，则 有：Yi = 0 + 1 X 1i + 2 X 2i + + ki X Kii=1,2n (3.2.1)1、普通最小二乘估计i 根据最小二乘原理，参数估计值应使得剩余平方和达到最小，min Q = min e2 = (Yi - Yi )2即i+ k X ki )2min e2
2、= Yi ( 0 + 1 X1i +(3.2.2) 2 Yi (1 + 2 X 2i + 3 X 3i + . + ki X ki ) = 0 X1i )ki = 0 2 X ki = 0 Yi ( 0 1 X1i + + k X ki )利用微积分知识，只要求Q关于待估参数的偏导数，并令其值为零，即, k )= 0 ( j = 0,1,( ei2 ) j就得到待估参数估计值的正规方程组： 2 Yi ( 0 + 1 X1i + + k X+ (*) X 1i X 0 1 X 1i X ki 1 X 11 X ki k X k 1 1 Y1 Y (3.2.3)的正规方程组的矩阵形式 = X X
3、X ki n X ki X 1n Y2 X kn n ki21i21iX 1i1X 12X k 2即(X X)= X Y由于XX满秩，故有= (X X) 1 X Y(3.2.4)(3.2.5) ) )将上述过程用矩阵表示如下：即求解方程组： (Y X (Y X = 0 (Y Y 2Y X+ X X = 0 X Y + X X= 0X Y = X X= (X X) 1 X Y得到于是 Yi ( 0 + 1 X1i + + k X ki ) = eij X ji ie = 0对于(*)式，注意到用矩阵形式表示：我们可以得到正规方程的另一种形式, kj = 1, 2, ei = 0(3.2.6)(3
4、.2.6)式是多元回归模型正规方程的离差形式。 1 y1 x11 x21 xk1 y 2 2 y = x = = x x x y 由此容易得到多元回顾分析中样本回归函数的离差形式 yi = 1 x1i + 2 x2i + + k xki + ei i=1,2n (3.2.7)其矩阵形式为其中 x12 x22 xk 2 n 1n 2 n kn k 在离差形式下，参数的最小二乘估计结果为y = x + e(3.2.8) k X k = ( x x)1 x y 0 = Y 1 X 1 (3.2.9) x x ( x x )22 x x ( x x )22iY = 0 + 1 X1i + 2 X2i
5、+ ui其参数的最小二乘估计量如下：(i =1,2, , n) 2221 2 1 21 2 1 21 =2 = x1 y x2 x2 y x1x2 x2 y x1 x1 y x1 x2最简单的多元线性回归模型是二元线性回归模型。二元线性回归模型的一般形式为：0 = Y 1 X 1 2 X 21、2称为偏回归系数。(X X) = X n 1X 1 X iX n = 例3.2.1 在例2.1.1的家庭收入-消费支出例中， 21500 53650000 10 21500 11 1i2i X XX 2 n = 1X 2 1 X 1 = X 2 Y Yn 可求得1 0.0003 1.35E 07 于是=
6、 = 2 估计值与观测值之间的残差：2、随机干扰项的方差的普通最小二乘估计对于多元回归模型 Y = X + 由于被解释变量的e = Y X = X + X ( X X )1 X ( X + )= X ( X X )1 X = I X ( X X )1 X = M 残差的平方和为： e e = MM 因为所以M = I X ( X X )1 X 为对称等幂矩阵，即M = M , M 2 = M M = Me e = M = =所以E (e e) = E I X ( X X )1 X = 2tr I X ( X X )1 X = 2trI tr X ( X X )1 X = 2n (k + 1)2
7、E (e e)n k 12e en k 1(3.2.10)其中k为解释变量的个数(2 ) n(2 ) n二、最大或然估计*(ML)对于多元线性回归模型Yi = 0 + 1 X 1i + 2 X 2 i + + k X ki + i易知Yi N (X i , 2 ) ) ) 22=1212ee1n2 (Yi ( 0 + 1 X 1i + 2 X 2 i + + k X ki )21n2( Y X ( Y X即为变量Y的似然函数其中 X i = (1 X 1i X 2i X ki )Y的随机抽取的n组样本观测值的联合概率(3.2.11)对数似然函数为 ) )(Y X (Y X12 2= nLn(
8、2 ) L* = Ln( L)(3.2.12) ) )对对数似然函数求极大值，也就是对(Y X (Y X求极小值。因此，参数的最大或然估计为= (X X) 1 X Y显然结果与参数的普通最小二乘估计相同(3.2.13)(Y X ) (Y X ) = =与一元回归相仿，容易得出多元回归下随机干扰项方程的方差估计为：2in enn(3.2.14)四、参数估计量的性质在满足基本假设的情况下，其结构参数 的普通最小二乘估计、最大或然估计及矩估计仍具有：线性性、无偏性、有效性。同时，随着样本容量增加，参数估计量具有：渐近无偏性、渐近有效性、一致性。1、线性性= (X X) 1 X Y = CY由于其中,
9、C=(XX) -1 X 为一仅与固定的X有关的向量；可见参数估计量是被解释变量Y的线性组合。 2、无偏性E ( ) = E( X X )1 X Y = E( X X )1 X ( X + )= E( X X )1 X X + E( X X )1 X = 这里利用了假设: E(X)=0(3.2.17)X X ) X E ( ) X ( X X )1(3.2.17)13、有效性（最小方差性）首先给出参数估计量 的方差协方差矩阵：Cov( ) = E E ( ) E ( ) = E( )( ) 1= (= ( X X )1 X 2 IX ( X X )1= 2 ( X X )1 这里利用了 = (
10、X X )1 X Y = ( X X )1 X ( X + ) = + ( X X )1 X 和E ( ) = 2 II为单位矩阵 = C Y = C ( X + ) = C X + C E ( * ) = C X * 是无偏性要求 C X = IC X = ( X X ) X X + DX 根据高斯马尔可夫定理，（3.2.18）式表示的方差在所有无偏估计的方差中是最小的，所以该参数估计量具有有效性。事实上， * 是其他方法得到的关于的线性无偏估* * 1* * * * *于是根据由于* 1*( * = C Y = C X + C * = + C * )* *Cov( * ) = E * E
11、( * ) * E ( * ) = E( * )( * ) * *= E(C * )(C * ) = E( X X )1 X + D X ( X X )1 + D= 2 ( X X )1 X X ( X X )1 + ( X X )1 X D + DX ( X X )1 + DD = 2 ( X X )1 + 2 DD= Cov( ) + 2 DDDD为主对角线元素非负的对称矩阵，由此得Var ( * ) Var ( )五、样本容量问题所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。1、 最小样本容量样本最小容量必须不少于模型
12、中解释变量的数目（包括常数项）,即n k+1因为，无多重共线性要求：秩(X)=k+12、满足基本要求的样本容量从统计检验的角度：n30 时，Z检验才能应用；n-k8时, t分布较为稳定一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。模型的良好性质只有在大样本下才能得到理论上的证明六、多元线性回归模型的参数估计实例例3.2.2 在例2.5.1中，已建立了中国居民人均消费一元线性模型。这里我们再考虑建立多元线性模型。解释变量：人均GDP：GDPP前期消费：CONSP(-1)估计区间：19792000年Eviews软件估计结果Eviews软件估计结果LS / Depen
13、dent Variable is CONSSample(adjusted): 1979 2000Included observations: 22 after adjusting endpointsVariableCGDPPCONSP(-1)Coefficient120.70000.2213270.451507Std. Error36.510360.0609690.170308t-Statistic3.3059123.6301452.651125Prob.0.00370.00180.0158R-squaredAdjusted R-squared0.9954030.994920Mean depe
14、ndent varS.D. dependent var928.4946372.6424S.E. of regression26.56078Akaike info criterion6.684995Sum squared resid13404.02Schwarz criterion6.833774Log likelihood-101.7516F-statistic2057.271Durbin-Watson stat1.278500Prob(F-statistic)0.000000 e(3.31) (3.63)由表可知：(2.65)CONSP = 120.7 + 0.22137 GDPP + 0.
15、451507 CONSP(1)2i= 13404.02k = 2所以随机干扰项的方差估计值为：13404.0222 3【练习】我国国有独立核算工业企业生产函数。根据生产函数理论，生产函数的基本形式为：Y=f(t,L,L,)，其中L、K分别为生产过程中投入的劳动与资本，时间变量t反映技术进步的影响，下表列出了我国19781994年期间国有独立核算工业企业的有关统计资料，其中产出Y为工业总产值（可比价），L、K分别为年末职工人数和固定资产净值（可比价）。试使用Eviews软件建立线性生产函数：Y = 0 + 1t + 2 L + 3 K + 其相关数据资料见下表。年份时间t工业总产值Y（亿元）职工
16、人数L（万人）固定资产K（亿元）197813289.1831392225.70197923581.2632082376.34198032782.1733342522.81198143877.8634882700.90198254151.2535822902.19198364541.0536323141.76198474946.1136693350.95198585586.1438153835.79198695931.3639554302.251987106601.6040864786.051988117434.0642295251.901989127721.0142735808.711990137949.5543646365.791991148634.8044727071.351992159705.5245217757.2519931610261.6544988628.7719941710928.6645459374.34我国国有独立核算工业企业统计资料1. 建立工作文件：cheate A 78942. 输入统计资料：DATA Y L K3. 生成时间变量t：GENR T=TREND（
