《第三章 多元线性回归模型》由会员分享，可在线阅读，更多相关《第三章 多元线性回归模型（21页珍藏版）》请在金锄头文库上搜索。
1、第三章 经典单方程计量经济 学模型：多元线性回归模型简单线性回归模型主要讨论一个被解释变量与一个解释变量之间的线性关系。在实际经 济问题中，由于社会经济现象的复杂性，一个经济变量往往受多个经济变量的影响。例如消 费者对某种商品的需求量不仅受收入水平的影响，而且取决于商品价格的高低；又如家庭消 费支出不仅与家庭的收入有关，而且与家庭的财富有关。在许多实际问题中，某个因变量随 着多个解释变量的变动而作相应的数量变化。因此，有必要将第二章中简单线性回归模型中 的一个解释变量情形推广到多个解释变量，利用多元回归方法进行分析。要求学生了解多元线性回归模型的产生背景；掌握模型的基本假定、模型的参数估计以及
2、 模型的统计检验和预测；本章讲授要点：多元线性回归模型的产生背景、模型的基本假定及其意义、模型的最 小二乘估计、统计检验及预测 3.1多元线性回归模型1、多元线性回归模型的形式由于在实际经济问题中，一个变量往往受到多个原因变量的影响；按照“从一般到简 单”的建模思路。所以，在线性回归模型中的解释变量有多个。这样的模型被称为多元线性 回归模型。多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。多元线性回归模型的一般形式为：Y =。+P X +P X + + P X +目 i = 1,2,，ni 01 1i2 2iK Ki i其中k为解释变量个数，P .(j = 1,2,k)
3、称为回归系数(regression coefficient)。与一元回归分析一样，多元线性回归的总体回归函数(PRF)表达式为：E (Y I X , X，X ) = P +P X +P X + + P X1i 2iki 01 1i2 2iK Ki表示：各变量X值固定时Y的平均响应。P.(j = 1,2，.，k)也被称为偏回归系数，表示 在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化；或者说P. (j = 1,2,.,k)给出了 Xj的单位变化对Y均值的“直接”或“净”(不含其他变量）影响。在总体回归函数中，由于各参数是未知的，这就需要样本回归函数（SRF）y =
4、8 +6x +B x + +B xi 0 1 1i 1 2ik kiY = Y + e = 8 +。X +8 X + . +8 X + ei i i 01 1i2 2 iK ki ir 八，-、. .其中：8n为截距；8 （J = 1,2，,k）为“偏回归系数”，表示：在其它解释变量不 0J 交变的情况下，变量X J每变化一个单位，对Y产生8 J个单位的影响）；2、多元线形回归模型的矩阵表示对多元总体回归模型，把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。于是：模型中解释变量的数目为（k+1）+ 8 x + + 8 x + u22iK Ki i矩阵表示：Y yY: =r 11.X
5、11X12X21X22Xk1 Xk2808+r U -1UYn _ 1X1nX2nX Xkn8k JU un iY = X8 + U样本回归函数（SRF）矩阵表示：Y = X8 + e其中即假设（X X0102X 0）=（1 1 1）r XXXX 一r 1XX.X -厂人 一18jr e 011121k11121k11XXXX1XXY Aa82e021222k2=1222k2，8 =，e =2XXXXX X1XXX A1- ke0n1n2nkn11n2nknn例：二元线性回归模型Y =8 +8 X +8i 01 1i2X, + 日i = 1，2,，n。矩阵表示为:X21X22X2np12P3p
6、1p2 3.2多元线性回归模型的估计一、模型的古典假定对总体回归模型：Y =P +P X +P X + +P X +pi = 1，2，ni 01 1i2 2iK Ki i或Y = Xp + U假设1，解释变量是非随机的或固定的。假设2,随机误差项具有零均值、同方差及不序列相关性。1.随机扰动项的均值为零：E (p i )= 0, i = 1，2，nE (U) = Er u 1u =r Eu 一Eu12 =o01unEun02、同方差和无自相关性COV(u , u ) = E(u - Eu )(u - Eu ) i ki i k kb 2,i = k=10, i。kVar(U)= E(U EU)
7、(U EU) = E(UU)f 1- E (u1) u - E(u )22(u - E(u ),1一u - E(u ),-E(u )E (u u)E(u u) 2 1E(u u)E(u u) 2 2 E (uu)E (u u)E(u u)E(u u) E(u u)n 2n n0b 2,0. 00 =b 2I n b 23、随机扰动项与解释变量不相关，即aQapcov（X , u ） = 0 j = 1,2,., k4、正态性：随机扰动项服从正态分布气 N（0,。2）假设3：无多重共线性，即假定各解释变量之间不存在线性关系注：多元线性回归模型才有无多重共线性的假定解释变量观测值矩阵X满秩的假定R
8、ank（X） = k，该式成立，X至少有K阶子行列式不为零，表明解释变量之间不存在线性相关关系。此时，方阵X，X也应是满秩的：Ran（X X）= k所以行列式|XX。0，（XX）-1存在假设5,样本容量趋于无穷时，各解释变量的方差趋于有界常数假设6,回归模型的设定是正确的。二、最小二乘估计Y = XP + eY = X&基本思想（原则）：寻找实际值与拟合值的离差平方和为最小的回归直线。多元线性回归模型的“残差平方和”为：Q = e2 =U (Y -Y)2 = (Y -P B X B X )2ii ii 011ik kii=1要使“残差平方和”达到最小，其充分条件是j = 2, . .，kdQ
9、8(Z e2) i三7ap 郎jjaQ = -2(Y -p -p X p X ) = 0api 01 1ik kir0丝=-2(Y -p -p X p X )X = 0api 01 1ik ki 1i1=-2(Y -p -p X p X )X = 0化简可得:r?e r 11.1 _e 0Z XeXX.Xe1=xe =0:八=:1112 :1n：2:Z XKe 一X:Xk1Xk2.XXknenki 011ik ki kiY = Xp + e有 八x y = x xp + x eX Y = X xp(X X)-1存在，用XX左乘方程两边，得参数(向量)P的最小二乘估计为:八一一p = (X X)
10、-1X Y三*、极大似然法(Maximum Likelihood Estimation)ML 估计设总体的概率密度的形式产(对)为已知，。为参数。总体Y的样本Y、Y、Y的联合概率密度为:冗f (y ;6)。12nii=1Y、Y、Y的联合概率密度 12nL = L(6 . y，y，y)=冗 f (y ;0)12nii=1称为似然函数。基本思想：在一次观察中一个事件出现了，则可认为此事件出现的可能性很大。极大 似然估计法所要选择的未知参数0的值，是使得实际获得的那个样本概率为最大。要使乙取最大值，。必须满足d=0或齐业=0多元线性回归模型Y = P+ P X +P X + +P X + u i =
11、 1，2,，n n 艮Y = Xp + Ui 122i 33iK Ki i其中：各Y相互独立，且u N (0q 21 ) n Y N (Xp q 21 )它的概率密度为:f (y )exp 2!i-,：2nb2b 2似然函数为：r n1(Y XP)(Y XP)L =兀 f (y ;0) =一expi(: 2兀)nb ni=1对数形式为：2b 2 Sc n、 （Y X。）（Y XP） lnL =尹2兀-lnb - 气b 2对P、b2求偏导数，令这些方程为零，得:d In Lap=-上2 X Y + 2 X XP = 0 2b 2址=-二 + 上UU = 0（其中：U = Y XP）3b 22b
12、2 2b 4经过整理，有：f )P2=(X X)-1X Y四、参数估计量的（统计）性质1、线性性：P （j = 1,2,.,k）是Y的线性组合jiPP12因为 P =(X X)-1XY的积4 一. 一所以P是（XX）-1X的第j行与Y的列向量jf 11fP11 :2、无偏性：E（P）=、ePe JP为Y的线性函数。j i=Pk一八一、一因为 & =(X X) -1 X Y=(XX)-iX (X& + p)=(XX)-1(XX) P+(XX)-1 XU= P+(x X)-i x UE (&) = Eb+(XX)-1 XjJ=E (&) + (XX)-1 XE (j)(E (j) = 0)=P3、方差最小(有效性)IcOv(0)= E(0- e( 3)( 3-m3)二%- 8)(3-),非主对角线元素这是一个(K+1) *(K+1)矩阵，其主对角线上元素即构成Var( 是相应的协方差，如下所示：f p - p_A-p0p 1-p100p
