《经典线性回归模型》由会员分享，可在线阅读，更多相关《经典线性回归模型（17页珍藏版）》请在金锄头文库上搜索。
1、2 经典经典线性回归模型线性回归模型 2.1 概念与记号概念与记号 1线性回归模型是用来描述一个特定变量y与其它一些变量与其它一些变量x1，xp p之间的关系之间的关系。 2 称特定变量y为因变量 因变量 （dependent variable） 、 ） 、 被解释变量 被解释变量 （explained variable） 、 ） 、 响应变量响应变量（response variable）、）、被预测变量被预测变量（predicted variable）、）、回归子 回归子 （regressand）。 3称与特定变量相关的其它一些变量x1，xp为自变量自变量（independent varia
2、ble） 、 ） 、 解释变量解释变量（explanatory variable）、）、控制变量（控制变量（control variable）、）、预测变量 预测变量 （predictor variable）、）、回归量回归量（regressor）、）、协变量（协变量（covariate）。）。 4假定我们观测到上述这些变量的n组值：( ) ip i i x x y , , , 1 L (i=1，n)。称 称 这这n组值为样本样本（sample）或或数据数据（data）。 2.2 经典线性回归模型的假定 经典线性回归模型的假定 假定假定 2.1（线性线性性性(linearity)） i ip
3、p i i x x y + + + + = L 1 1 0 (i=1，n)。 。 （2.1） 称方程（2.1）为因变量y对自变量x1，xp的线性回归方程线性回归方程（linear regression equation），其中 ( ) p ， k k , , 1 0 L = 是待估的未知未知参数参数（unknown parameters）， ( ) n i i , , 1 L = 是满足一定限制条件的无法观测的无法观测的误差项误差项（unobserved error term） ） 。称自 变量的函数 ip p i x x + + + L 1 1 0 为回归函数（regression func
4、tion）或简称为回归回归 （regression）。称 0 为回归的截距截距(ntercept)，称 ( ) p k k , , 1 L = 为自变量的回归系数回归系数 （regression coefficients） 。某个自变量的回归系数表示在其它条件保持不变的情况下，这个自变量变化一个单位对因变量的影响程度， 这个影响是在排除其它自变量的影 响后，这个自变量对因变量的偏效应。 下面引入线性回归方程的矩阵表示。记 ( ) T p , , , 1 0 L = （未知系数向量（unknown coefficient vector） ( ) T ip i i x x x , , 1 L =
5、， ( ) T ip i i x x x , , , 1 1 L = ，则 i T i i x y + = (i=1，n)。 又记 X= np p n x x x x M L L L M M 1 1 11 1 1 ， Y= n y y M 1 ， = n M 1 ，则 + = X Y 假定假定2.2（严格外生性（严格外生性(strictly exogeneity)） ( ) ( ) np n p i n i x x x x E x x E , , , , , , | , , | 1 1 11 1 L L L L = =0 (i=1，n)。 。 严格外生性的含义 严格外生性的含义 误差项的无条件
6、期望为零误差项的无条件期望为零 ( ) 0 = i E (i=1，n)。 。 正交条件正交条件（orthogonality conditions） ( ) ( ) ( ) 0 1 = = i jp i j i j x E x E x E M (i=1，n j=1，n )。 。 不相关条件不相关条件（zerocorrelation conditions） ( ) 0 , cov = jk i x (对所有i，j，k)。 由以上严格外生性的含义可知，如果在时间序列数据中存在的滞后效应滞后效应 （lagged effect）和反馈效应反馈效应（feetback effect） ，那么严格外生性条件就
7、不成立。因而，在在严格外生性假定下推出的性质就不能用于这类时间序列数据。滞后效应是指 自变量历史值对因变量当前值的影响， 反馈效应是指因变量当前值对自变量未来值 的影响。 假定假定2.3（无多重共线性（无多重共线性(no multicollinearity)） ） n n(p+1)(p+1)矩阵X的秩为(p+1)(p+1)的概率为1。 假定假定2.4（球面误差方差（球面误差方差(spherical error variance)） ( ) n n I x x Var 2 1 , , | = L 条件同方差条件同方差（conditional homoskedasticity） ( ) 0 , ,
8、 | 2 1 2 = n i x x E L (i=1，n)。 。 （误差方差（误差方差） ） 误差项误差项不相关不相关(no correlation betweenerror term) ( ) 0 , , | 1 = n j i x x E L (对所有ij) 在经典线性回归模型的四个假定中，假定2.1和假定2.3是必不可少的，但假定 2.2和假定2.4中的严格外生性、条件同方差和误差项不相关以后可以适当放宽。 2.3 随机样本的经典线性回归模型随机样本的经典线性回归模型 若样本( ) T i i x y , (i=1，n)为IID，那么假定2.2和假定2.4可简化为 假定假定2.2: (
9、 ) 0 | = i i x E (i=1，n) 假定假定2.4： ( ) 0 | 2 2 = i i x E (i=1，n) 2.4 确定性自变量的经典线性回归模型确定性自变量的经典线性回归模型 若更进一步假定自变量x1，xp为确定性的变量，那么假定2.2和假定2.4可 进一步简化为 假定假定2.2： ( ) 0 = i E (i=1，n)假定假定2.4： ( ) n I Var 2 = 2.5 最小二乘估计量及其代数性质最小二乘估计量及其代数性质 虽然我们无法直接观测到误差项， 但对未知系数向量的一个假想值假想值 （hypothetical value） ，容易计算出 ip p i i x
10、 x y 1 1 0 L 称这个量为第i次观测的残差残差（residual） ，并且称使残差残差平方和平方和（residual sum of squares） ( ) ( ) = = n i ip p i i x x y Q 1 2 1 1 0 L =( ) ( ) X Y X Y T 达到最小的假想值： 为未知系数向量的普通最小二乘估计量普通最小二乘估计量（ordinary least squares estimators），简记 为OLS估计量估计量。下面介绍OLS估计量的一些代数性质。 一阶条件一阶条件（firstorder conditions） ( ) 0 = Xb Y X T （正
11、规方程正规方程（normal equations） 的的OLS估计量估计量：在假定2.3成立时 ( ) = = = = n i i i n i T i i T T y x n x x n Y X X X b 1 1 1 1 1 1 估计量的抽样误差估计量的抽样误差（sampling error）： ( ) T T X X X b 1 = 第i次观测的拟合值拟合值（fitted value）： b x y T i i = 拟合值向量拟合值向量（vector of fitted value）： ( ) HY Y X X X X Xb Y T T = = 1 投影矩阵投影矩阵（projection
12、matrix）： ( ) T T X X X X H （对称幂等，秩为p+1，HX=X） 第i次观测的OLS残差残差（OLS residual）： i i T i i i y y b x y e = = ( ) min arg Q b =残差向量残差向量（vector of OLS residuals）：e=YXb= Y Y =(IH)YMY M = 零化子零化子（annihilator）：M=In H （对称幂等，秩为np1，MX=0） 一阶条件一阶条件： 0 = e X T ，即 0 1 1 = = n i i i e x n （ ( ) 0 = i i x E ） OLS估计的几何意义估
13、计的几何意义： e Y e Xb Y + = + = L(X) 残差平方和残差平方和（residuals sum of squares） RSS= M MY Y e e T T T = = ，(其自由度为np1) 2 的的OLS估计量估计量 RMS p n RSS s = 1 2 （残（残差差均方均方，residual mean square） ） 回归（回归（方程方程）标准误）标准误（standard error of the regression (equation)） 1 = p n RSS s (残差标准误残差标准误，residual standard error) 平方和分解公式平方
14、和分解公式 当回归方程包含常数项时，可以证明 称这个等式为平方和分解公式平方和分解公式。记 Y e Y e e Y Y Y Y T T T + = ( ) ( ) = = = + = ni i ni i n i i e y y y y 1 2 1 2 1 2 ( ) Y n I Y y y SST T T ni i = = 1 1 2 （称为总平方和总平方和，其自由度为n1） (其中， ( ) T 1 , , 1L = 表示每个元素均为1的n维向量) ( ) RSS SST y y SS ni i reg = =1 2 （称为回归平方和，回归平方和，其自由度为p） 则平方和分解公式又可写成： ，(n1)=p+(np1)。 平方和分解公式将总平方和分解为回归平方和与残差平方和两部分。 总平方和 表示样本中因变量的总变异，回归平方和表示总变异中能够解释的部分，因此又称 为解释平方和解释平方和，回归平方和是由样本中自变量的变异产生的，回归平方和可表示回 归的效应。残差平方和表示总变异中不能解释的部分，残差平方和是由不可观测的 误差的波动产生的。 决定系数决定系数（coeffici
