《经典线性回归模型的设定与推断》由会员分享，可在线阅读，更多相关《经典线性回归模型的设定与推断（12页珍藏版）》请在金锄头文库上搜索。
1、.2 经典线性回归模型2.1 概念与记号1线性回归模型是用来描述一个特定变量y与其它一些变量x1,xp之间的关系。2称特定变量y为因变量dependent variable、被解释变量explained variable、响应变量response variable、被预测变量predicted variable、回归子regressand。3称与特定变量相关的其它一些变量x1,xp为自变量independent variable、解释变量explanatory variable、控制变量control variable、预测变量predictor variable、回归量regressor、协
2、变量covariate。4假定我们观测到上述这些变量的n组值： 。称这n组值为样本sample或数据data。2.2 经典线性回归模型的假定假定2.1线性性 。 2.1称方程2.1为因变量y对自变量x1,xp的线性回归方程linear regression equation,其中是待估的未知参数unknown parameters,是满足一定限制条件的无法观测的误差项unobserved errorterm。称自变量的函数为回归函数regression function或简称为回归regression。称为回归的截距,称为自变量的回归系数regression coefficients。某个自变
3、量的回归系数表示在其它条件保持不变的情况下,这个自变量变化一个单位对因变量的影响程度,这个影响是在排除其它自变量的影响后,这个自变量对因变量的偏效应。下面引入线性回归方程的矩阵表示。记未知系数向量unknown coefficient vector,则 。又记X=,Y=,则假定2.2严格外生性=0 。严格外生性的含义误差项的无条件期望为零 。正交条件orthogonality conditions。不相关条件zero-correlation conditions。由以上严格外生性的含义可知,如果在时间序列数据中存在的滞后效应lagged effect和反馈效应feetback effect,那
4、么严格外生性条件就不成立。因而,在严格外生性假定下推出的性质就不能用于这类时间序列数据。滞后效应是指自变量历史值对因变量当前值的影响,反馈效应是指因变量当前值对自变量未来值的影响。假定2.3无多重共线性 n矩阵X的秩为的概率为1。假定2.4球面误差方差条件同方差conditionalhomoskedasticity。 误差方差误差项不相关 在经典线性回归模型的四个假定中,假定2.1和假定2.3是必不可少的,但假定2.2和假定2.4中的严格外生性、条件同方差和误差项不相关以后可以适当放宽。2.3 随机样本的经典线性回归模型若样本为IID,那么假定2.2和假定2.4可简化为假定2.2: 假定2.4
5、： 2.4 确定性自变量的经典线性回归模型若更进一步假定自变量x1,xp为确定性的变量,那么假定2.2和假定2.4可进一步简化为假定2.2： 假定2.4：2.5 最小二乘估计量及其代数性质虽然我们无法直接观测到误差项,但对未知系数向量的一个假想值hypothetical value,容易计算出称这个量为第i次观测的残差residual,并且称使残差平方和residual sum of squares=达到最小的假想值：为未知系数向量的普通最小二乘估计量ordinary least squares estimators,简记为OLS估计量。下面介绍OLS估计量的一些代数性质。一阶条件first-
6、order conditions正规方程normal equations的OLS估计量：在假定2.3成立时估计量的抽样误差sampling error：第i次观测的拟合值fittedvalue：拟合值向量vector offittedvalue：投影矩阵projection matrix：对称幂等,秩为p+1,HX=X第i次观测的OLS残差OLS residual：残差向量vector of OLS residuals：e=Y-Xb=YMY零化子annihilator：M=InH 对称幂等,秩为n-p-1,MX=0一阶条件：,即 OLS估计的几何意义：Ye L残差平方和residualssum
7、 of squaresRSS=, 2的OLS估计量残差均方,residual mean square回归方程标准误standard error of the regression 平方和分解公式当回归方程包含常数项时,可以证明称这个等式为平方和分解公式。记称为总平方和,其自由度为n-1称为回归平方和,其自由度为p则平方和分解公式又可写成： ,=p+。 平方和分解公式将总平方和分解为回归平方和与残差平方和两部分。总平方和表示样本中因变量的总变异,回归平方和表示总变异中能够解释的部分,因此又称为解释平方和,回归平方和是由样本中自变量的变异产生的,回归平方和可表示回归的效应。残差平方和表示总变异中不
8、能解释的部分,残差平方和是由不可观测的误差的波动产生的。决定系数coefficient of determination, R square,当回归方程包含常数项时,由平方和分解公式有。当回归方程不包含常数项时,平方和分解公式不再成立,且有可能会出现,即,从而使R2变成负数。因此决定系数只能用于包含常数项的回归。由平方和分解公式可知,因变量的变异由解释变量的变异和误差的变异两部分组成。决定系数R2度量了由解释变量变异回归函数决定的因变量变异的比例。或者说决定系数R2度量了解释变量回归函数能够解释的因变量变异的比例。复相关系数对只有一个自变量的一元线性回归,R2就是y与x的样本相关系数的平方,复
9、相关系数就是y与x的样本相关系数的绝对值,即,且自变量的回归系数和y与x的样本相关系数之间的关系为修正决定系数由假定2.1、假定2.2和假定2.4有,因此理论上,由自变量变异决定的因变量变异的比例称为理论决定系数为理论决定系数分别用和来估计和,得修正决定系数由决定系数R2的含义可知,决定系数R2越大,回归方程对样本拟合的越好。可以证明回归方程中包含的解释变量越多,残差平方和就越小,从而决定系数R2就越大。但在样本容量不变的情况下,回归方程中包含的解释变量越多,对未知系数向量的估计就越不精确,因此并不是回归方程中包含的解释变量越多越好。而修正决定系数综合考虑了解释变量个数和对样本拟合的程度这两方
10、面的因素。非中心化R2Uncentered R2,显然,非中心化R2的含义是解释变量的变异能够解释的因变量的变异的比例。在回归方程不包含常数项时,可用非中心化R2代替决定系数R2。2.6 最小二估计量的有限样本性质无偏性unbiasedness：在假定2.1假定2.3下条件方差阵表达式expression for the variance：在假定2.1假定2.4下,Gauss-Markov定理：在假定2.1假定2.4下,OLS估计量b是有效的线性无偏估计量。即对于任意的Y的线性函数构成的无偏估计量,都有2 的OLS估计量的无偏性：在假定2.1假定2.4下cov=0Var它是OLS估计量b的条件
11、方差阵的条件无偏估计量OLS估计的标准误standard errorSE=为探讨OLS估计量b的精确抽样分布,我们还需对回归方程误差项的分布作出假定,经典线性回归模型假定误差项是正态的。假定2.5误差项的正态性正态分布观测向量Y的分布：在假定2.1假定2.5下残差向量的分布：在假定2.1假定2.5下估计量的抽样分布：在假定2.1假定2.5下的置信区间显著性检验的统计量检验线性约束R与r为已知,#r矩阵R是满行秩的的F统计量F=Wald检验统计量 似然比检验统计量其中,RSSU=RSS表示无约束最小二乘估计的残差平方和,RSSR表示在线性约束下最小二乘估计的残差平方和,即RSSR回归方程显著性检
12、验对的检验的F统计量其中,称为回归均方最大似然估计maximun likelihood estimators,ML估计实际上,我们还能证明：在假定2.1假定2.5下,系数向量的OLS估计量也是ML估计量,而的ML估计量则为最大对数似然函数值是回归函数的估计和因变量的预测如果线性拟合模型经过检验是显著的,那么我们就可用它来做估计回归函数和预测因变量。对给定自变量的一组新的观测值,估计对应的回归函数值和预测对应的因变量值。显然回归函数的估计值和的预测值均为估计值的抽样误差和预测值的预测误差分别为在假定2.1假定2.5下,抽样误差和预测误差的分布分别为可进一步证明由此得到回归函数的区间估计和因变量的区间预测分别为特别在只有一个自变量的情况下,回归函数的区间估计和因变量的区间预测分别为2.7 R中有关线性回的函数 下面通过一个例子来说明R中与线性回归相关的函数。例 根据经验,在人的身高相等的情况下,血压的收缩压Y与体重x1和年龄x2有关。现收集13个男子的数据,试建立Y关于x1和x2的线性回归方程。 blood-data.frame X1=c, X2=c, Y= c120, 141, 124, 126, 117, 125, 123, 125, 132, 123, 132,
