文档详情

经典线性回归模型(设定与推断)

天****步
实名认证
店铺
DOCX
18KB
约5页
文档ID:291953543
经典线性回归模型(设定与推断)_第1页
1/5

本文格式为Word版,下载可任意编辑经典线性回归模型(设定与推断) 2 经典线性回归模型 §2.1 概念与记号 1.线性回归模型是用来描述一个特定变量y与其它一些变量x1,…,xp之间的关系 2.称特定变量y为因变量(dependent variable)、被解释变量(explained variable)、响应变量(response variable)、被预料变量(predicted variable)、回归子(regressand) 3.称与特定变量相关的其它一些变量x1,…,xp为自变量(independent variable)、解释变量(explanatory variable)、操纵变量(control variable)、预料变量(predictor variable)、回归量(regressor)、协变量(covariate) 4.假定我们观测到上述这些变量的n组值:?yi,xi1,?,xip? (i=1,…,n)称这n组值为样本(sample)或数据(data) §2.2 经典线性回归模型的假定 假定2.1(线性性(linearity)) yi??0??1xi1????pxip??i (i=1,…,n)。

(2.1) 称方程(2.1)为因变量y对自变量x1,…,xp的线性回归方程(linear regression equation),其中?k?k?0,1,?,p?是待估的未知参数(unknown parameters), 称自?i?i?1,?,n?是得志确定限制条件的无法观测的误差项(unobserved error term) 变量的函数?0??1xi1????pxip为回归函数(regression function)或简称为回归(regression)称?0为回归的截距(ntercept),称?k?k?1,?,p?为自变量的回归系数(regression coefficients)某个自变量的回归系数表示在其它条件保持不变的处境下, 这个自变量变化一个单位对因变量的影响程度,这个影响是在摈弃其它自变量的影响后,这个自变量对因变量的偏效应 下面引入线性回归方程的矩阵表示记 ?*???1,?,?p?T (自变量的回归系数向量) ????0,?1,?,?p?T (未知系数向量(unknown coefficient vector)) TTxi*??xi1,?,xip?,xi??1,xi1,?,xip?,(i=1,…,n),那么 yi?xiT???i (i=1,…,n)。

T ???1,?,1?T,~xj??x1j,?,xnj? (j=1,…,p), T?1x11?x1p??x1?????x1,?,~xp?, X=?????????????,~?1x?x??xT?np??n1?n??y1???1?????Y=???, ?????,那么 ?y?????n??n?Y?X??? 假定2.2(严特别生性(strictly exogeneity)) **E?i|x1,?,xn?E??i|x11,?,x1p,?,xn1,?,xnp?=0 (i=1,…,n) ??严特别生性的含义 ·误差项的无条件期望为零 E??i??0 (i=1,…,n) ·正交条件(orthogonality conditions) ?E?xt1?i????*Ext?i?????0 ( i =1,…,n ; t =1,…,n ) ?E?x???tpi????·不相关条件(zero-correlation conditions) cov??i,xtj??0 (对全体i,t,j)。

由以上严特别生性的含义可知,假设在时间序列数据中存在的滞后效应(lagged effect)和反应效应(feetback effect),那么严特别生性条件就不成立因而,在严特别生性假定下推出的性质就不能用于这类时间序列数据滞后效应是指自变量历史值对因变量当前值的影响,反应效应是指因变量当前值对自变量未来值的影响 假定2.3(无多重共线性(no multicollinearity)) n×(p+1)矩阵X的秩为(p+1)的概率为1 假定2.4(球面误差方差(spherical error variance)) **Var?|x1,?,xn??2In ??·条件同方差(conditional homoskedasticity) **E?i2|x1,?,xn??2?0 (i=1,…,n) (误差方差) ?? ·误差项不相关(no correlation between error term) **E?i?t|x1,?,xn?0 (对全体i≠t) ?? 在经典线性回归模型的四个假定中,假定2.1和假定2.3是必不成少的,但假定2.2和假定2.4中的严特别生性、条件同方差和误差项不相关以后可以适当放宽。

§2.3 随机样本的经典线性回归模型 若样本?yi,xi*T?(i=1,…,n)为IID,那么假定2.2和假定2.4可简化为 假定2.2: E??i|xi*??0 (i=1,…,n) 假定2.4:E??i2|xi*???2?0 (i=1,…,n) §2.4 确定性自变量的经典线性回归模型 若更进一步假定自变量x1,…,xp为确定性的变量,那么假定2.2和假定2.4可进一步简化为 假定2.2:E??i??0 (i=1,…,n) 假定2.4:Var?????2In §2.5 最小二乘估计量及其代数性质 虽然我们无法直接观测到误差项,但对未知系数向量β的一个假想值(hypothetical value)?~,轻易计算出 ~~~ yi??0??1xi1????pxip 称这个量为第i次观测的残差(residual),并且称使残差平方和(residual sum of squares) 2~~~~T~Q???yi??0??1xi1????pxip=Y?X?Y?X? ??~n??????i?1达成最小的假想值: ~b?argminQ? ~ ???为未知系数向量β的普遍最小二乘估计量(ordinary least squares estimators),简记为OLS估计量。

下面介绍OLS估计量的一些代数性质 ·一阶条件(first-order conditions) XT?Y?Xb??0 (正规方程(normal equations)) ·β的OLS估计量:在假定2.3成立时 b??XTX? 记 ?1n?1n?TT??1XY???xixi???xiyi? ?ni?1??ni?1??11n~xj??xij(j=1,…,p),X?~x1?x1?,?,~xp?xp?, ni?1??1n~y??yi,Y?Y?y?, ni?1那么?*的OLS估计为 b??b1,?,bp?*T~~?XTX???1~~XTY, ?0的OLS估计为 b0?y?b*Tx,其中x??x1,?,xn? T·估计量的抽样误差(sampling error):b????XTX?XT? ?1?i?xiTb ·第i次观测的拟合值(fitted value):y??Xb?X?XTX?XTY?HY ·拟合值向量(vector of fitted value):Y?1·投影矩阵(projection matrix):H?X?XTX?XT (对称幂等,秩为p+1,HX=X) ?i ·第i次观测的OLS残差(OLS residual):ei?yi?xiTb?yi?y?=(I-H)Y≡MY?M? ·残差向量(vector of OLS residuals):e=Y-Xb=Y?Y·零化子(annihilator):M=In – H (对称幂等,秩为n-p-1,MX=0) 1n·一阶条件:Xe?0,即 ?xiei?0 (E?xi?i??0) ni?1T??e ·OLS估计的几何意义:Y?Xb?e?Y Y ?TY??eTeYTY?Ye L(X) ?Y — 5 —。

下载提示
相似文档
正为您匹配相似的精品文档