《第2章多元线性回归》由会员分享，可在线阅读，更多相关《第2章多元线性回归（100页珍藏版）》请在金锄头文库上搜索。
1、第2章、多元线性回归1、假定1. 线性yn1=XnKbK1+en1XnK = x1 x2 xK，其中x1等是n维列向量，x1是全1列向量。又可以记为y=x1b1+ +xKbK+e对数线性模型: , 可以转化为2. 满秩(full rank) Rank(X) = K(可以推出nK)例子: 非劳动收入薪水收入, rank（X）3，3. 正态性和独立性合起来，表示为_由条件分布计算无条件分布。，可以得到 , (方差分解公式: var(Y) = varXE(Y|X)+ EXvar (Y|X) ) _2、最小二乘回归,称为扰动项(disturbance), 称为残差项(residual)。普通最小二乘回
2、归(Ordinary Least squares regression, 简称OLS)等价于使得取最小值的系数向量记为一阶条件为： 。推出 （若满秩）二阶条件： 是正定矩阵_证明：因为 , 除非, 其中. 但是, 如果, 则, 即X线性组合等于0, 这与满秩矛盾. 证明结束。_，log(x)= c(1)+c(2)*log(l1)+c(3)*log(k1)Dependent Variable: LOG(X)Method: Least SquaresDate: 07/27/04 Time: 14:51Sample: 1929 1967Included observations: 39LOG(X)=
3、 C(1)+C(2)*LOG(L1)+C(3)*LOG(K1)CoefficientStd. Errort-StatisticProb. C(1)-3.9377140.236999-16.614880.0000C(2)1.4507860.08322817.431370.0000C(3)0.3838080.0480187.9930350.0000R-squared0.994627 Mean dependent var5.687449Adjusted R-squared0.994329 S.D. dependent var0.460959S.E. of regression0.034714 Aka
4、ike info criterion-3.809542Sum squared resid0.043382 Schwarz criterion-3.681576Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0.858080 Prob(F-statistic)0.0000003、最小二乘估计的统计性质再次回忆如下恒等式：,称为扰动项(disturbance), 称为残差项(residual). 1. b的分布_以上给出了b的条件分布，下面给出b的无条件分布_2. OLS的代数性质, 称为扰动项(disturbance), 称
5、为残差项(residual). (1) 证明：(2) 证明： (3) ，M是对称矩阵和幂等矩阵。容易证明：, (4) ， 证明：(5) , 称为投影矩阵(6) (7) 3. 的估计所以还可以证明：是的一个无偏估计. _详细证明：下面证明是的一个无偏估计. （注意）, 注意到是11矩阵, 下面计算M的迹即可_Eviews中S.E. of regression，即回归的标准误差（standard error of the regression），就是。Eviews中系数bk的标准误差（Std.Error），为，log(x)= c(1)+c(2)*log(l1)+c(3)*log(k1)Depend
6、ent Variable: LOG(X)Method: Least SquaresDate: 07/27/04 Time: 14:51Sample: 1929 1967Included observations: 39LOG(X)= C(1)+C(2)*LOG(L1)+C(3)*LOG(K1)CoefficientStd. Errort-StatisticProb. C(1)-3.9377140.236999-16.614880.0000C(2)1.4507860.08322817.431370.0000C(3)0.3838080.0480187.9930350.0000R-squared0.
7、994627 Mean dependent var5.687449Adjusted R-squared0.994329 S.D. dependent var0.460959S.E. of regression0.034714 Akaike info criterion-3.809542Sum squared resid0.043382 Schwarz criterion-3.681576Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0.858080 Prob(F-statistic)0.000000问题：如下两列是什么关
8、系？S.E. of regressionSum squared residS.E. of regression：sSum squared resid：ee而，即Sum squared resid=(S.E. of regression)2(n-K)4、统计检验1、回归系数的显著性检验：t检验因为,所以,但是未知. 但是可以证明，且两者独立，那么有如下定理。定理：证明：根据, , 分子, 分母为, 从而, . _详细证明：step1，, ，step2【引理：如果, 是幂等矩阵, 秩()J, 则】推论：证明：由引理知, . 因为所以是对称矩阵, . 由是幂等矩阵, 特征根或1, . 故, . st
9、ep3step4下面证明与独立. 因为, 故只须证, . 事实上, _通常检验是否显著不为0，那么原假设为则定义统计量：定理：如果为真, 那么. 方法1： a/2 -ta/2(n-K) ta/2(n-K)直观上，若太大，则拒绝H0。令Pr（拒绝|为真）=Pr().即犯第类错误第类错误是取伪，即Pr（接受|不为真）（弃真）的概率为 若，则拒绝H0，在显著水平下不为0，也就是xk作为解释变量是统计显著的（significant）。 若，则不能拒绝H0（注意：这与接受H0是有差别的）习题：t统计量如何计算？以下三列什么关系？CoefficientStd. Errort-Statistic-3.937
10、7140.236999-16.614881.4507860.08322817.431370.3838080.0480187.993035方法2：（无需查表） Prob.=2*Pr(t|t|) |t| 计算大于的概率，即，其中中的t是tstasticsProb. 若Prob.0.05，则不能拒绝H0，log(x)= c(1)+c(2)*log(l1)+c(3)*log(k1)Dependent Variable: LOG(X)Method: Least SquaresDate: 07/27/04 Time: 14:51Sample: 1929 1967Included observations: 39LOG(X)= C(1
