《一元线性回归的最小二乘估计幻灯片课件》由会员分享，可在线阅读，更多相关《一元线性回归的最小二乘估计幻灯片课件（22页珍藏版）》请在金锄头文库上搜索。
1、我们的任务是， 在给定X和Y的一组观测值 (X1, Y1), (X2, Y2) , ., (Xn, Yn) 的情况下, 如何求出 Yt = + Xt + ut 中 和 的估计值,使得拟合的直线为最佳。 一元线性回归的最小二乘估计 直观上看，也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线，如下图所示。 * * * * * et * * * * * * * * * * * * YXXt 图 2 YtYt 拟合的直线 称为拟合的回归线. 对于任何数据点 (Xt, Yt), 此直线将Yt 的总值 分成两部分。 第一部分是Yt的拟合值或预测值 ： , t=1,2,n 第二部分，et 代表观
2、测点对于回归线的误差，称为拟合或预测的残差 （residuals）： t=1,2,n 即 t=1,2,n残差 最小二乘法就是选择一条直线，使其残差平方和达到最小值的方法。即选择 和 ，使得达到最小值。 运用微积分知识，使上式达到最小值的必要条件为： 即整理，得：此二式称为正规方程。解此二方程，得：.其中：离差样本均值估计量（5）式和（6）式给出了OLS法计算 和 的公式， 和 称为线性回归模型 Yt = + Xt + ut 的参数 和 的普通最小二乘估计量 (OLS estimators）。 这两个公式可用于任意一组观测值数据，以求出截距和斜率的OLS估计值（estimates)，估计值是从一
3、组具体观测值用公式计算出的数值。 一般说来，好的估计量所产生的估计值将相当接近参数的真值，即好的估计值。可以证明，对于CLR模型，普通最小二乘估计量正是这样一个好估计量。3 例子 例1 对于第一段中的消费函数，若根据数据得到： n = 10 , =23, =20 则有因而例2 设Y和X的5期观测值如下表所示，试估计方程 Yt = + Xt + ut 序号 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我们采用列表法计算。计算过程如下：序号YtXtyt= Yt -xt=Xt-xt ytxt211410-8-2016040021820-4-1040
4、100323301000425403103010053050820160400n=5110150003901000表31Eviews创建工作文件，输入数据并进行回归：Create u 1 5data x yls y c x 对于满足统计假设条件(1)-(4)的线性回归模型 Yt = + Xt + ut , ，普通最小二乘估计量 ( OLS估计量) 是最佳线性无偏估计量（BLUE）。或 对于古典线性回归模型（CLR模型）Yt=+Xt ，普通最小二乘估计量（OLS估计量）是最佳线性无偏估计量（BLUE）。3. 高斯-马尔柯夫定理（Gauss-Markov Theorem）我们已在前面证明了无偏性，此外，由于： 由上段结果， =其中 这表明， 是诸样本观测值Yt（t=1,2,n）的线性函数,故 是线性估计量。 剩下的就是最佳性了，即 的方差小于等于的其他任何线性无偏估计量的方差，我们可以证明这一点，但由于时间关系，从略。有兴趣的同学请参见教科书（P46-47）我们在前面列出的假设条件（5）表明， ut N( 0, 2 ) , t= 1, 2, .,n 即各期扰动项服从均值为0、方差为2的正态分布。考虑到假设条件（4），即Xt为非随机量，则由前面结果： =其中，4. 和 的分布 这表明， 是N个正态分布变量u1，u2，,un的线性函数，因而亦为正态分布变量，即 类似的有：
