《双变量回归模型估计问题》由会员分享，可在线阅读，更多相关《双变量回归模型估计问题（32页珍藏版）》请在金锄头文库上搜索。
1、第三讲：双变量回归模型：估计问题主要内容：n普通最小二乘法n高斯-马尔可夫定理n拟合优度 普通最小二乘法回归分析的主要目的回归分析的主要目的：根据样本回归函数，估计总体回归函数 。两组随机样本X800110014001700200023002600290032003500Y561638913140814081716196922442552262963884710451144136415511749210121782321 样样本本回回归归线线如如何何确确定定如何去估计样本回归线？n估计的方法：普通最小二乘法(OLS) 简单方便 参数估计量在一定的假设下具有其他方法所没有的良好统计性质 给定一组
2、样本观测值如何使 尽可能好地拟合这组值.即我们希望样我们希望样本回归模型的估本回归模型的估计值计值 尽可能地尽可能地靠近观测值靠近观测值 。为达到此目的，我们选择使残差平方和 （3-1）尽可能地小，其中 是残差的平方换句话说，我们期望能确定出 、 ，使得残差平方和最小n即求出 、 ，使 成立根据微积分知识， （3-2） （3-3） （3-4） （3-5） 解得： （3-6） （3-7）假定4：n解释变量的样本有变异 在样本中，解释变量 的取值不为相同的常数。 有意义或有解 n写成离差形式： （3-8） （3-9） 上面得到的估计量上面得到的估计量 , , 是从最小二乘原是从最小二乘原理演算而得
3、的。因此，称其为理演算而得的。因此，称其为最小二乘估计量。最小二乘估计量。最小二乘估计量。最小二乘估计量。估计量的数值性质n数值性质：指运用最小二乘估计法而成立的那些性质，而不管数据如何产生。（1）（2）（3） ，3.2 高斯-马尔可夫定理最小二乘估计量有何优良的统计性质呢？假定5：同方差性 n高斯高斯-马尔可夫定理：马尔可夫定理： 在假定1假定5下，OLS估计量是最优线性无偏估计量（BLUE）。 它是线性的 它是无偏的 它是有效估计量n（1）线性性 令 ，则有 这说明 是 的一个线性函数，它是以 为权的一个加权平均数，从而它是一个线性估计量。同理， 也是一个线性估计量。 n（2）无偏性 就是
4、说，虽然由不同的样本得到的就是说，虽然由不同的样本得到的 ， 可能大于或小于它们的真实值可能大于或小于它们的真实值 ， ，但平均，但平均起来等于它们的真实值起来等于它们的真实值 ， 。因为 ，所以n（3）有效估计量：具有最小方差 估计量的精度（可靠性）： （2）证明最小方差性其中， 为不全为零的常数则容易证明 普通最小二乘估计量普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量最佳线性无偏估计量（best linear unbiased estimator, BLUE） 3.3 拟合优度n？样本回归直线对数据拟合得有多好呢 样本在多大
5、程度上能够解释被解释变量的变异程度 判定系数 -拟合优度度量 计算R2的步骤如下据样本回归模型可得：（3-10）（3-11）两式相减，可得（3-12）总平方和（TSS）解释平方和（ESS）残差平方和（RSS）n对（对（3-12）两边取平方两边取平方求和求和(3-13)式式(3-13)(3-13)可表示为可表示为TSS=ESS+RSS （3-143-143-143-14） 这说明 的观测值围绕其均值的总变异可分解为两部分，一部分来自回归线，而另一部分则来自扰动项 。= =总离差总离差= =来自回归来自回归= =来自残差来自残差用TSS除式（3-14）的两边，得（3-15） 定义R2为：（3-16
6、3-16） 上述定义的 称为判定系数，它是对回归线拟合优度的度量。就是说， 测度了在 的总变异中由回归模型解释的那个部分所占的比例或百分比。 据判定系数的定义可知： 。等于1的R2意味着一个完美的拟合，即对每个 都有 。另一方面，等于0的R2意味着被解释变量与解释变量之间无任何关系（即 ），这时， ，就是说，对任一Y值的最优预测值都是它的均值，从而回归线平行于X 轴。 与R2关系紧密但概念上与R2差异较大的一个参数是相关系数，它测度了两个变量之间的关联度。也可据R 的定义计算 （3-173-173-173-17） 从定义可以看出从定义可以看出 。在回归分析中，。在回归分析中，R R2 2是是一个比一个比R R 更有意义的度量，因为更有意义的度量，因为R R2 2告诉我们在被解释告诉我们在被解释变量的变异中，由解释变量解释的部分占怎样一个比变量的变异中，由解释变量解释的部分占怎样一个比例，因而对一个变量的变异在多大程度上决定另一个例，因而对一个变量的变异在多大程度上决定另一个变量的变异，提供了一个总的度量，而变量的变异，提供了一个总的度量，而R R 则没有这种则没有这种作用。作用。 Thanks !
