《计量经济学（第四版）2.3 一元线性模型的参数估计》由会员分享，可在线阅读，更多相关《计量经济学（第四版）2.3 一元线性模型的参数估计（31页珍藏版）》请在金锄头文库上搜索。
1、2.3 一元线性回归模型的参数估计 (Estimation of Simple Linear Regression Model) 一、参数的普通最小二乘估计（OLS） 二、参数估计的最大或然法(ML) 三、参数估计的矩法(MM) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干扰项方差的估计 一、参数的普通最小二乘估计（OLS）1、最小二乘原理 根据被解释变量的所有观测值与估计值之差的 平方和最小的原则求得参数估计量。 为什么取平方和？2、正规方程组 该关于参数估计量的线性方程组称为正规方程 组（normal equations）。3、参数估计量 求解正规方程组得到结构参数的普通最小
2、二乘 估计量（ordinary least squares estimators ）及其离差形式：4、“估计量”（estimator）和“估计值” (estimate)的区别 如果给出的参数估计结果是由一个具体样本资料 计算出来的，它是一个“估计值”，或者“点估计” ，是参数估计量的一个具体数值； 如果把上式看成参数估计的一个表达式，那么， 则是Yi的函数，而Yi是随机变量，所以参数估计也 是随机变量，在这个角度上，称之为“估计量”。 5、例题（采用Eviews进行OLS估计） 数据 OLS估计二、参数估计的最大似然法(ML)1、最大似然法 最大似然法(Maximum Likelihood,M
3、L)，也 称最大或然法，是不同于最小二乘法的另一种 参数估计方法，是从最大或然原理出发发展起 来的其它估计方法的基础。 基本原理：当从模型总体随机抽取n组样本观 测值后，最合理的参数估计量应该使得从模型 中抽取该n组样本观测值的概率最大。 ML必须已知随机项的分布。2、估计步骤Yi的分布Yi的概率函数 Y的所有样 本观测值的 联合概率 似然函数 对数似然 函数 对数似然函 数极大化的 一阶条件结构参数的 ML估计量3、讨论 在满足一系列基本假设的情况下，模型结构参 数的最大似然估计量与普通最小二乘估计量是 相同的。 但是，分布参数的估计结果不同。4、例题 ML估计三、参数估计的矩法(MM) 矩
4、估计的基本原理是用相应的样本矩来估计总体 矩。 对一元线性回归模型，在满足基本假设时，存在两个 总体矩条件。 相应的样本矩条件构成关于待估参数的正规方程组。 求解该方程组，得到参数估计。 参数估计与OLS估计相同。 由基本假设，写出两个总体矩条件 相应的样本矩条件构成正规方程组 MM估计四、最小二乘估计量的性质1、概述 当模型参数估计出后，需考虑参数估计值的精 度，即是否能代表总体参数的真值，或者说需 考察参数估计量的统计性质。 准则： 线性性(linear)，即它是否是另一随机变量的线性 函数； 无偏性(unbiased)，即它的均值或期望值是否等于 总体的真实值； 有效性(efficien
5、t)，即它是否在所有线性无偏估计 量中具有最小方差。 这三个准则也称作估计量的小样本性质。拥有 这类性质的估计量称为最佳线性无偏估计量（ best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量 的大样本或渐近性质(asymptotic properties)： 渐近无偏性，即样本容量趋于无穷大时，是否它的 均值序列趋于总体真值； 一致性，即样本容量趋于无穷大时，它是否依概率 收敛于总体的真值； 渐近有效性，即样本容量趋于无穷大时，是否它在 所有的一致估计量中具有最小的渐近方差。2、高斯马尔可夫定理(Gauss-Markov theo
6、rem) 在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。 下面分别对最小二乘估计量的线性性、无偏性 和有效性进行证明，作为不熟悉的同学的自学 内容。证 ： 易知故同样地，容易得出 （2）证明最小方差性其中，ci=ki+di，di为不全为零的常数则容易证明由于最小二乘估计量拥有一个“好”的估计量所应具 备的小样本特性，它自然也拥有大样本特性。 五、参数估计量的概率分布及随机干 扰项方差的估计1、参数估计量的概率分布 2、随机干扰项的方差2的估计 2又称为总体方差。 由于随机项i不可观测，只能从i的估计残 差ei出发，对总体方差进行估计。 可以证明，2的最小二乘估计量为：它是关于2的无偏估计量。 在最大或然估计法中，求解似然方程： 2的最大或然估计量不具无偏性，但却具有 一致性。
