《计量经济学(第四版)2.3 一元线性模型的参数估计》由会员分享,可在线阅读,更多相关《计量经济学(第四版)2.3 一元线性模型的参数估计(31页珍藏版)》请在金锄头文库上搜索。
1、2.3 一元线性回归模型的参数估计 (Estimation of Simple Linear Regression Model) 一、参数的普通最小二乘估计(OLS) 二、参数估计的最大或然法(ML) 三、参数估计的矩法(MM) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干扰项方差的估计 一、参数的普通最小二乘估计(OLS)1、最小二乘原理 根据被解释变量的所有观测值与估计值之差的 平方和最小的原则求得参数估计量。 为什么取平方和?2、正规方程组 该关于参数估计量的线性方程组称为正规方程 组(normal equations)。3、参数估计量 求解正规方程组得到结构参数的普通最小
2、二乘 估计量(ordinary least squares estimators )及其离差形式:4、“估计量”(estimator)和“估计值” (estimate)的区别 如果给出的参数估计结果是由一个具体样本资料 计算出来的,它是一个“估计值”,或者“点估计” ,是参数估计量的一个具体数值; 如果把上式看成参数估计的一个表达式,那么, 则是Yi的函数,而Yi是随机变量,所以参数估计也 是随机变量,在这个角度上,称之为“估计量”。 5、例题(采用Eviews进行OLS估计) 数据 OLS估计二、参数估计的最大似然法(ML)1、最大似然法 最大似然法(Maximum Likelihood,M
3、L),也 称最大或然法,是不同于最小二乘法的另一种 参数估计方法,是从最大或然原理出发发展起 来的其它估计方法的基础。 基本原理:当从模型总体随机抽取n组样本观 测值后,最合理的参数估计量应该使得从模型 中抽取该n组样本观测值的概率最大。 ML必须已知随机项的分布。2、估计步骤Yi的分布Yi的概率函数 Y的所有样 本观测值的 联合概率 似然函数 对数似然 函数 对数似然函 数极大化的 一阶条件结构参数的 ML估计量3、讨论 在满足一系列基本假设的情况下,模型结构参 数的最大似然估计量与普通最小二乘估计量是 相同的。 但是,分布参数的估计结果不同。4、例题 ML估计三、参数估计的矩法(MM) 矩
4、估计的基本原理是用相应的样本矩来估计总体 矩。 对一元线性回归模型,在满足基本假设时,存在两个 总体矩条件。 相应的样本矩条件构成关于待估参数的正规方程组。 求解该方程组,得到参数估计。 参数估计与OLS估计相同。 由基本假设,写出两个总体矩条件 相应的样本矩条件构成正规方程组 MM估计四、最小二乘估计量的性质1、概述 当模型参数估计出后,需考虑参数估计值的精 度,即是否能代表总体参数的真值,或者说需 考察参数估计量的统计性质。 准则: 线性性(linear),即它是否是另一随机变量的线性 函数; 无偏性(unbiased),即它的均值或期望值是否等于 总体的真实值; 有效性(efficien
5、t),即它是否在所有线性无偏估计 量中具有最小方差。 这三个准则也称作估计量的小样本性质。拥有 这类性质的估计量称为最佳线性无偏估计量( best liner unbiased estimator, BLUE)。 当不满足小样本性质时,需进一步考察估计量 的大样本或渐近性质(asymptotic properties): 渐近无偏性,即样本容量趋于无穷大时,是否它的 均值序列趋于总体真值; 一致性,即样本容量趋于无穷大时,它是否依概率 收敛于总体的真值; 渐近有效性,即样本容量趋于无穷大时,是否它在 所有的一致估计量中具有最小的渐近方差。2、高斯马尔可夫定理(Gauss-Markov theo
6、rem) 在给定经典线性回归的假定下,最小二乘估计 量是具有最小方差的线性无偏估计量。 下面分别对最小二乘估计量的线性性、无偏性 和有效性进行证明,作为不熟悉的同学的自学 内容。证 : 易知故同样地,容易得出 (2)证明最小方差性其中,ci=ki+di,di为不全为零的常数则容易证明由于最小二乘估计量拥有一个“好”的估计量所应具 备的小样本特性,它自然也拥有大样本特性。 五、参数估计量的概率分布及随机干 扰项方差的估计1、参数估计量的概率分布 2、随机干扰项的方差2的估计 2又称为总体方差。 由于随机项i不可观测,只能从i的估计残 差ei出发,对总体方差进行估计。 可以证明,2的最小二乘估计量为:它是关于2的无偏估计量。 在最大或然估计法中,求解似然方程: 2的最大或然估计量不具无偏性,但却具有 一致性。