《一元线性模型的参数估计分析》由会员分享，可在线阅读，更多相关《一元线性模型的参数估计分析（42页珍藏版）》请在金锄头文库上搜索。
1、2.3 2.3 一元线性回归模型的参数估计一元线性回归模型的参数估计(Estimation of Simple Linear Regression Model) 一、参数的普通最小二乘估计（一、参数的普通最小二乘估计（OLSOLS） 二、参数估计的最大或然法二、参数估计的最大或然法(ML)(ML)三、参数估计的矩法三、参数估计的矩法(MM)(MM) 四、最小二乘估计量的性质四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干五、参数估计量的概率分布及随机干 扰项方差的估计扰项方差的估计 如果线性方程组如果线性方程组的的系数行列式系数行列式D不等于零不等于零， 则方程组有唯一解则方程组有唯
2、一解 （1）CRAMMER法则解解CRAMMER法则应用所以所以 1、Crammer法则只能用于求解法则只能用于求解方程个数与未知数方程个数与未知数 个数相等个数相等的线性方程组；的线性方程组；2、Crammer法则只能求得法则只能求得系数行列式不为零系数行列式不为零时的时的 线性方程组的唯一解；线性方程组的唯一解； 即如果方程个数与未知数个数不相等，或系数即如果方程个数与未知数个数不相等，或系数 行列式等于零，则行列式等于零，则Crammer法则失效。法则失效。3、计算量大计算量大，要计算，要计算 n+1 个个 n 阶行列式的值。阶行列式的值。 CRAMMER法则应用局限一、参数的普通最小二
3、乘估计（一、参数的普通最小二乘估计（OLSOLS）1 1、最小二乘原理、最小二乘原理根据被解释变量的所有观测值与估计值之差的根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。平方和最小的原则求得参数估计量。 为什么取平方和？为什么取平方和？给定一组样本观测值（给定一组样本观测值（Xi, Yi）（）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值要求样本回归函数尽可能好地拟合这组值.方程组（*）称为正规方程组正规方程组（normal equations）。 2 2、正规方程组、正规方程组3 3、参数估计量、参数估计量记上述参数估计量可以写成： 称为OLS估计量的离差形
4、式离差形式（deviation form）。）。 由于参数的估计结果是通过最小二乘法得到的，故称为普通普通最小二乘估计量最小二乘估计量（ordinary least squares estimators）。 顺便指出 ，记则有 可得 （*）式也称为样本回归函数样本回归函数的离差形式离差形式。（*）注意：注意： 在计量经济学中，往往以小写字母表示对在计量经济学中，往往以小写字母表示对均值的离差。均值的离差。 4 4、“估计量估计量”（estimator）和）和“估计值估计值” ( (estimate) )的区别的区别 如果给出的参数估计结果是由一个具体样本资料如果给出的参数估计结果是由一个具体样
5、本资料计算出来的，它是一个计算出来的，它是一个“估计值估计值”，或者，或者“点估点估计计”，是参数估计量的一个具体数值；，是参数估计量的一个具体数值；如果把上式看成参数估计的一个表达式，那么，如果把上式看成参数估计的一个表达式，那么，则是则是Y Yi i的函数，而的函数，而Y Yi i是随机变量，所以参数估计也是随机变量，所以参数估计也是随机变量，在这个角度上，称之为是随机变量，在这个角度上，称之为“估计量估计量”。 5 5、例题（采用、例题（采用EviewsEviews进行进行OLSOLS估计）估计）数据数据OLS估计估计二、参数估计的最大似然法二、参数估计的最大似然法(ML)(ML)1 1
6、、最大似然法、最大似然法最大似然法最大似然法( (Maximum Likelihood,ML)，也称，也称最最大或然法大或然法，是不同于最小二乘法的另一种参数，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。其它估计方法的基础。基本原理：基本原理：当从模型总体随机抽取当从模型总体随机抽取n组样本观组样本观测值后，最合理的参数估计量应该使得从模型测值后，最合理的参数估计量应该使得从模型中抽取该中抽取该n组样本观测值的概率最大。组样本观测值的概率最大。ML必须已知随机项的分布。必须已知随机项的分布。2 2、估计步骤、
7、估计步骤Yi的分布Yi的概率函数 Y的所有样本观测值的联合概率似然函数 对数似然函数 对数似然函数极大化的一阶条件结构参数的ML估计量3 3、讨论、讨论在满足一系列基本假设的情况下，模型结构参在满足一系列基本假设的情况下，模型结构参数的数的最大似然估计量最大似然估计量与与普通最小二乘估计量普通最小二乘估计量是是相同的。相同的。但是，分布参数的估计结果不同。但是，分布参数的估计结果不同。4 4、例题、例题ML估计估计三、参数估计的矩法三、参数估计的矩法(MM)(MM)矩估计的基本原理矩估计的基本原理是用相应的样本矩来估计总体是用相应的样本矩来估计总体矩。矩。对一元线性回归模型，在满足基本假设时，
8、存在两个对一元线性回归模型，在满足基本假设时，存在两个总体矩条件。总体矩条件。相应的样本矩条件构成关于待估参数的正规方程组。相应的样本矩条件构成关于待估参数的正规方程组。求解该方程组，得到参数估计。求解该方程组，得到参数估计。参数估计与参数估计与OLS估计相同。估计相同。由基本假设，写出两个总体矩条件由基本假设，写出两个总体矩条件 相应的样本矩条件构成正规方程组相应的样本矩条件构成正规方程组MM估计估计 例例2.3.1：在上述家庭可支配收入可支配收入- -消费支出消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.3.1进行。表2.3.1 参数估计计算表 因此，由该样本估计的
9、回归方程为： 四、最小二乘估计量的性质四、最小二乘估计量的性质 当模型参数估计出后，需考虑参数估计值的当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方一个用于考察总体的估计量，可从如下几个方面考察其优劣性：面考察其优劣性： （1）线性性）线性性，即它是否是另一随机变量的线性即它是否是另一随机变量的线性函数；函数；1 1、概述、概述（2）无偏性）无偏性，即它的均值或期望值是否等于总体的真实值；即它的均值或期望值是否等于总体的真实值
10、；（3）有效性）有效性，即它是否在所有线性无偏估计量中具有最小方差。即它是否在所有线性无偏估计量中具有最小方差。（4）渐渐近近无无偏偏性性，即即样样本本容容量量趋趋于于无无穷穷大大时时，是是否它的均值序列趋于总体真值；否它的均值序列趋于总体真值；（5）一一致致性性，即即样样本本容容量量趋趋于于无无穷穷大大时时，它它是是否否依概率收敛于总体的真值；依概率收敛于总体的真值；（6）渐渐近近有有效效性性，即即样样本本容容量量趋趋于于无无穷穷大大时时，是是否它在所有的一致估计量中具有最小的渐近方差否它在所有的一致估计量中具有最小的渐近方差。 这三个准则也称作估计量的这三个准则也称作估计量的小样本性质。小
11、样本性质。 拥有这类性质的估计量称为拥有这类性质的估计量称为最佳线性无偏估计最佳线性无偏估计量量（best liner unbiased estimator, BLUE）。）。 当不满足小样本性质时，需进一步考察估计量的当不满足小样本性质时，需进一步考察估计量的大样本大样本或或渐近性质渐近性质：2、高斯、高斯马尔可夫定理马尔可夫定理(Gauss-Markov theorem)在给定经典线性回归的假定下，最小二乘估计在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。量是具有最小方差的线性无偏估计量。下面分别对最小二乘估计量的线性性、无偏性下面分别对最小二乘估计量的线性性、
12、无偏性和有效性进行证明，作为不熟悉的同学的自学和有效性进行证明，作为不熟悉的同学的自学内容。内容。证：证：易知故同样地，容易得出 （2）证明最小方差性其中，ci=ki+di，di为不全为零的常数则容易证明由于最小二乘估计量拥有一个由于最小二乘估计量拥有一个“好好”的估计量所应的估计量所应具备的小样本特性，它自然也拥有大样本特性具备的小样本特性，它自然也拥有大样本特性。 五、参数估计量的概率分布及随机干五、参数估计量的概率分布及随机干扰项方差的估计扰项方差的估计1 1、参数估计量的概率分布、参数估计量的概率分布 2 2、随机干扰项、随机干扰项 的方差的方差 2 2的估计的估计 2又称为又称为总体方差总体方差。 由于随机项由于随机项 i i不可观测，只能从不可观测，只能从 i i的估计的估计残残差差ei i出发，对总体方差进行估计。出发，对总体方差进行估计。 可以证明可以证明，2的最小二乘估计量最小二乘估计量为：它是关于它是关于 2的无偏估计量。的无偏估计量。 在在最大或然估计法最大或然估计法中，求解似然方程：中，求解似然方程： 2 2的的最最大大或或然然估估计计量量不不具具无无偏偏性性，但但却却具具有有一一致性致性。 估计参数的方差和标准差估计参数的方差和标准差的样本方差 和标准差的样本方差 和标准差
