一元线性回归参数估计

《一元线性回归参数估计》由会员分享，可在线阅读，更多相关《一元线性回归参数估计（29页珍藏版）》请在金锄头文库上搜索。

1、v一、一元线性回归模型的基本假设一、一元线性回归模型的基本假设 v二、参数的普通最小二乘估计（二、参数的普通最小二乘估计（OLSOLS） v三、参数估计的最大或然法三、参数估计的最大或然法(ML) (ML) v四、最小二乘估计量的性质四、最小二乘估计量的性质 v五、参数估计量的概率分布及随机干五、参数估计量的概率分布及随机干v 扰项方差的估计扰项方差的估计 2.2 2.2 一元线性回归模型的参数估计一元线性回归模型的参数估计 单方程计量经济学模型分为两大类： 线性模型和非线性模型线性模型中，变量之间的关系呈线性关系非线性模型中，变量之间的关系呈非线性关系 一元线性回归模型一元线性回归模型：只有

2、一个解释变量 i=1,2,nY Y为被解释变量，X X为解释变量， 0 0 0 0与 1 1为待估待估参数参数， 为随机干扰项随机干扰项 回归分析的主要目的回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。 估计方法估计方法有多种，其种最广泛使用的是普通普通最小二乘法最小二乘法（ordinary least squares, OLS）。 为保证参数估计量具有良好的性质，通常对为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。模型提出若干基本假设。 注：实际这些假设与所采用的估计方法紧密相关。 一、线性回归模型的基本假设一、线性回归模型的基

3、本假设 假设1、解释变量X X是确定性变量，不是随机变量； 假设2、随机误差项 具有零均值、同方差和不序列相关性： E(i)=0 i=1,2, ,n Var (i)=2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假设3、随机误差项与解释变量X之间不相关： Cov(Xi, i)=0 i=1,2, ,n 假设4、服从零均值、同方差、零协方差的正态分布 iN(0, 2 ) i=1,2, ,n 1、如果假设1、2满足，则假设3也满足; 2、如果假设4满足，则假设2也满足。注意：注意： 以上假设也称为线性回归模型的经典假设经典假设或高斯（高斯（Gauss）假设假设，满足

4、该假设的线性回归模型，也称为经典线性回归模型经典线性回归模型（Classical Linear Regression Model, CLRM）。 另外另外，在进行模型回归时，还有两个暗含的假设： 假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一有限常数。即 假设6：回归模型是正确设定的 假设5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的伪回归问题伪回归问题（spurious regression problem）。 假设6也被称为模型没有设定偏误设定偏误（specification error）二、参数的普通最

5、小二乘估计（二、参数的普通最小二乘估计（OLSOLS） 给定一组样本观测值（X Xi i, Y, Yi i）（）（）（）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值. 普通最小二乘法普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和最小。方程组（*）称为正规方程组正规方程组（normal equations）。 记上述参数估计量可以写成： 称为OLS估计量的离差形式离差形式（deviation form）。）。 由于参数的估计结果是通过最小二乘法得到的，故称为普通普通最小二乘估计量最小二乘估计量（ordinary least s

6、quares estimators）。 顺便指出 ，记则有 可得 （*）式也称为样本回归函数样本回归函数的离差形式离差形式。（*）注意：注意： 在计量经济学中，往往以小写字母表示对均值的离差。 三、参数估计的最大或然法三、参数估计的最大或然法(ML) 最大或然法最大或然法( (Maximum Likelihood,简称ML)，也称最大似然法最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。 基本原理基本原理： 对于最大或然法最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。在满

7、足基本假设条件下，对一元线性回归模型： 随机抽取n组样本观测值（Xi, Yi）（i=1,2,n）。 那么Yi服从如下的正态分布：于是，Y的概率密度函数为（i=1,2,n） 假如模型的参数估计量已经求得，为因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数或然函数(likelihood function)(likelihood function)为： 将该或然函数极大化，即可求得到模型参数的极大或然估计量。 由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：解得模型的参数估计量为： 可见，在满足一系列基本假设的情况下，模型结构参数的最最大大或或然然估

8、估计计量量与普普通通最最小小二乘估计量二乘估计量是相同的。 例例2.2.1：在上述家庭可支配收入可支配收入- -消费支出消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.2.1进行。 因此，由该样本估计的回归方程为： 四、最小二乘估计量的性质四、最小二乘估计量的性质 当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 一个用于考察总体的估计量，可从如下几个方面考察其优劣性： （1）线性性）线性性，即它是否是另一随机变量的线性函数； （2）无偏性）无偏性，即它的均值或期望值是否等于总体的真实值； （3）有效性）有效性，即

9、它是否在所有线性无偏估计量中具有最小方差。（4）渐渐近近无无偏偏性性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；（5）一一致致性性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；（6）渐渐近近有有效效性性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。 这三个准则也称作估计量的小样本性质。小样本性质。 拥有这类性质的估计量称为最佳线性无偏估计最佳线性无偏估计量量（best liner unbiased estimator, BLUE）。 当不满足小样本性质时，需进一步考察估计量的大样本大样本或或渐近性质渐近性质：高斯高斯马尔可夫定理马尔可夫定理(Ga

10、uss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。证：证：易知故同样地，容易得出 （2）证明最小方差性其中，ci=ki+di，di为不全为零的常数则容易证明 普通最小二乘估计量普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量最佳线性无偏估计量（best linear unbiased estimator, BLUE） 由于最小二乘估计量拥有一个由于最小二乘估计量拥有一个“好好”的估计量的估计量所应具备的小样本特性，它自然也拥有大样本特性所应具备的小样本特性，它自然也拥有大样本特性。 五、参数估计量的概率分布及随机干扰五、参数估计量的概率分布及随机干扰项方差的估计项方差的估计 2、随机误差项、随机误差项 的方差的方差 2 2的估计的估计 由于随机项 i不可观测，只能从 i的估计残差ei i出发，对总体方差进行估计。 2又称为总体方差总体方差。 可以证明可以证明，2的最小二乘估计量最小二乘估计量为它是关于2的无偏估计量。 在最大或然估计法最大或然估计法中， 因此， 2 2的的最最大大或或然然估估计计量量不不具具无无偏偏性性，但却具有一致性但却具有一致性。