回归模型的参数估计

《回归模型的参数估计》由会员分享，可在线阅读，更多相关《回归模型的参数估计（57页珍藏版）》请在金锄头文库上搜索。

1、第二节 回归模型的参数估计 一、最小二乘估计（Ordinary Least Square OLS）对回归模型: y abxii及给定一组样本观测值（Xi, Yi）（i=1,2,n）要求 样本回归函数尽可能好地拟合这组值.所选择的回归直线应该使所有观察值的残差平方和 达到最小: 是关于 的二次函数并且非负，所以存在最小值 。利用微分学中求极值的方法，可以求得 的值 。根据容易推得：此方程组称为正规方程组 （normal equations） 。 解正规方程组可得： 其中， 由于上式是根据（普通）最小二乘法得到的，所 以称， 为参数的最小二乘估计，简记成OLS估 计。利用样本数据建立的回归直线称为

2、样本回归方程经济计量学软件Eviews简介Eviews是Econometrics Views的缩写，直译为计量经济 学观察，俗称计量经济学软件包。Eviews是美国QMS公司研制的在Window下专门从事 数据分析、回归分析和预测的工具。应用范围包括：科学试验数据分析与评估、金融分析 、宏观经济预测、仿真、销售预测和成本分析。Eviews处理的基本数据对象是时间序列，每个序列忧 一个名称，只要提及序列的名称究可以对序列中所有 观测值进行操作。EViews具有操作简便、可视化的优良性。可用鼠标对菜 单和对话框进行操作。还有强大的命令功能和批处理语 言功能。利用EViews软件建立一元线性回归模型

3、 。 （1）建立工作文件： 启动EViews软件之后，在主菜单上依次点击 FileNewWorkfile，将弹出一个对话框，由用户选择 数据的时间频率（frequency）、起始期和终止期。 其中: Annual年度Monthly月度Semi-annual半年Weekly周Quarterly季度Daily日Undated or irregular非时序数据例1(p24)税收预测模型选择时间频率为Annual（年度数据），再分别点击 起始期栏和终止期栏，输入相应的日期。然后点击 OK，将在EViews软件的主显示窗口显示相应的工作 文件窗口。在EViews软件的命令窗口中直接键入CREATE命令

4、 ，也可以建立工作文件；命令格式为：CREATE 时间频率类型 起始期 终止期将显示一个数组窗口，此时可以按全屏幕编辑方式输 入每个变量的统计资料；（2）输入统计资料：在EViews软件的命令窗口键入数据输入/编辑命令：DATA YX（3）估计回归模型参数： 在数组窗口中点击ProcsMake Equation。在EViews软件的命令窗口中，也可以直接键入LS命 令来估计模型。 命令格式为：LS 被解释变量 C解释变量其中，C表示常数项。 例1. 我国税收预测模型。表2-3列出了我国1985 1998年期间税收收入Y和国内生产总值 X的统计资料（时 间序列数据），试利用EViews软件建立一

5、元线性回归模型 。 表2-3 我国税收与GDP统计资料 单位：亿元 年份税收YGDP年份税收YGDP 1985204189641992329726638 19862091102021993425534634 19872140119631994512746759 19882391149281995603858478 19892727169091996691067885 19902822185481997823474463 19912990216181998926379396（1）建立工作文件： 先启动EViews软件（单击“开始”按钮“程序” “Eviews 3” 单击“Eviews 3.1”)

6、 ,出现Eviews软 件窗口,如下图所示:在主菜单上依次点击FileNewWorkfile，将弹出一个 对话框（如图2-3所示），由用户选择数据的时间频率 （frequency）、起始期和终止期。 标题栏菜单栏控制按钮命令窗口显示主窗口信息栏路径状态栏图 2-3 工作文件对话框 选择时间频率为Annual（年度数据），再分别点 击起始期栏和终止期栏，输入相应的年度85和98 。然后点击OK，将在EViews软件的主显示窗口显 示相应的工作文件窗口。 时间频率年度 半年 季度月度周日非时序数据起始期终止期在EViews软件的命令窗口中直接键入CREATE命令，也可以建立工作 文件；命令格式为：

7、 CREATE时间频率类型起始期终止期 例如：CREATE A 85 98 （2）输入统计资料： 在EViews软件的命令 窗口键入数据输入/编 辑命令：DATA Y X将显示一个数组窗口 （如图2-4所示），此时 可以按全屏幕编辑方式 输入每个变量的统计资 料.图2-4 数组窗口 （3）估计回归模型： 在数组窗口中点击 ProcsMake Equation， 则打开一个方程描述窗 口，如果不需要重新定 义方程中的变量，或调 整样本区间，则直接点 击OK进行估计。系统 将弹出一个方程窗口， 显示有关估计结果 （如右图所示）： 因此，我国税收模型的估计式为： 模型的估计结果表明，国内生产总值每增

8、加1亿元，我国税收将增 加0.0946亿元。 常数和解 释变量参数标 准差T统计 量值双侧 概率 判定系数 调整的判定系数 回归方程的标准差残差平方和 似然函数的对数德宾-瓦森统计量被解释变量均值 被解释变量标准差赤池信息准则施瓦兹信息准则F统计量 F统计量的概率参数估 计值在EViews软件的命令窗口中，也可以直接键 入LS命令来估计模型。命令格式为：LS 被解释变量 C 解释变量 其中，C表示常数项；例如： LS Y C X 例2中国城镇居民消费函数。表2-5列出了我国 城镇居民家庭1998年平均每人全年消费性支出Y 和可支配收入X的统计资料（横截面数据，单位 ：元/年），试利用EView

9、s软件，通过在命令窗 口中直接键入命令的方式建立城镇居民消费函数 。表2-5我国城镇居民家庭1998年收支情况 启动EViews软件之后，在命令窗口中依次键入以下命令： （1）建立工作文件：CREATE U 8 （2）输入统计资料：DATA Y X收入等级人均消费支出Y人均可支配收入X 困难户2214.472198.88 最低收入户2397.62476.75 低收入户2979.273303.17 中等偏下户3503.244107.26 中等收入户4179.645118.99 中等偏上户4980.886370.59 高收入户6003.217877.69 最高收入户7593.9510962.16经

10、济计量学软件Eviews简介Eviews是Econometrics Views的缩写，直译为计量经济 学观察，俗称计量经济学软件包。Eviews是美国QMS公司研制的在Window下专门从事 数据分析、回归分析和预测的工具。应用范围包括：科学试验数据分析与评估、金融分析 、宏观经济预测、仿真、销售预测和成本分析。Eviews处理的基本数据对象是时间序列，每个序列忧 一个名称，只要提及序列的名称究可以对序列中所有 观测值进行操作。EViews具有操作简便、可视化的优良性。可用鼠标对菜 单和对话框进行操作。还有强大的命令功能和批处理语 言功能。利用EViews软件建立一元线性回归模型 。 （1）建

11、立工作文件： 启动EViews软件之后，在主菜单上依次点击 FileNewWorkfile，将弹出一个对话框，由用户选择 数据的时间频率（frequency）、起始期和终止期。 其中: Annual年度Monthly月度Semi-annual半年Weekly周Quarterly季度Daily日Undated or irregular非时序数据例1(p24)税收预测模型选择时间频率为Annual（年度数据），再分别点击 起始期栏和终止期栏，输入相应的日期。然后点击 OK，将在EViews软件的主显示窗口显示相应的工作 文件窗口。在EViews软件的命令窗口中直接键入CREATE命令 ，也可以建立

12、工作文件；命令格式为：CREATE 时间频率类型 起始期 终止期将显示一个数组窗口，此时可以按全屏幕编辑方式输 入每个变量的统计资料；（2）输入统计资料：在EViews软件的命令窗口键入数据输入/编辑命令：DATA YX（3）估计回归模型参数： 在数组窗口中点击ProcsMake Equation。在EViews软件的命令窗口中，也可以直接键入LS命 令来估计模型。 命令格式为：LS 被解释变量 C解释变量其中，C表示常数项。 注: 也可以利用建立回归模型!其步骤为：建立工作表在菜单“工具”栏中选“数据分析”在子菜单“数据分析”选“回归”设定样本区域和结果显示位置等。 例2中国城镇居民消费函数

13、(P27)一、练习题：1、如何理解OLS估计。 2、如何利用OLS法估计多元线性回归模型参数，写出 推导过程。3、下次上机练习本节例题1、2、3。熟悉和掌握 Eviews软件的使用。四、 最小二乘估计的性质 1、参数估计量的评价标准 数理统计学证明，一个优良估计量必须同时具有无偏性 、有效性和一致性。 （1）无偏性：设 是参数的估计量，如果E( )= ，则称 是的无偏估计。无偏性保证了参数估计值是 在参数真实值（简称参数真值）的左右波动，并且“平 均位置”就是参数的真值 。 （2）有效性（最小方差性）：设 , 均为参数的无偏 估计量，若D( )D( )，则称 比 有效；如果 在的所有无偏估计量

14、中， D( )最小，则称 为有 效估计量。有效性衡量了参数估计值与参数真值平均离 散程度大小。（3）一致性：这是估计量的一个大样本性质，如果随着 样本容量的增加，估计量 越来越接近于真值，则称 为的一致估计。严格地说， 是依概率收敛于,即：其中为一个任意小的正数。2、高斯马尔可夫定理 在古典回归模型的若干假定成立的情况下，最小二乘估 计是所有线性无偏估计量中的有效估计量。这就是著名的高斯马尔可夫定理，它表明：最小二 乘估计与用其它方法得到的任何线性无偏估计量相比，具 有方差最小的特性。所以称称OLSOLS估计为估计为“最佳线性无偏估最佳线性无偏估 计量计量”（Best Linear Unbia

15、sed Estimator BLUE） ，这也是最小二乘估计被广泛使用的原因之一。由于最小二乘估计量拥有一个“好”的估计量所应具备 的小样本特性，它自然也拥有大样本特性。 比如:可以证明 分别为 的一致估计! 即:现仅就一元线性回归模型给出高斯马尔可夫定理的证 明。 （1）线性所谓线性是指参数估计量是 的线性函数。根据一元 线性回归模型的最小二乘估计式（2-1）式可以得出： 其中： 所以， 是一个线性估计量，同理可得 也是一个线 性估计量。 （2）无偏性 由 的定义容易证得： 从而有： 则: （最后一步使用了基本假定E(i)= 0和E(xii)= 0 ） 所以得到:同理可得: （3）有效性（最小方差性） 先推导 的方差： （使用了i与j互不相关假定） （使用了同方差假定） 设 是b的另一个线性无偏估计量，由于 则应有而且所以 （注意yi也是互不相关的） （D(yi)= D(i)=2 ） 而且等号只有当时ci=ki才能成立；也就是说，对于b的 任意一个线性无偏估计量，其方差均大于最小二乘估计的 方差。同理可以证得 的有效性。 从定理的证明过程可以看出，“OLS估计是最佳估 计量”这个结论是有一些前提条件的，只有在古典 回归模型的若干假定成立的情况下，OLS估计才具 有无偏性、有效性等优良的统计性质。 三 . 系数的估计误差