《第二章 一元线性回归分析S培训讲学》由会员分享,可在线阅读,更多相关《第二章 一元线性回归分析S培训讲学(88页珍藏版)》请在金锄头文库上搜索。
1、单方程计量经济学模型理论与方法,Theory and Methodology of Single-Equation Econometric Model,第二章 经典单方程计量经济学模型:一元线性回归模型,回归分析概述 一元线性回归模型的参数估计 一元线性回归模型检验 一元线性回归模型预测 实例,2.1 回归分析概述,一、变量间的关系及回归分析的基本概念,二、总体回归函数,三、随机扰动项,四、样本回归函数(SRF),对变量间统计依赖关系的考察主要是通过相关分析(correlation analysis)或回归分析(regression analysis)来完成的:,例如: 函数关系:,统计依赖关
2、系/统计相关关系:,不线性相关并不意味着不相关; 有相关关系并不意味着一定有因果关系; 回归分析/相关分析研究一个变量对另一个(些)变量的统计依赖关系,但它们并不意味着一定有因果关系。 相关分析对称地对待任何(两个)变量,两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性,即区分应变量(被解释变量)和自变量(解释变量):前者是随机变量,后者不是。,注意:,回归分析(regression analysis)是研究一个变量关于另一个(些)变量的具体依赖关系的计算方法和理论。 其用意:在于通过后者的已知或设定值,去估计和(或)预测前者的(总体)均值。 这里:前一个变量被称为被解释变量(E
3、xplained Variable)或应变量(Dependent Variable),后一个(些)变量被称为解释变量(Explanatory Variable)或自变量(Independent Variable)。,2、回归分析的基本概念,回归分析构成计量经济学的方法论基础,其主要内容包括: (1)根据样本观察值对经济计量模型参数进行估计,求得回归方程; (2)对回归方程、参数估计值进行显著性检验; (3)利用回归方程进行分析、评价及预测。,由于变量间关系的随机性,回归分析关心的是根据解释变量的已知或给定值,考察被解释变量的总体均值,即当解释变量取某个确定值时,与之统计相关的被解释变量所有可能
4、出现的对应值的平均值。,例2.1:一个假想的社区有100户家庭组成,要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。 即如果知道了家庭的月收入,能否预测该社区家庭的平均月消费支出水平。,二、总体回归函数,为达到此目的,将该100户家庭划分为组内收入差不多的10组,以分析每一收入组的家庭消费支出。,(1)由于不确定因素的影响,对同一收入水平X,不同家庭的消费支出不完全相同; (2)但由于调查的完备性,给定收入水平X的消费支出Y的分布是确定的,即以X的给定值为条件的Y的条件分布(Conditional distribution)是已知的, 如: P(Y=561|X=800)=1/4。,
5、因此,给定收入X的值Xi,可得消费支出Y的条件均值(conditional mean)或条件期望(conditional expectation): E(Y|X=Xi),该例中:E(Y | X=800)=561,分析:,描出散点图发现:随着收入的增加,消费“平均地说”也在增加,且Y的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线。,概念:,在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为总体回归线(population regression line),或更一般地称为总体回归曲线(population regression curve)。,称为(双变量)总体回归函数(popula
6、tion regression function, PRF)。,相应的函数:,回归函数(PRF)说明被解释变量Y的平均状态(总体条件期望)随解释变量X变化的规律。,含义:,函数形式: 可以是线性或非线性的。,例2.1中,将居民消费支出看成是其可支配收入的线性函数时:,为一线性函数。其中,0,1是未知参数,称为回归系数(regression coefficients)。 。,三、随机扰动项,总体回归函数说明在给定的收入水平Xi下,该社区家庭平均的消费支出水平。 但对某一个别的家庭,其消费支出可能与该平均水平有偏差。,称i为观察值Yi围绕它的期望值E(Y|Xi)的离差(deviation),是一个
7、不可观测的随机变量,又称为随机干扰项(stochastic disturbance)或随机误差项(stochastic error)。,记,例2.1中,个别家庭的消费支出为:,(*)式称为总体回归函数(方程)PRF的随机设定形式。表明被解释变量除了受解释变量的系统性影响外,还受其他因素的随机性影响。,(1)该收入水平下所有家庭的平均消费支出E(Y|Xi),称为系统性(systematic)或确定性(deterministic)部分。 (2)其他随机或非确定性(nonsystematic)部分i。,即,给定收入水平Xi ,个别家庭的支出可表示为两部分之和:,(*),由于方程中引入了随机项,成为计
8、量经济学模型,因此也称为总体回归模型。,随机误差项主要包括下列因素的影响:,1)在解释变量中被忽略的因素的影响; 2)变量观测值的观测误差的影响; 3)模型关系的设定误差的影响; 4)其它随机因素的影响。,产生并设计随机误差项的主要原因: 1)理论的含糊性; 2)数据的欠缺; 3)节省原则。,四、样本回归函数(SRF),问题:能从一次抽样中获得总体的近似的信息吗?如果可以,如何从抽样中获得总体的近似信息?,问:能否从该样本估计总体回归函数PRF?,回答:能,例2.2:在例2.1的总体中有如下一个样本,,总体的信息往往无法掌握,现实的情况只能是在一次观测中得到总体的一个样本。,核样本的散点图(s
9、catter diagram):,样本散点图近似于一条直线,画一条直线以尽好地拟合该散点图,由于样本取自总体,可以该线近似地代表总体回归线。该线称为样本回归线(sample regression lines)。,记样本回归线的函数形式为:,称为样本回归函数(sample regression function,SRF)。,这里将样本回归线看成总体回归线的近似替代,则,注意:,样本回归函数的随机形式/样本回归模型:,同样地,样本回归函数也有如下的随机形式:,由于方程中引入了随机项,成为计量经济模型,因此也称为样本回归模型(sample regression model)。,回归分析的主要目的:根
10、据样本回归函数SRF,估计总体回归函数PRF。,注意:这里PRF可能永远无法知道。,即,根据,估计,2.2 一元线性回归模型的参数估计,一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计(OLS) 三、参数估计的最大或然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干 扰项方差的估计,单方程计量经济学模型分为两大类: 线性模型和非线性模型,线性模型中,变量之间的关系呈线性关系 非线性模型中,变量之间的关系呈非线性关系,一元线性回归模型:只有一个解释变量,i=1,2,n,Y为被解释变量,X为解释变量,0与1为待估参数, 为随机干扰项,回归分析的主要目的是要通过样本回
11、归函数(模型)SRF尽可能准确地估计总体回归函数(模型)PRF。,估计方法有多种,其种最广泛使用的是普通最小二乘法(ordinary least squares, OLS)。,为保证参数估计量具有良好的性质,通常对模型提出若干基本假设。,注:实际这些假设与所采用的估计方法紧密相关。,一、线性回归模型的基本假设,假设1、解释变量X是确定性变量,不是随机变量; 假设2、随机误差项具有零均值、同方差和不序列相关性: E(i)=0 i=1,2, ,n Var (i)=2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假设3、随机误差项与解释变量X之间不相关: Cov(Xi
12、, i)=0 i=1,2, ,n 假设4、服从零均值、同方差、零协方差的正态分布 iN(0, 2 ) i=1,2, ,n,1、如果假设1、2满足,则假设3也满足; 2、如果假设4满足,则假设2也满足。,注意:,以上假设也称为线性回归模型的经典假设或高斯(Gauss)假设,满足该假设的线性回归模型,也称为经典线性回归模型(Classical Linear Regression Model, CLRM)。,另外,在进行模型回归时,还有两个暗含的假设:,假设5:随着样本容量的无限增加,解释变量X的样本方差趋于一有限常数。即,假设6:回归模型是正确设定的,假设5旨在排除时间序列数据出现持续上升或下降的
13、变量作为解释变量,因为这类数据不仅使大样本统计推断变得无效,而且往往产生所谓的伪回归问题(spurious regression problem)。 假设6也被称为模型没有设定偏误(specification error),二、参数的普通最小二乘估计(OLS),给定一组样本观测值(Xi, Yi)(i=1,2,n)要求样本回归函数尽可能好地拟合这组值. 普通最小二乘法(Ordinary least squares, OLS)给出的判断标准是:二者之差的平方和,最小。,方程组(*)称为正规方程组(normal equations)。,记,上述参数估计量可以写成:,称为OLS估计量的离差形式(dev
14、iation form)。 由于参数的估计结果是通过最小二乘法得到的,故称为普通最小二乘估计量(ordinary least squares estimators)。,顺便指出 ,记,则有,可得,(*)式也称为样本回归函数的离差形式。,(*),注意: 在计量经济学中,往往以小写字母表示对均值的离差。,三、参数估计的最大或然法(ML),最大或然法(Maximum Likelihood,简称ML),也称最大似然法,是不同于最小二乘法的另一种参数估计方法,是从最大或然原理出发发展起来的其它估计方法的基础。 基本原理: 对于最大或然法,当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从
15、模型中抽取该n组样本观测值的概率最大。,在满足基本假设条件下,对一元线性回归模型:,随机抽取n组样本观测值(Xi, Yi)(i=1,2,n)。,那么Yi服从如下的正态分布:,于是,Y的概率函数为,(i=1,2,n),假如模型的参数估计量已经求得,为,因为Yi是相互独立的,所以的所有样本观测值的联合概率,也即或然函数(likelihood function)为:,将该或然函数极大化,即可求得到模型参数的极大或然估计量。,由于或然函数的极大化与或然函数的对数的极大化是等价的,所以,取对数或然函数如下:,解得模型的参数估计量为:,可见,在满足一系列基本假设的情况下,模型结构参数的最大或然估计量与普通
16、最小二乘估计量是相同的。,例2.2.1:在上述家庭可支配收入-消费支出例中,对于所抽出的一组样本数,参数估计的计算可通过下面的表2.2.1进行。,因此,由该样本估计的回归方程为:,四、最小二乘估计量的性质,当模型参数估计出后,需考虑参数估计值的精度,即是否能代表总体参数的真值,或者说需考察参数估计量的统计性质。,一个用于考察总体的估计量,可从如下几个方面考察其优劣性: (1)线性性,即它是否是另一随机变量的线性函数; (2)无偏性,即它的均值或期望值是否等于总体的真实值; (3)有效性,即它是否在所有线性无偏估计量中具有最小方差。,(4)渐近无偏性,即样本容量趋于无穷大时,是否它的均值序列趋于总体真值; (5)一致性,即样本容量趋于无穷大时,它是否依概率收敛于总体的真值; (6)渐近有效性,即样本容量趋于无穷大时,是否它在所有的一致估计量中具有最小的渐近方差。,这三个准则也称作估计量的小样本性质。 拥有这类性质的估计量称为最佳线性无偏估计量(b