《高级计量经济学多元线性回归模型》由会员分享，可在线阅读，更多相关《高级计量经济学多元线性回归模型（84页珍藏版）》请在金锄头文库上搜索。
1、第二章 线性回归模型,(Linear regression equations),本章内容,古典线性回归(Ordinary Linear Squares) 模型估计方法和统计检验 其他模型估计方法 最大似然法（Maximum Likelihood） 广义矩法（Generalized Method of Moments） 模型设定与设定误差 虚拟变量的使用 建立多元回归模型时应注意的问题,古典回归模型,当回归模型满足古典假定时，我们称其为古典回归模型。 一元回归模型Yi = 0 + 1Xi +ei 多元回归模型Yi = 0 + 1X1i + 2X2i + . . .+ KXKi +ei,古典多元
2、回归模型的可以表示为： 一般形式：Y = 0 + 1X1 + 2X2 + . . .+ KXK +e 离差形式：y = 1x1 + 2x2 + . . .+ KxK +e 矩阵形式：Y = X +e 在矩阵形式中，Xi是矩阵X 中的一列，常数项被看作是一个取值恒为0的变量。 需要注意的是，在计量经济学中，“线性”指的是估计参数可以表达为样本观察值和误差项的线性函数，并不要求回归方程中变量之间的关系为线性的。 例：CD函数对该函数两边取对数得到：LnY=0+1LnX1+2LnX2+u即： Y*=0+1X1*+2X2*+u比较：,假定1：参数线性函数,5,不同数学函数的性质,假定2：矩阵X是满秩的
3、,X是一个n K 矩阵，X的秩应该等于K； 该假定也被称做识别条件。只有当识别条件得到满足时，我们才能够得到参数估计结果。 该假定要求，至少对于K个观察值而言，解释变量之间不应存在完全的线性关系。当不满足这一条件时，我们遇到奇异矩阵。 一元回归模型不存在违反该假定的情况。 在遇到此问题时，计量经济软件通常给出“Near Singular matrix”。,假定3：解释变量X独立于误差项,根据这一假定，X的观察结果不含有与挠动项期望值有关的信息，用公式表达为：,假定3：解释变量X独立于误差项,条件均值为零意味着，无条件均值也等于零。假定3还意味着,假定4：球形扰动 (Spherical Dist
4、urbances),假定4与挠动项的方差和协方差有关，即：利用方差分解公式可以得到：当挠动项同时满足方差相同和无序列相关两个假定时，我们将其称做球形扰动。,假定5：解释变量是非随机的 (Nonstochastic regressors),古典模型要求X是一个n K 非随机矩阵，即不含有随机误差； 在应用工作中可以放松这一假定，只要求当X为随机变量时，其统计分布独立于误差项e，即X与误差项不相关。,假定6：误差服从正态分布,假定误差服从以零为均值和具有不变方差的正态分布。对于应用工作而言，正态分布假定并不是必须的，只是为分析计算提供了便利。这涉及到假定3和4。,最小二乘法估计,式中：b是理论模型
5、的未知参数向量是b的估计量e是理论模型的随机挠动项u是估计模型的残差项 用方程形式，残差平方和可以表示为,最小二乘法估计 （多元回归模型）,以包括两个解释变量的模型为例，对未知参数求一阶导数得到：,最小二乘法估计 （多元回归模型）,由三个方程可以解出：这三个方程构成求解三个未知参数的联立线性方程组，我们称该方程组为正规方程(Normal equations)。,最小二乘法估计 （多元回归模型）,将上述关系表示成矩阵形式得到：即思考：如果X1=2X2会出现什么情况？,最小二乘法估计 （多元回归模型）,利用矩阵形式可以将最小二乘法估计表示为：注意,最小二乘法估计 （多元回归模型）,上式实现最小化的
6、必要条件是：得出上述结果需要利用以下矩阵算法性质：求解未知系数的最小二乘法正态方程为：如果 存在逆矩阵(这是满秩假定所要求的)，那么其解为：,最小二乘法估计 （多元回归模型）,如果将解释变量视作是非随机的，那么将X作为常数矩阵，可以得知OLS估计量是线性无偏的：,19,最小二乘法估计 （多元回归模型）,估计量的方差为：,对多元回归方程估计结果的解释,多元回归方程估计结果可以表达为由方程可知：如果使x2, ,xk保持不变，那么有即每个估计的都反映出当其他因素不变时，该因素产生的边际影响效果。,多元回归的拟合优度,多元回归方程的拟合优度同样可以用R2表示拟合优度也可以表示为因变量的实际值与拟合值的
7、相关系数，即：,多元回归的拟合优度,在利用R2评价模型拟合优劣时需要注意以下问题: 模型设定必须是正确的； R2是解释变量数量的非递减函数，即增加解释变量不会引起R2下降，因而存在着通过不断增添解释变量使R2趋近于1的可能； 当模型不包含常数项时，R2的值可能超出0-1这一区间。 利用时间序列数据建立的模型R2通常较高，而利用截面数据建立的模型R2通常较低。 当因变量不同（包括其数学表达形式不同）时，比较R2大小没有任何意义。,调整自由度后的R2,鉴于R2是解释变量的非递减函数，这降低了利用该指标对模型做比较时的价值。 使用调整自由度后的R2做比较，能够考虑增加解释变量产生的影响。其计算公式为
8、：,调整自由度后的R2,计算调整自由度后的R2时使用的方差与R2不同。 增加解释变量可能使ESS降低，但 可以增大、不变或下降，取决于新增加变量的解释能力。 当模型包括多个解释变量时，必然有 。 如果模型包括了一些不具有统计显著性的解释变量，那么 会出现 显著小于R2。删除不显著的变量会提高 ，但会降低R2。 是否应该增加或删除某个变量一般不应该根据 或R2的数值大小，而应该根据对变量之间因果关系的理论认识。可能出现负值。,对拟合优度的统计检验,检验拟合优度的虚假设是所有解释变量均不是真正的解释变量，即：备择假设为至少有一个解释变量的参数不等于零。相应的统计量为：当F值大于选择的临界值时，我们
9、拒绝H0。,对估计系数的统计检验,利用前述的估计量方差矩阵可以得到每个估计参数的标准差sj，估计参数与该标准差的比值为相应的t统计值。 利用t统计表（或相应的软件）可以得到与模型自由度相对应的显著性水平，据此可以判断结果在统计意义上的可靠性。,对模型参数的联合检验,同样的方法可以用于检验有关多个估计参数之间关系的联合假设。 用下标R和UR区分有约束和无约束的回归方程R2，q为约束条件的个数，相应的F统计值计算公式为：,28,最大似然法估计,最大似然法假定随机变量Y来自某一未知的总体分布，样本数据提供了有关概率分布参数的信息，估计方法建立在样本来自哪个概率分布的可能性最大基础之上。,P,Y,分布
10、A,分布B,Y1,Y2,Y3,Y4,Y5,Y6,Y7,Y8,29,最大似然法估计,例如假定Y来自某种正态分布，其分布函数为：在Y相互独立的情况下，其联合分布概率为每个观察值出现概率的乘积，即：对该函数取对数得到：,30,最大似然法估计,前述的对数似然函数可以改写为： LnP=与无关的部分ESS/(22) 利用求极大值方法得到：,31,最大似然法估计,解上述三个方程得到：,32,最大似然法估计,由于20，求解Ln(L)对应于的最大值等同于求解ESS对应于的最小值。这意味着，在正态分布假定下，最大似然估计量与最小二乘法估计量是相同的。 在模型为线性函数的情况下， 2的最大似然估计量为ESS/N，不
11、同于OLS方法得到的ESS/(N-1)。 由于最大似然估计量 l和l2均为真实参数(, 2)的一致性估计量并且服从渐近正态分布，因而可以对非线性模型的估计参数做各种统计检验。,广义矩法 （Generalized method of moments),利用OLS和最大似然法估计模型参数时，均需要就解释变量及误差项的性质做出某些假定，以保证估计量具有BLUE性质。 使用广义矩方法（GMM）则不要求就误差项的统计分布做出严格的假定。 GMM估计量是稳健估计量(Robust estimators)。 从理论上可以证明，GMM方法更具有一般性，OLS、GLS和最大似然法均为GMM方法的特例。,GMM估计
12、量,GMM估计方法基于模型参数应该满足某种理论关系的认识。 在应用工作中，这种理论关系用一系列基于样本数据的矩条件来替代。 考虑一元线性回归模型Yi = 0 + 1Xi +ei 应用OLS方法时假定有E(ei)=0, E(Xiei)=0，对应的样本矩条件为：由上述矩条件可以得到OLS的两个正规方程，这表明OLS方法为GMM方法的一个特例，即使用常数项和X作为工具变量的情况。,GMM估计方法,GMM方法可以基于更为一般化的矩条件。 参数非线性函数 误差项为非正态分布 GMM方法试图得到与参数间理论关系尽可能接近的参数估计值。 通常使用的理论关系为参数的某种函数与工具变量呈现正交（orthogon
13、ality），即E(f()Z)=0 式中为K维待估计参数向量，Z为L维工具变量向量，LK。 GMM估计量在大样本情况下渐近有效。,GMM估计方法,矩条件的个数L大于模型中参数个数K时会出现过度识别问题，此时需要考虑在充分利用样本信息的同时避免出现相互冲突的估计结果。 这通过使样本加权矩最小化来实现。 GMM估计的步骤为： 给出待估计的模型 设定工具变量 求得使样本矩最小的参数估计 做必要的统计检验,GMM估计方法,考虑回归模型Y = F(X,)+ e 定义有关待估计参数的函数f()=(Y- F(X,) GMM估计方法选择使f()与工具变量Z之间的相关程度最接近于0的参数估计，即最小化： J()
14、=(M()A(M() 式中样本矩向量 (M()= f()Z，A为加权矩阵。 由任何对称正交矩阵A都可以得到 的一致性估计量，但得到 有效估计的必要条件是A等于样本矩M协方差矩阵的逆矩阵。,在EVIEWS中使用GMM估计方法,在调用模型估计方法时选择GMM估计技术 在随后出现的窗口中给出待估计的模型 可以用列变量表的方式，如Y C X。 可以用数学函数形式表达，如a*log(y)+xb 在工具变量窗口给出工具变量设定 工具变量设定采用列表方式 工具变量的个数必须等于或大于待估计参数的个数 EVIEWS会自动增加常数项C作为工具变量,在EVIEWS中使用GMM估计方法,例1：用Z和W作为工具变量估
15、计模型Yi=0+1Xi+ei 模型设定窗口Y C X 工具变量窗口C Z W 或 Z W 相应的正交条件为：,在EVIEWS中使用GMM估计方法,例2：用Z和Zt-1作为工具变量估计模型a*log(Yt)+Xtb=et 模型设定窗口C(1)*log(Y)+XC(2) 工具变量窗口C Z Z(-1) 或 Z Z(-1) 相应的正交条件为：此时报告的估计结果中不包括R2,模型设定与设定误差检验,模型设定错误有广义和狭义两种情况 狭义的错误指模型设定出现丢失重要解释变量、包括不必要的解释变量、解释变量测度存在误差等情况； 广义的错误还包括多重共线、残差项出现异方差或序列相关等情况。 当出现模型设定错
16、误时，利用OLS方法得到的参数估计不再具有最小方差和无偏性质。建模：从一般到简单的策略,模型设定与设定误差检验,多重共线 模型变量设定错误 遗漏必要的解释变量 包括不必要的解释变更 解释变量含有测度误差 误差项不符合古典假定 回归方程函数形式错误 异方差和序列相关,多重共线,根据古典假定，矩阵XX应该是满秩的，即XX可逆。 若数据违反上述假定，那么出现解释变量间的完全多重共线。 在实际工作中，由于数据原因造成的解释变量完全多重共线并不常见，并且多数是由于模型设定错误。经常遇到的情况是解释变量之间的不完全多重共线。 令rj为不同时为零的常数，上述两种情况可以表示为：完全的多重共线不完全的多重共线（vi为一随机误差项）,多重共线,多重共线是由于解释变量之间存在较高的相关性。 经济变量之间总会存在较高的相关性，差别仅仅是在相关的程度上。 对于应用模型，我们面临的不是是否存在多重共线问题，而是多重共线的严重程度。 当解释变量高度相关时，估计模型参数遇到困难。 从数学角度解释，这就是说，当两个变量存在共同的运动模式时，采用统计手段分离两者各自对因变量的影响将是非常困难的。,
