《计量经济学讲义第一讲(共十讲)》由会员分享，可在线阅读，更多相关《计量经济学讲义第一讲(共十讲)（19页珍藏版）》请在金锄头文库上搜索。
1、第一讲 一般最小二乘法的代数一、 问题假定与具有近似的线性关系：，其中是随机误差项。我们对这两个参数的值一无所知。我们的任务是运用样本数据去猜想的取值。目前，我们手中就有一种样本容量为N的样本，其观测值是：。问题是，如何运用该样本来猜想的取值?为了回答上述问题，我们可以一方面画出这些观测值的散点图(横轴，纵轴y）。既然y与x具有近似的线性关系,那么我们就在图中拟合一条直线：。该直线是对y与x的真实关系的近似,而分别是对的猜想（估计）。问题是，如何拟定与,以使我们的猜想看起来是合理的呢？笔记:1、为什么要假定y与x的关系是呢？一种合理的解释是,某一经济学理论觉得x与y具有线性的因果关系。该理论在
2、讨论x与y的关系时觉得影响的其她因素是不重要的,这些因素对的影响即为模型中的误差项。、被称为总体回归模型。由该模型有:。既然代表其她不重要因素对y的影响，因此原则假定是：。故进而有：，这被称为总体回归方程（函数），而相应地被称为样本回归方程。由样本回归方程拟定的与是有差别的，被称为残差。进而有：，这被称为样本回归模型。 二、 两种思考措施法一：与是维空间的两点，与的选择应当是这两点的距离最短。这可以归结为求解一种数学问题:由于是残差的定义,因此上述获得与的措施即是与的值应当使残差平方和最小。法二：给定，看起来与越近越好（近来距离是）。然而,当你选择拟合直线使得与是相称近的时候,与的距离也许变远
3、了，因此存在一种权衡。一种简朴的权衡方式是,给定，拟合直线的选择应当使与、与、.、与的距离的平均值是最小的。距离是一种绝对值,数学解决较为麻烦,因此，我们把第二种思考措施转化求解数学问题：由于N为常数,因此法一与法二对于求解与的值是无差别的。三、 求解定义，运用一阶条件,有：由（1）也有：在这里、笔记:这表白:1、样本回归函数过点,即穿过数据集的中心位置;、(你能证明吗?）,这意味着，尽管的取值不能保证，但的取值可以保证的平均值与的平均值相等;3、虽然不能保证每一种残差都为0，但我们可以保证残差的平均值为。从直觉上看，作为对的一种良好的猜想，它们应当满足这样的性质。笔记：对于简朴线性回归模型：
4、,在OL法下，由正规方程（1）可知,残差之和为零【注意：只有拟合直线带有截距时才存在正规方程(1）】。由正规方程(2),并结合正规方程（1)有：无论用何种估计措施,我们都但愿残差所涉及的信息价值很小,如果残差还具有大量的信息价值，那么该估计措施是需要改善的！对模型运用OS，我们能保证(1):残差均值为零;（）残差与解释变量x不有关【一种变量与另一种变量有关是一种重要的信息】。方程（1)与（)被称为正规方程，把带入（2），有:上述获得的措施就是一般最小二乘法(OLS)。练习:(）验证：提示:定义的离差为,则离差之和必为零。运用这个简朴的代数性质，不难得到:笔记:定义y与的样本协方差、的样本方差分
5、别为：,则。上述定义的样本协方差及其样本方差分别是对总体协方差及其总体方差的有偏估计。相应的无偏估计是：基于前述对与的定义，可以验证：其中a，b是常数。值得指出的是,在本讲义中，在没有引起混淆的状况下,我们有时也用、来表达总体方差与协方差,但是上述公式同样成立。(2）假定，用LS法拟合一种过原点的直线:,求证在S法下有:并验证：笔记：1、目前只有一种正规方程，该正规方程同样表白。然而，由于模型无截距，因此在OLS法下我们不能保证恒成立。因此,尽管成立，但目前该式并不意味着成立。2、无截距回归公式的一种应用:定义、,则。按照OS无截距回归公式，有:(3）假定，用LS法拟合一水平直线,即：,求证。
6、笔记：证明上式有两种思路，一种思路是求解一种最优化问题，我们所获得的一种正规方程同样是;此外一种思路是，模型是模型的特例,运用的结论，注意到此时，因此同样有。(4)对模型进OLS估计，证明残差与样本不有关，即。四、 拟合限度的判断(一)方差分解及其R的定义可以证明，。证明:方差表达一种变量波动的信息。方差分解亦是信息分解。建立样本回归函数时，从直觉上看，我们固然但愿有关的波动信息可以最大限度地体既有关的波动信息。因此，我们定义鉴定系数，显然,。如果R2大,则的波动信息就越可以被的波动信息所体现。R2也被称为拟合优度。当时,而残差均值又为零,因此着各残差必都为零,故样本回归直线与样本数据完全拟合
7、。（二）总平方和、解释平方和与残差平方和定义：其中SS、SS、RS分别被称为总平方和、解释平方和与残差平方和。根据方差分解，必有：TSS=ESS+RS。因此，(三)有关的基本结论1、R2也是与的样本有关系数r的平方。证明:、对于简朴线性回归模型：,2是y与x的样本有关系数的平方。证明：练习:(）对于模型:,证明在OLS法下=0。（)对于模型:，证明在OS法 警告!软件包一般是运用公式,其中来计算R2。应当注意到，我们在得到结论时运用了的性质，而该性质只有在拟合直线带有截距时才成立,因此,如果拟合直线无截距，则上述结论并不一定成立，因此，此时我们不能保证2为一非负值。综上所述,在运用时,我们的模
8、型一定要带有截距。固然，尚有一种大前提,即我们所采用的估计措施是O。五、 自由度与调节的R2如果在模型中增长解释变量，那么总的平方和不变，但残差平方和至少不会增长，一般是减少的。为什么呢?举一种例子。如果我们用OLS法得到的模型估计成果是:， 此时，OLS法估计等价于求解最小化问题:令最后所获得的目的函数值(也就是残差平方和）为RSS。目前考虑对该优化问题施加约束:并求解,则得到目的函数值RSS。比较上述两种状况，相对于RSS1,RSS2是局部最小。因此,RSS1不不小于或等于RSS2。应当注意到，原优化问题施加约束后相应于模型估计成果：因此，如果单纯根据2原则,我们应当增长解释变量以使模型拟
9、合得更好。增长解释变量将增长待估计的参数，在样本容量有限的状况下,这并不一定是明智之举。这波及到自由度问题。什么叫自由度?假设变量x可以自由地取N个值，那么的自由度就是N。然而,如果施加一种约束，为常数,那么x的自由度就减少了,新的自由度就是N。考虑在样本回归直线下残差的自由度问题。对残差有多少约束?根据正规方程（1)(2），有：，因此存在两个约束。故残差的自由度是N2。如果当样本回归函数是:，则残差的自由度为N-3。显然，待估计的参数越多,则残差的自由度越小。自由度过少会带来什么问题?简朴来说,自由度过少会使估计精度很低。例如，我们从总体中随机抽取来计算以作总体均值的估计,目前x的自由度是N
10、,显然N越大则以作为总体均值的估计越精确。 根据正规方程，我们是通过残差来获得对参数的估计，因此,残差自由度过少意味着我们对参数的估计也是不精确的。笔记：举一种极端的例子,对简朴线性回归模型,假定我们只有两次观测、。显然，我们可以保证R2=1，即完全拟合。但我们得到的这个拟合直线很也许与y与x的真实关系相去甚远,毕竟我们只有两次观测。事实上，此时残差的自由度为0！我们常常需要对估计措施进行自由度调节。例如，当运用公式来估计总体方差时,我们事实上是对变量求样本均值。然而应当注意到，约束条件恒成立,这意味着变量的自由度是-而不是N。目前对估计措施进行自由度调节，运用作为对总体方差的估计。上述两种估
11、计具有什么不同的后果呢？可以证明,是有偏估计而是无偏估计。笔记：什么叫有偏估计?如果我们无限次反复抽取样本容量为N的样本，针对每一种样本都可以根据公式计算总体方差的一种估计值。然后,对这些方差的估计值计算平均值，如果该平均值不等于总体方差,那么我们就称是对总体方差的一种有偏估计。抽象一点,即。R2忽视了自由度调节，这由下面的推导可以看出:在这里，与都是对相应总体方差的有偏估计。目前我们对自由度作调节，重新定义一种指标,即所谓的调节的2(）:应当注意到,如果是针对多元线性回归模型，待估计的斜率参数有个,此外尚有个截距(即总的待估计系数参数的个数为k+1个)，那么上述公式就是：,且也许为负数。思考
12、题:如果用增长解释变量的措施来提高2,这一定会提高吗？笔记：假设甲同窗的回归成果是，而乙同窗的回归成果是。甲同窗足够幸运,她获得的的确比乙同窗所获得的高，但这与否就意味着，根据已有的样本,甲同窗所选用的模型就一定优于乙同窗所选用的呢？答案是“不一定!”。对模型的选用不能仅仅依托这个指标，其她的因素应当被考虑,例如,模型与否符合经济学理论,估计参数与否有符合预期的符号，这些因素在模型选择时都十分重要。此外一点也特别要引起注重,即被解释变量不同的模型(例如一种模型的被解释变量是,而另一种模型其被解释变量是)其(或者)是不可比的。综上所述,初学者要坚决抵制仅仅依托来进行模型选择的诱惑!六、 简朴线性
13、回归模型的拓展:多元线性回归模型考虑，各系数的估计按照S是求解数学问题：因此，存在三个正规方程：第一种方程意味着残差之和为零，也意味着及其笔记：第一种正规方程可以被改写为。第二个方程结合第一种正规方程意味着残差与x1样本不有关;第三个方程结合第一种正规方程意味着残差与x2样本不有关。根据上述三个方程,可以获得、，在此不给出具体公式。笔记:对于估计成果,是不是的数值不小于就一定意味着在解释变量时比更加重要呢？答案是“不一定!”。这是由于，通过对与取不同的测量单位，那么与前面的估计系数值将发生变化。有一种措施可以使估计系数不随解释变量的测度单位变化而变化，其基本原理如下： 在这里表达变量的样本原则
14、差。定义：则有:。在新模型中，解释变量是原变量的原则化,它是无量纲的。保持其她因素不变，当时，。注意到，当样本容量很大时与分别和总体均值及其总体原则差近似,因此。类似，。意味着,因此对的一种翻译是，保持其她因素不变，当变化一种原则差时，约将变化个原则差。类似可以对进行翻译。被称为原则化系数或者系数。在实践中，我们可以先运用原则化变量进行无截距回归得到原则化系数，然后反推出非原则化变量回归模型中的各个斜率系数的估计值。七、 LS的矩阵代数(一）矩阵表达总体多元回归模型是：如果用矩阵来描述,一方面定义下列向量与矩阵:模型的矩阵表达: (二）如何得到OLS估计量?求解一种最小化问题:，有:而根据矩阵
15、微分的知识(见下面的笔记),有:故，,则笔记：、。在这里，是向量，是对称矩阵，与都是标量。重要规则是:一种标量有关一种列向量的导数仍是列向量,并且维数保持不变。2、矩阵微分规则与原则的微积分学中的微分规则具有一定的相应性。假定，则。注意到：，在这里之因此要取转置,是由于按照规则:一种标量有关一种列向量的导数仍是列向量,而是一种行向量。注意,为了保证的存在，OS法假设X列满秩，即解释变量不是完全共线的【应当注意,截距相应的解释变量取值恒为1】。笔记:1、为什么假设列满秩？是矩阵。为了保证的存在,那么。基于矩阵知识点：，因此这也规定。是矩阵,因此列满秩。2、对于模型：，如果恒成立，则X不是列满秩的，因此不存在,故无法估计。换一种思路考虑:如果恒成立，则由可以推出：其中a为任意常数。故此时我们无法对加以辨认。
