《方差分量线性回归模型》由会员分享，可在线阅读，更多相关《方差分量线性回归模型（34页珍藏版）》请在金锄头文库上搜索。
1、第四章 方差分量线性回归模型本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。我们先从随机效应角度理解回归概念，导出方差分量模型，然后研究模型三种主要解法。最后本章介绍关于方差分量模型的两个前沿研究成果，是作者近期在应用数学学报与国际数学杂志Communications in Statistics上发表的。第一节 随机效应与方差分量模型 一、随机效应回归模型前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。我们从资料对出发建立回归模型，过去一直是把Y看作随机的，X1，Xp看作非随机的。但是实际上，自变量也经常是随机的，而并不是我们可以事先设计好的设计矩阵。我们把自变量也是
2、随机变量的回归模型称为随机效应回归模型。究竟一个回归模型的自变量是随机的还是非随机的，要视具体情况而定。比如一般情况下消费函数可写为 （4.1.1）这里X是居民收入，T是税收，C0是生存基本消费，b是待估系数。加上随机扰动项，就是一元线性回归模型（4.1.2）那么自变量到底是固定效应还是随机效应?那要看你采样情况。如果你是按一定收入的家庭去调查他的消费，那是取设计矩阵，固定效应。如果你是随机抽取一些家庭，不管他收入如何都登记他的收入与消费，那就是随机效应。对于随机效应的回归模型，我们可以从条件期望的角度推导出与最小二乘法则等价的回归函数。我们希望通过X预测Y，也就是要寻找一个函数，当X的观察值
3、为x时，这个预测的误差平均起来应达到最小，即（4.1.3）这里min是对一切X的可测函数L(X)取极小。由于当（4.1.4）时，容易证明（4.1.5）故当时，（4.1.6）要使上式左边极小，只有取。 这个结果告诉我们，预测函数取作条件期望E(Y|X)时，可使预测误差最小。我们还可以证明，此时M(X)=E(Y|X)与Y具有最大相关，即（4.1.7）这里表示相关系数。 这是因为当时，易证,同时,于是等号当且仅当（4.1.8）时成立，此时L(X)是M(X)的线性函数。(4.1.3)与(4.1.7)表达了的极好性质，我们称（4.1.9）为Y关于X的回归曲线。 上面的L(X)可取一切函数。如果限定L(X
4、)是X的线性函数，即要限定 （4.1.10）这里是对X的一切线性函数取极小，则称满足上式的线性函数为Y关于X的回归直线。我们可以求出的解。记，则 （4.1.11）这里 （4.1.12） （4.1.13） （4.1.14）对L(0，)求微分(矩阵微商公式)得： （4.1.15）解得 （4.1.16）这里当然假定存在，否则使用广义逆。此时的预测误差方差是 （4.1.17） （4.1.18）为复相关系数。它指出了Y与多元变量之间的线性相关程度，是一元相关系数 （4.1.19）的推广。从条件期望角度我们导出的随机效应回归模型的回归直线表达式，与从最小二乘角度导出的固定效应的回归方程，表达式是等价的，所
5、以从计算角度，我们不怎么区分。二、方差分量模型概念上段我们建立了随机效应概念，将自变量也视作随机变量，这就可以导出方差分量模型。方差分量模型研究工作的奠基人是我国最早的统计学家许宝驭马录先生。还是刚才提到的消费函数回归模型，我们作随机抽样。考虑居民按职业的分类，如工人、教师、医生、律师、店员等等，记为，我们从这些职业中随机抽取了n个样本，则模型可写为 （4.1.20）这里Xi可看作是第i种职业对收入的效应。如果我们事先安排好取哪个职业的，当然Xi是固定效应。可是我们现在对职业选取是随机的，而且我们还想研究职业效应的方差，这就导入了方差分量模型，因为现在Cij的方差由两部分组成： （4.1.21
6、）为了数学符号统一，我们将经济学中的符号改过来，刚才建立的模型是 （4.1.22）它有一项固定效应，一项随机效应1，一项随机误差。如果还要考虑地区因素对消费的影响，还可以加进第二个随机效应2，于是可得模型 （4.1.23）这次我们省掉了取值的标记，Y的方差由三项组成。一般地，我们建立方差分量模型如下： （4.1.24）这里有固定效应向量，随机效应向量 （4.1.25）并且将随机误差项也并入了随机效应向量去。设计矩阵X以及 （4.1.26）都是已知的。对于随机效应,合理的假定是 （4.1.27）当然以后有时还可以考虑i是向量的情况，不过这里假定每个i是一维变量。记， （4.1.28）则方差分量模
7、型可记为 （4.1.29）模型的主要任务是要估计固定效应向量与方差分量。和一般的多元线性回归模型相比，就是待估的方差多了。通过这些介绍，我们就可以方便地将各种经济方面的普通线性回归模型改造成方差分量模型，当然要根据实际。第二节 方差分量模型的解法对于方差分量模型（4.2.1）一般都采用二步估计法，首先估计方差分量，然后再估计固定效应。按照广义最小二乘（4.2.2）其中（4.2.3）所以方差分量模型解法的关键是估计方差分量。以下介绍的方法，也都是针对方差分量估计方法而言的。 一、方差分析法先从一个简单的模型结合数据结构形象地说明方法。考虑模型（4.2.4）0为总平均，是固定效应，1,，m是随机效
8、应，。对于随机误差。这个模型如果记作方差分量模型的标准形式是（4.2.5）其中设计阵X=(1,1,，1)，随机效应矩阵为（4.2.6）我们手中资料只有我们采用(4.2.4)记法方便一些，将资料Y排成表 ji12k组内平均1Y11Y12Y1k2Y21Y22Y2kmYm1Ym2Ymk方差分析主要掌握三点，一是计算组内差、组间差，二是作平方和分解，三是计算各自的自由度。先计算总平均：（4.2.7）总变差(全体资料与总平均的偏差平方和)：（4.2.8）各组平均(各组资料横向相加并平均)（4.2.9）组间差(各组平均数与总平均数的偏差平方和) （4.2.10）组内差(各组数据与本组平均数的偏差平方和)
9、（4.2.11）则必有平方和分解 （4.2.12） 将各平方和除以各自的自由度。ST有一个约束 (4.2.7)，自由度为；SA有m组差，1个约束，自由度为m 1；Se有mk组差，m个约束，自由度为mk-m。注意有自由度分解： （4.2.13）于是算出均方： （4.2.14） （4.2.15） （4.2.16）因为假定为随机效应，可以算出各均方的均值： （4.2.17） （4.2.18）以代者，代替，得方程组： （4.2.19）解得 （4.2.20）这样就作好了方差分量的估计，然后可以按(4.2.2)作出的估计。因为这里的方差分量是由方差分析法作出的，故称为方差分析法。推广到一般的方差分量模型时
10、，基本原则是类似的。我们不妨考虑方差分量模型 （4.2.21）先对总平方和YY作平方和分解 （4.2.22）其中S是在模型Y=X+中，的回归平方和： （4.2.23）是在模型中，消去影响后1的平方和 （4.2.24）类似地，是在模型中消去和1影响后，2的平方和： （4.2.25）最后的S为残差平方和 （4.2.26）可以验证 （4.2.27） （4.2.28） （4.2.29） （4.2.30）这里 （4.2.31） （4.2.32） （4.2.33）这里P*表示关于*的投影阵。下面计算各平方和的均值。 （4.2.34）因为，所以上式第一项为0。在第三项中， （4.2.35）在第六项中 （4.
11、3.36）所以最后有 （4.3.37）其中 （4.2.38） （4.2.39） （4.2.40） （4.2.41）类似还可以求得 （4.2.42） （4.2.43） （4.2.44）于是我们得到方程组 （4.2.45）解此方程组，就可以得到的估计。然后进入二步估计的第二步，就可以得到关于固定效应的估计。算例4.2.1 市场收益率与股利和换手率的关系考虑一个随机效应的多元线性模型U的形式如同(4.2.6)。问题的实际背景是，观测对象被分成了m组，可能存在一个随机效应向量对各组资料有不同的作用。模型也可以写作数据结构及具体数值如下表所示，m=6,k=6。这些资料采自96上海股票市场资料总汇。我们研
12、究目的一是看过去一年的股利收入与当年换手率对当年市场收益率有何影响，二是想知道是否存在一个潜在的尚未观测到的随机效应，对行业有明显影响。当然这种情况采用方差分量模型比较合适。要注意本例是两个方差量，上一章第二节模型(3.2.10)也是两个待估的方差量。它们的随机效应作用范围不一样，不是一回事。 表4.2.1 1996年股市资料类别股号股名1996年收益率%1995年股利%1996年日换手率商业类628新世界64.769203.12631中百一店46.84511.81.68632华联商厦41.95811.31.81655豫园商城16.19511.21.10682新百公司79.9115.23.36694大连商场91.3885.84.26电子类602真空电子33.112103.52651飞乐音响8.10801.95800天津磁卡271.76353.74839四川长虹381.686604.41850华东计算机14.63813.27870厦华电子68.5793.94.20化工类617联合化纤-21.8710.51.53618卤碱化工22.37022.63672广东化纤11.86004.65688上海石化
