《精编》多元线性回归模型

《《精编》多元线性回归模型》由会员分享，可在线阅读，更多相关《《精编》多元线性回归模型（93页珍藏版）》请在金锄头文库上搜索。

1、1 多元线性回归模型 简单线性回归模型的推广 2 第一节多元线性回归模型的概念在许多实际问题中 我们所研究的因变量的变动可能不仅与一个解释变量有关 因此 有必要考虑线性模型的更一般形式 即多元线性回归模型 t 1 2 n在这个模型中 Y由X1 X2 X3 XK所解释 有K 1个未知参数 0 1 2 K 这里 斜率 j的含义是其它变量不变的情况下 Xj改变一个单位对因变量所产生的影响 3 例1 其中 Y 在食品上的总支出X 个人可支配收入P 食品价格指数用美国1959 1983年的数据 得到如下回归结果 括号中数字为标准误差 Y和X的计量单位为10亿美元 按1972不变价格计算 4 多元线性回归

2、模型中斜率系数的含义上例中斜率系数的含义说明如下 价格不变的情况下 个人可支配收入每上升10亿美元 1个billion 食品消费支出增加1 12亿元 0 112个billion 收入不变的情况下 价格指数每上升一个点 食品消费支出减少7 39亿元 0 739个billion 5 例2 其中 Ct 消费 Dt 居民可支配收入Lt 居民拥有的流动资产水平 2的含义是 在流动资产不变的情况下 可支配收入变动一个单位对消费额的影响 这是收入对消费额的直接影响 收入变动对消费额的总影响 直接影响 间接影响 间接影响 收入影响流动资产拥有量 影响消费额 但在模型中这种间接影响应归因于流动资产 而不是收入

3、因而 2只包括收入的直接影响 在下面的模型中 这里 是可支配收入对消费额的总影响 显然 和 2的含义是不同的 6 回到一般模型t 1 2 n即对于n组观测值 有 7 其矩阵形式为 其中 8 第二节多元线性回归模型的估计多元线性回归模型的估计与双变量线性模型类似 仍采用最小二乘法 当然 计算要复杂得多 通常要借助计算机 理论推导需借助矩阵代数 下面给出最小二乘法应用于多元线性回归模型的假设条件 估计结果及所得到的估计量的性质 一 假设条件 1 E ut 0 t 1 2 n 2 E uiuj 0 i j 3 E ut2 2 t 1 2 n 4 Xjt是非随机量 j 1 2 kt 1 2 n 9 除

4、上面4条外 在多个解释变量的情况下 还有两个条件需要满足 5 K 1 n 即观测值的数目要大于待估计的参数的个数 要有足够数量的数据来拟合回归线 6 各解释变量之间不存在严格的线性关系 10 上述假设条件可用矩阵表示为以下四个条件 1 E u 0 2 由于显然 仅当E uiuj 0 i jE ut2 2 t 1 2 n这两个条件成立时才成立 因此 此条件相当前面条件 2 3 两条 即各期扰动项互不相关 并具有常数方差 11 3 X是是一个非随机元素矩阵 4 Rank X K 1 n 相当于前面 5 6 两条即矩阵X的秩 K 1 n当然 为了后面区间估计和假设检验的需要 还要加上一条 5 t 1

5、 2 n 12 二 最小二乘估计我们的模型是 t 1 2 n问题是选择 使得残差平方和最小 残差为 13 要使残差平方和为最小 则应有 我们得到如下K 1个方程 即正规方程 14 按矩阵形式 上述方程组可表示为 15 即 16 上述结果 亦可从矩阵表示的模型出发 完全用矩阵代数推导出来 残差可用矩阵表示为 其中 17 残差平方和 18 注意到上式中所有项都是标量 且故令用矩阵微分法 我们可得到与采用标量式推导所得结果相同 由上述结果 我们有 19 三 最小二乘估计量的性质我们的模型为估计式为1 的均值 20 由假设3 由假设1 即这表明 OLS估计量是无偏估计量 21 2 的方差为求Var 我

6、们考虑这是一个 K 1 K 1 矩阵 其主对角线上元素即构成Var 非主对角线元素是相应的协方差 如下所示 22 下面推导此矩阵的计算公式 23 由上一段的结果 我们有因此 24 如前所述 我们得到的实际上不仅是的方差 而且是一个方差 协方差矩阵 为了反映这一事实 我们用下面的符号表示之 展开就是 25 3 2的估计与双变量线性模型相似 2的无偏估计量是这是因为我们在估计的过程中 失去了 K 1 个自由度 4 高斯 马尔科夫定理对于以及标准假设条件 1 4 普通最小二乘估计量是最佳线性无偏估计量 BLUE 26 我们已在上一段中证明了无偏性 下面证明线性和最小方差性 证明的路子与双变量模型中类

7、似 只不过这里我们采用矩阵和向量的形式 由OLS估计量的公式可知 可表示为一个矩阵和应变量观测值向量的乘积 其中是一个 K 1 n非随机元素矩阵 因而显然有是线性估计量 27 现设为的任意一个线性无偏估计量 即其中是一个 K 1 n非随机元素矩阵 则显然 若要为无偏估计量 即 只有 为 K 1 阶单位矩阵 28 的方差为 我们可将写成从而将的任意线性无偏估计量与OLS估计量联系起来 29 由可推出 即因而有由从而 因此上式中间两项为0 我们有 30 因此最后的不等号成立是因为为半正定矩阵 这就证明了OLS估计量是的所有线性无偏估计量中方差最小的 至此 我们证明了高斯 马尔科夫定理 31 第三节

8、拟合优度一 决定系数R2对于双变量线性模型Y X u我们有其中 残差平方和 32 对于多元线性模型我们可用同样的方法定义决定系数 为方便计算 我们也可以用矩阵形式表示R2 33 我们有 残差 其中 残差平方和 34 而将上述结果代入R2的公式 得到 这就是决定系数R2的矩阵形式 35 二 修正决定系数 残差平方和的一个特点是 每当模型增加一个解释变量 并用改变后的模型重新进行估计 残差平方和的值会减小 由此可以推论 决定系数是一个与解释变量的个数有关的量 解释变量个数增加 减小 R2增大也就是说 人们总是可以通过增加模型中解释变量的方法来增大R2的值 因此 用R2来作为拟合优度的测度 不是十分

9、令人满意的 为此 我们定义修正决定系数 Adjusted 如下 36 是经过自由度调整的决定系数 称为修正决定系数 我们有 1 2 仅当K 0时 等号成立 即 3 当K增大时 二者的差异也随之增大 4 可能出现负值 37 三 例子下面我们给出两个简单的数值例子 以帮助理解这两节的内容 例1Yt 1 2X2t 3X3t ut设观测数据为 Y 31835X2 31524X3 54646试求各参数的OLS估计值 以及 解 我们有 38 39 40 41 42 例2 设n 20 k 3 R2 0 70求 解 下面改变n的值 看一看的值如何变化 我们有若n 10 则 0 55若n 5 则 0 20由本例

10、可看出 有可能为负值 这与R2不同 43 第四节非线性关系的处理迄今为止 我们已解决了线性模型的估计问题 但在实际问题中 变量间的关系并非总是线性关系 经济变量间的非线性关系比比皆是 如大家所熟悉的柯布 道格拉斯生产函数 就是一例 在这样一些非线性关系中 有些可以通过代数变换变为线性关系处理 另一些则不能 下面我们通过一些例子来讨论这个问题 44 一 线性模型的含义线性模型的基本形式是 其特点是可以写成每一个解释变量和一个系数相乘的形式 线性模型的线性包含两重含义 1 变量的线性变量以其原型出现在模型之中 而不是以X2或X 之类的函数形式出现在模型中 2 参数的线性因变量Y是各参数的线性函数

11、45 二 线性化方法对于线性回归分析 只有第二种类型的线性才是重要的 因为变量的非线性可通过适当的重新定义来解决 例如 对于此方程的变量和参数都是线性的 如果原方程的扰动项满足高斯 马尔可夫定理条件 重写的方程的扰动项也将满足 46 参数的非线性是一个严重得多的问题 因为它不能仅凭重定义来处理 可是 如果模型的右端由一系列的X 或e X项相乘 并且扰动项也是乘积形式的 则该模型可通过两边取对数线性化 例如 需求函数其中 Y 对某商品的需求X 收入P 相对价格指数 扰动项可转换为 47 用X Y P的数据 我们可得到logY logX和logP 从而可以用OLS法估计上式 logX的系数是 的估

12、计值 经济含义是需求的收入弹性 logP的系数将是 的估计值 即需求的价格弹性 注释 弹性 elasticity 一变量变动1 所引起的另一变量变动的百分比 需求的收入弹性 收入变化1 价格不变时 所引起的商品需求量变动的百分比 需求的价格弹性 价格变化1 收入不变时 所引起的商品需求量变动的百分比 48 三 例子例1需求函数本章 1中 我们曾给出一个食品支出为因变量 个人可支配收入和食品价格指数为解释变量的线性回归模型例子 现用这三个变量的对数重新估计 采用同样的数据 得到如下结果 括号内数字为标准误差 回归结果表明 需求的收入弹性是0 64 需求的价格弹性是0 48 这两个系数都显著异于0

13、 49 例2 柯布 道格拉斯生产函数生产函数是一个生产过程中的投入及其产出之间的一种关系 著名的柯布 道格拉斯生产函数 C D函数 为用柯布和道格拉斯最初使用的数据 美国1899 1922年制造业数据 估计经过线性变换的模型得到如下结果 括号内数字为标准误差 从上述结果可以看出 产出的资本弹性是0 23 产出的劳动弹性为0 81 50 例3 货币需求量与利率之间的关系 M a r 2 b这里 变量非线性和参数非线性并存 对此方程采用对数变换logM loga blog r 2 令Y logM X log r 2 1 loga 2 b则变换后的模型为 Yt 1 2Xt ut 51 将OLS法应用

14、于此模型 可求得 1和 2的估计值从而可通过下列两式求出a和b估计值 应当指出 在这种情况下 线性模型估计量的性质 如BLUE 正态性等 只适用于变换后的参数估计量 而不一定适用于原模型参数的估计量和 52 例4 上例在确定货币需求量的关系式时 我们实际上给模型加进了一个结束条件 根据理论假设 在某一利率水平上 货币需求量在理论上是无穷大 我们假定这个利率水平为2 假如不给这一约束条件 而是从给定的数据中估计该利率水平的值 则模型变为 M a r c b式中a b c均为参数 仍采用对数变换 得到log Mt loga blog rt c utt 1 2 n我们无法将log rt c 定义为一

15、个可观测的变量X 因为这里有一个未知量c 也就是说 此模型无法线性化 在这种情况下 只能用估计非线性模型参数值的方法 53 四 非线性回归模型Y a X c b是一个非线性模型 a b和c是要估计的参数 此模型无法用取对数的方法线性化 只能用非线性回归技术进行估计 如非线性最小二乘法 NLS 该方法的原则仍然是残差平方和最小 计量经济软件包通常提供这类方法 这里给出有关非线性回归方法的大致步骤如下 54 非线性回归方法的步骤1 首先给出各参数的初始估计值 合理猜测值 2 用这些参数值和X观测值数据计算Y的各期预测值 拟合值 3 计算各期残差 然后计算残差平方和 e2 4 对一个或多个参数的估计

16、值作微小变动 5 计算新的Y预测值 残差平方和 e2 6 若新的 e2小于老的 e2 说明新参数估计值优于老估计值 则以它们作为新起点 7 重复步骤4 5 6 直至无法减小 e2为止 8 最后的参数估计值即为最小二乘估计值 55 第五节假设检验一 系数的显著性检验1 单个系数显著性检验目的是检验某个解释变量的系数 j是否为0 即该解释变量是否对因变量有影响 原假设 H0 j 0备择假设 H1 j 0检验统计量是自由度为n K 1的t统计量 t n K 1 56 单个系数显著性检验的检验统计量是自由度为n K 1的t统计量 t n K 1 其中 为矩阵主对角线上第j 1个元素 而 57 例 柯布 道格拉斯生产函数用柯布和道格拉斯最初使用的数据 美国1899 1922年制造业数据 估计经过线性变换的模型得到如下结果 括号内数字为标准误差 请检验 斜率 系数 和 的显著性 解 1 检验 的显著性原假设 H0 0备择假设 H1 0 58 由回归结果 我们有 t 0 23 0 06 3 83用 24 3 21查t表 5 显著性水平下 tc 2 08 t 3 83 tc 2 08 故拒绝原假设H0