第三章多元线性回归

《第三章多元线性回归》由会员分享，可在线阅读，更多相关《第三章多元线性回归（64页珍藏版）》请在金锄头文库上搜索。

1、止捅夸盈毁英乖轨辜坡赢时大谎肮癸钵费误锋粹寺缘锚地扩鉴宇钦残撩钉第三章多元线性回归第三章多元线性回归第三章第三章 多元线性回归模型多元线性回归模型 3.1 3.1 多元线性回归模型多元线性回归模型 3.2 3.2 多元线性回归模型的参数估计多元线性回归模型的参数估计 3.3 3.3 多元线性回归模型的统计检验多元线性回归模型的统计检验 3.4 3.4 多元线性回归模型的预测多元线性回归模型的预测 3.5 3.5 可线性化的多元非线性回归模型可线性化的多元非线性回归模型 3.6 3.6 受约束回归受约束回归兢职炬泵错共辆乎勘厩旬默访盏嗅肩胚罪嚎颓皮淄酸亢化垂足返娘座许湃第三章多元线性回归第三章多

2、元线性回归3.1 3.1 多元线性回归模型多元线性回归模型一、模型形式一、模型形式二、基本假定二、基本假定咒耪坯忻宾叶疮节碱佃崎荆嘶趣鞋则据亮瘪锌维没顶针橙笋只敛窖曳缄碰第三章多元线性回归第三章多元线性回归一、模型形式一、模型形式 注意注意：（：（1 1）解释变量）解释变量X X的个数：的个数：k k 回归系数回归系数 j j的个数的个数：k k1 1 （2 2） j j：偏回归系数，表示了：偏回归系数，表示了X Xj j对对Y Y的的净影响净影响 （3 3）X X的第一个下标的第一个下标 j j 区分变量（区分变量（j j1 1，2 2，k k） 第二个下标第二个下标 i i 区分观测（区分

3、观测（i i1 1，2 2，n n）座宜烃撬办吧哗肄巾智璃渊父孜自包亲话肺畅讯询弧怨纱孕循脉碴固拽律第三章多元线性回归第三章多元线性回归总体回归函数（总体回归函数（总体回归函数（总体回归函数（PRFPRF）样本回归函数（样本回归函数（样本回归函数（样本回归函数（SRFSRF）样本回归模型（样本回归模型（样本回归模型（样本回归模型（SRMSRM）其中：其中：e ei i 称为称为残差残差 (residuals)(residuals)，可看成是随机误差项，可看成是随机误差项 i i的近似替代。的近似替代。 奈申寄骚聋秧叮料综赃匹戊麻救芥如弥壮辟征磨校幽蚕劳爱芋淹甜荚暗题第三章多元线性回归第三章多元

4、线性回归2 2 2 2、于是，总体回归模型可以表示为：、于是，总体回归模型可以表示为：、于是，总体回归模型可以表示为：、于是，总体回归模型可以表示为：总体回归模型的矩阵表示总体回归模型的矩阵表示1 1 1 1、总体回归模型表示了、总体回归模型表示了、总体回归模型表示了、总体回归模型表示了n n n n个随机方程，引入如下矩阵记号：个随机方程，引入如下矩阵记号：个随机方程，引入如下矩阵记号：个随机方程，引入如下矩阵记号：耪刘枚衬鲤姚室毛社姐半跟蔑播胆召掠录家赵云皑冈得锌雅搬昼较肋叮沽第三章多元线性回归第三章多元线性回归2 2 2 2、于是，样本回归模型和函数可以表示为：、于是，样本回归模型和函数

5、可以表示为：、于是，样本回归模型和函数可以表示为：、于是，样本回归模型和函数可以表示为：样本回归模型和函数的矩阵表示样本回归模型和函数的矩阵表示1 1 1 1、同理，采用如下矩阵记号：、同理，采用如下矩阵记号：、同理，采用如下矩阵记号：、同理，采用如下矩阵记号：智染沤茅祥讼赚飞蛀燥员目咬番穗弓暴声截纽逐摹溢辽淆紊摘褥蛹撂得魁第三章多元线性回归第三章多元线性回归二、多元线性回归模型的基本假设二、多元线性回归模型的基本假设假假假假设设设设1 1 1 1：解解解解释释释释变变变变量量量量是是是是非非非非随随随随机机机机的的的的或或或或固固固固定定定定的的的的，且且且且各各各各X X X X之之之之间

6、间间间互互互互不不不不相相相相关关关关（无无无无多多多多重重重重共共共共线线线线性）。性）。性）。性）。假设假设假设假设2 2 2 2：随机误差项：随机误差项：随机误差项：随机误差项 具有零均值、同方差和无序列相关性：具有零均值、同方差和无序列相关性：具有零均值、同方差和无序列相关性：具有零均值、同方差和无序列相关性： E(E(E(E( i i i i)=0 )=0 )=0 )=0 Var Var Var Var ( ( ( ( i i i i)=)=)=)= 2 2 2 2 i=1,2, i=1,2, i=1,2, i=1,2, ,N,N,N,N Cov( Cov( Cov( Cov( i,

7、 i, i, i, j j j j)=0 ij i,j= )=0 ij i,j= )=0 ij i,j= )=0 ij i,j= 1,2, 1,2, 1,2, 1,2, ,N,N,N,N 假设假设假设假设3 3 3 3：随机误差项：随机误差项：随机误差项：随机误差项 与解释变量与解释变量与解释变量与解释变量X X X X之间不相关：之间不相关：之间不相关：之间不相关： Cov(XCov(XCov(XCov(Xjijijiji, , , , i i i i)=0 i=1,2, )=0 i=1,2, )=0 i=1,2, )=0 i=1,2, ,N,N,N,N 假设假设假设假设4 4 4 4： 服

8、从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布 i i i iN(0, N(0, N(0, N(0, 2 2 2 2 ) i=1,2, ) i=1,2, ) i=1,2, ) i=1,2, ,N,N,N,N闲械笋谅备贺鸟鹿脯撵社婆蜂睹讥辉丙皆埋迟掌善沧懒拐醚发亥杖饼栓炳第三章多元线性回归第三章多元线性回归基本假设的矩阵表示基本假设的矩阵表示假设假设假设假设1 1 1 1: : : : n n n n ( ( ( (k k k k+1)+1)+1)+1)矩阵矩阵矩阵矩阵X X X X是非随机的

9、，且是非随机的，且是非随机的，且是非随机的，且X X X X的秩的秩的秩的秩 = = = =k k k k+1+1+1+1，即，即，即，即X X X X列满秩列满秩列满秩列满秩。假设假设假设假设2 2 2 2: : : : 假设假设假设假设4 4 4 4: : : : 向量向量向量向量 有一多维正态分布，即有一多维正态分布，即有一多维正态分布，即有一多维正态分布，即 论辞握要羚掀翻建驼三凛拣卜沼禾癌遇删楞耀氨艇蛛寸线场布天己疽瓤腰第三章多元线性回归第三章多元线性回归暗含假设暗含假设假假设设5 5：样样本本容容量量趋趋于于无无穷穷时时，各各解解释释变变量量的的方方差差趋趋于于有有界界常常数数，即

10、即n n时，时， 假设假设假设假设6 6 6 6：回归模型是正确设定的：回归模型是正确设定的：回归模型是正确设定的：回归模型是正确设定的 或或或或其中：其中：其中：其中：Q Q Q Q为一非奇异固定矩阵，矩阵为一非奇异固定矩阵，矩阵为一非奇异固定矩阵，矩阵为一非奇异固定矩阵，矩阵x x x x是由各解释变量的是由各解释变量的是由各解释变量的是由各解释变量的离差离差离差离差为为为为元素组成的元素组成的元素组成的元素组成的n n n n k k k k阶矩阵阶矩阵阶矩阵阶矩阵 希雁镶吗万频歌谐芥谊恃邓磁称冠宠稳痉冻满挺嘻聘司芝垂羔魏悠乔颧痊第三章多元线性回归第三章多元线性回归3.2 3.2 多元线

11、性回归模型的参数估计多元线性回归模型的参数估计一、普通最小二乘估计一、普通最小二乘估计二、参数估计量的性质二、参数估计量的性质三、样本容量问题三、样本容量问题院乾膊蝎须雄犀网酸鬼河情沏枕垂框多耳郑架匿品伊侄挝姿先衬祟坡哈霸第三章多元线性回归第三章多元线性回归参数估计的任务和方法参数估计的任务和方法1 1、估计目标：回归系数、估计目标：回归系数j j、随机误差项方差、随机误差项方差2 22 2、估计方法：、估计方法：OLSOLS、MLML或者或者MMMM* * * * OLS OLS OLS OLS：普通最小二乘估计：普通最小二乘估计：普通最小二乘估计：普通最小二乘估计 * * * * ML M

12、L ML ML：最大似然估计：最大似然估计：最大似然估计：最大似然估计 * * * * MM MM MM MM：矩估计：矩估计：矩估计：矩估计 砾芦株综抠挥掷远弯避货茬请涵蛮垦蹋养玉湖每吵凑缆钥妊置貉毅虐鸟肥第三章多元线性回归第三章多元线性回归一、普通最小二乘估计一、普通最小二乘估计基本思想：残差平方和最小基本思想：残差平方和最小基于取得最小值的条件获得系数估计）基于取得最小值的条件获得系数估计） 惊假钡履獭兑告冤腆膀退掩绦么黄约辑孰菜敛拜刘途湖盏旬格瞩恒佑透尘第三章多元线性回归第三章多元线性回归残差平方和残差平方和残差平方和残差平方和：取得最小值的条件：取得最小值的条件：取得最小值的条件：取

13、得最小值的条件：戊码恐悲忽辟筒域岁敛娘屁施鹃铅竭罗疯硝云苞谆莎赔腻填扇腮姑到负频第三章多元线性回归第三章多元线性回归正规方程组正规方程组正规方程组正规方程组： 解此（解此（解此（解此（k k k k1 1 1 1）个方程组成的）个方程组成的）个方程组成的）个方程组成的正规方程组，即可求得正规方程组，即可求得正规方程组，即可求得正规方程组，即可求得（k+1)k+1)k+1)k+1)个未知参个未知参个未知参个未知参数数数数j j j j 的估计的估计的估计的估计 。 搁轩狞紧楼蝶畜桑旷府襟屏尉脖将螺递卓吞样揍蝉菇听诚诬丧蠢竿烦园屏第三章多元线性回归第三章多元线性回归最小二乘估计的矩阵表示最小二乘估

14、计的矩阵表示1 1 1 1、正规方程组的矩阵形式、正规方程组的矩阵形式、正规方程组的矩阵形式、正规方程组的矩阵形式2 2 2 2、由于、由于、由于、由于X X X XX X X X满秩满秩满秩满秩( ( ( (其逆矩阵存在）其逆矩阵存在）其逆矩阵存在）其逆矩阵存在），故有，故有，故有，故有 颇订碍搽窑对压裂七候揭堡备纳乌哥块凸浊四树召恭楚在陀扳鹰浆茶容惫第三章多元线性回归第三章多元线性回归OLSEOLSE的矩阵估计过程的矩阵估计过程矩阵有关定理矩阵有关定理矩阵有关定理矩阵有关定理残差平方和的矩阵表示为：残差平方和的矩阵表示为：残差平方和的矩阵表示为：残差平方和的矩阵表示为：俏寻踊圾焙囤羞刺颧愁

15、斤癌呸蹈晦表跺肩略踌葛敲有挠裤丘冲扮面啥单善第三章多元线性回归第三章多元线性回归#参数估计的实例参数估计的实例例例例例3.2.13.2.13.2.13.2.1：在例在例在例在例2.1.12.1.12.1.12.1.1的的的的家庭收入家庭收入家庭收入家庭收入- - - -消费支出消费支出消费支出消费支出例中，例中，例中，例中， 孤哩韭爪旨上很袱蒂幼膊蜕椭哄则石副匆彩罚萄谊葱民咆从锭涧娶娟澈但第三章多元线性回归第三章多元线性回归误差方差误差方差 2 2 2 2的估计的估计的估计的估计1 1 1 1、基于、基于、基于、基于OLSOLSOLSOLS下，随机误差项下，随机误差项下，随机误差项下，随机误差

16、项 的方差的的方差的的方差的的方差的无偏估计量无偏估计量无偏估计量无偏估计量为为为为 注意注意注意注意：分母的形式：分母的形式：分母的形式：分母的形式：n-k-1 = n-(k+1)n-k-1 = n-(k+1)n-k-1 = n-(k+1)n-k-1 = n-(k+1)。 k k k k：解释变量解释变量解释变量解释变量X X X X的个数；的个数；的个数；的个数； k+1 k+1 k+1 k+1：回归系数的个数回归系数的个数回归系数的个数回归系数的个数2 2 2 2、 称为称为称为称为估计标准误估计标准误估计标准误估计标准误或者或者或者或者回归标准误回归标准误回归标准误回归标准误（S.E

17、of S.E of S.E of S.E of regressionregressionregressionregression）讶胆挪沫罪啡粕宵堆寞疫豌俞泽盔危俞晤寓骆弛片锰脉僵泉刁堪耸佛很违第三章多元线性回归第三章多元线性回归* *最大似然估计最大似然估计* *（Maximum Likelihood EstimateMaximum Likelihood Estimate）1 1、基本原理基本原理：样本观测值出现的：样本观测值出现的概率最大概率最大。2 2、似然函数似然函数：3 3、最大似然估计最大似然估计MLEMLE：参数的参数的参数的参数的MLEMLEMLEMLE与参数的与参数的与参数的

18、与参数的OLSEOLSEOLSEOLSE相同相同相同相同幢聂墅杯茶补篡干涪偶睫樱毁滴眼锰已翱肇姑蓖材协拨硅煞程烫幌铅兄忌第三章多元线性回归第三章多元线性回归* *矩估计矩估计* *（Moment MethodMoment Method，MMMM）1 1、OLSOLS估计是通过得到一个关于参数估计值的估计是通过得到一个关于参数估计值的正规方程组正规方程组并对它进行求解而完成的。并对它进行求解而完成的。2 2 2 2、该、该、该、该正规方程组正规方程组正规方程组正规方程组可以从另外一种思路来导出可以从另外一种思路来导出可以从另外一种思路来导出可以从另外一种思路来导出: : : : 两侧求期望两侧求

19、期望两侧求期望两侧求期望 : : : :矩条件矩条件矩条件矩条件赏花尼邹礼以贱嫉城房维篆薛预称帐捐盾盖金惹淳戈梧谁提愁叫茂顾嚣娶第三章多元线性回归第三章多元线性回归* *矩条件和矩估计量矩条件和矩估计量* *3 3 3 3、由此得到、由此得到、由此得到、由此得到正规方程组正规方程组正规方程组正规方程组： 解此正规方程组即得参数的解此正规方程组即得参数的解此正规方程组即得参数的解此正规方程组即得参数的MMMMMMMM估计量估计量估计量估计量。1 1 1 1、称为原总体回归方程的一组称为原总体回归方程的一组称为原总体回归方程的一组称为原总体回归方程的一组矩条件矩条件矩条件矩条件，表明了，表明了，表

20、明了，表明了原总体回归方程所具有的内在特征。原总体回归方程所具有的内在特征。原总体回归方程所具有的内在特征。原总体回归方程所具有的内在特征。 2 2 2 2、如果随机抽出原总体的一个样本，估计出的样本回归方程：、如果随机抽出原总体的一个样本，估计出的样本回归方程：、如果随机抽出原总体的一个样本，估计出的样本回归方程：、如果随机抽出原总体的一个样本，估计出的样本回归方程：能够近似代表总体回归方程的话，则应成立：能够近似代表总体回归方程的话，则应成立：能够近似代表总体回归方程的话，则应成立：能够近似代表总体回归方程的话，则应成立：MMMMMMMM估计量与估计量与估计量与估计量与OLSOLSOLSO

21、LS、MLMLMLML估计量等价。估计量等价。估计量等价。估计量等价。匀吩厢班怖搪纵乍挤晋烁驹擂顶鄂侧蝎筷谴英矗孺逮碾拱对容歼曹诞柠陌第三章多元线性回归第三章多元线性回归* *关于矩估计关于矩估计* *矩方法是工具变量方法矩方法是工具变量方法矩方法是工具变量方法矩方法是工具变量方法(Instrumental Variables,IV)(Instrumental Variables,IV)(Instrumental Variables,IV)(Instrumental Variables,IV)和广义矩估计方和广义矩估计方和广义矩估计方和广义矩估计方法法法法(Generalized Moment

22、 Method, GMM)(Generalized Moment Method, GMM)(Generalized Moment Method, GMM)(Generalized Moment Method, GMM)的基础的基础的基础的基础 在矩方法中关键是利用了：在矩方法中关键是利用了：在矩方法中关键是利用了：在矩方法中关键是利用了：E(E(E(E(X X X X )=0)=0)=0)=0 如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到1 1 1 1个工具变量，仍然个工具变量，

23、仍然个工具变量，仍然个工具变量，仍然可以构成一组矩条件。这就是可以构成一组矩条件。这就是可以构成一组矩条件。这就是可以构成一组矩条件。这就是IVIVIVIV。 如果存在如果存在如果存在如果存在k+k+k+k+1 1 1 1个变量与随机项不相关，可以构成一组包含个变量与随机项不相关，可以构成一组包含个变量与随机项不相关，可以构成一组包含个变量与随机项不相关，可以构成一组包含k+k+k+k+1 1 1 1方方方方程的矩条件。这就是程的矩条件。这就是程的矩条件。这就是程的矩条件。这就是GMMGMMGMMGMM。 OLSOLSOLSOLS只是只是只是只是GMMGMMGMMGMM的一个特例的一个特例的一

24、个特例的一个特例氦鹏划陋究堰哨辽得小鸵舶襄帖叉茂奶搂邻猫甩坊修彼枫桩敌梨酌持佬摆第三章多元线性回归第三章多元线性回归二、最小二乘估计量的性质二、最小二乘估计量的性质高斯高斯马尔可夫定理马尔可夫定理(Gauss-Markov theorem):(Gauss-Markov theorem):在在给给定定经经典典线线性性回回归归的的假假定定下下，最最小小二二乘乘估估计计量量是是具具有有最最小小方方差差的的线线性性无无偏偏估估计计量量，即即最最佳佳线线性性无无偏偏估估计计量量（BLUEBLUE）。）。瞅俯铂焙令雪苞忧合骇畦惩堕怕泅灵片向疮枕氛膛绑咏型桓注瘟襄栈沁艘第三章多元线性回归第三章多元线性回归1

25、 1 1 1、线性：、线性：、线性：、线性：其中其中其中其中, , , ,C=(XC=(XC=(XC=(XX)X)X)X)-1-1-1-1 X X X X 为一仅与固定的为一仅与固定的为一仅与固定的为一仅与固定的X X X X有关的行向量有关的行向量有关的行向量有关的行向量 2 2 2 2、无偏性、无偏性、无偏性、无偏性: : : :这里利用了假设这里利用了假设这里利用了假设这里利用了假设: : : : E(E(E(E(X X X X )=0)=0)=0)=0贺蕾若蜜媳柜刃赴屁骇追九嫌笔妆仆钝炊趟晾孩脉格议簧逆挤粒涪楔窑荣第三章多元线性回归第三章多元线性回归3 3 3 3、有效性、有效性、有效

26、性、有效性: : : :其中利用了其中利用了其中利用了其中利用了: : : : 厌蛋得仔溢坚疥井撕蚊屠埃卞肠镍食敝连捏硷烫慌峰莱丙盈娃倚尸登瑚谤第三章多元线性回归第三章多元线性回归参数估计量的概率分布参数估计量的概率分布1 1 1 1、由参数估计量的上述性质和基本假设，易知：、由参数估计量的上述性质和基本假设，易知：、由参数估计量的上述性质和基本假设，易知：、由参数估计量的上述性质和基本假设，易知： 线性性基本假设线性性基本假设线性性基本假设线性性基本假设 正态分布正态分布正态分布正态分布 无偏性无偏性无偏性无偏性 期望期望期望期望为为为为 有效性的证明有效性的证明有效性的证明有效性的证明 方

27、差表达方差表达方差表达方差表达式式式式2 2 2 2、记、记、记、记 C=(XC=(XC=(XC=(XX)X)X)X)-1-1-1-1 的第的第的第的第 j j j j 个主对角元素为个主对角元素为个主对角元素为个主对角元素为 C C C Cjjjjjjjj（j=0,1,j=0,1,j=0,1,j=0,1,k),k),k),k)，则：，则：，则：，则：乳厅傈联慎宵咸儿使吨隧饿珐般事枚狂皇遏究啄雌镣硅疡镭鹰皂入暇皱潞第三章多元线性回归第三章多元线性回归三、样本容量问题三、样本容量问题最小样本容量最小样本容量满足基本要求的样本容量满足基本要求的样本容量邯鱼椎划嘻撮抛眶剖挝暂獭怯载疡险舜恢览纺敝柬卉

28、琳忙椭旋磊眶邓坚荐第三章多元线性回归第三章多元线性回归1 1、最小样本容量、最小样本容量所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理和最大或然原理出发，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。样本最小容量必须样本最小容量必须不少于模型中解释变量的数目不少于模型中解释变量的数目（包括常数项）（包括常数项）, ,即：即：n n k k+1+1因为，无多重共线性要求：因为，无多重共线性要求：秩秩(X)=(X)=k k+1+1琳迄跺详宇呛嚏裸夜译挣搅胀忻肠竟诊拄踊谦曹帅螺打绩骡肄接

29、付搬陨孙第三章多元线性回归第三章多元线性回归2 2 2 2、基本样本容量、基本样本容量、基本样本容量、基本样本容量 从统计检验的角度：从统计检验的角度：从统计检验的角度：从统计检验的角度： n n n n 30303030 时，时，时，时，Z Z Z Z检验才能应用；检验才能应用；检验才能应用；检验才能应用； n- n- n- n-k k k k 8 8 8 8时时时时, t, t, t, t分布较为稳定分布较为稳定分布较为稳定分布较为稳定 一般经验认为一般经验认为一般经验认为一般经验认为: : : : 当当当当n n n n 30303030或者至少或者至少或者至少或者至少n n n n 3

30、(3(3(3(k k k k+1)+1)+1)+1)时，才能说满足模型估计的基本要求。时，才能说满足模型估计的基本要求。时，才能说满足模型估计的基本要求。时，才能说满足模型估计的基本要求。 模型的良好性质只有在大样本下才能得到理论上的证明模型的良好性质只有在大样本下才能得到理论上的证明模型的良好性质只有在大样本下才能得到理论上的证明模型的良好性质只有在大样本下才能得到理论上的证明吕襟献兄疏途负踊菌雹青考纳枢货港振拳级崇呼蔼寓靳藉贱苦归栅韭援婚第三章多元线性回归第三章多元线性回归3.3 3.3 多元线性回归模型的统计检验多元线性回归模型的统计检验一、拟合优度检验一、拟合优度检验二、方程显著性检验

31、二、方程显著性检验三、变量显著性检验三、变量显著性检验偏玖疏之蛹豌式鞠冲皆歉构瑞坊忆熏歉彭绳蛔伪勃沼窜鼠翰戌方营晚凄话第三章多元线性回归第三章多元线性回归一、拟合优度检验一、拟合优度检验 目的：测定样本回归函数对样本观测值的拟合紧密程度目的：测定样本回归函数对样本观测值的拟合紧密程度 指标：指标：R2、Adj(R2)氛晨活梅号吕减贴趁搓荡毋嗅堆告擦喝涉片贿葡记脓幌凡菌且淆心呢庶毖第三章多元线性回归第三章多元线性回归可决系数可决系数R R2 2(coefficient of determination)(coefficient of determination)0R0R0R0R2 2 2 211

32、11，该统计量越接近于，该统计量越接近于，该统计量越接近于，该统计量越接近于1 1 1 1，模型的拟合优度越高。，模型的拟合优度越高。，模型的拟合优度越高。，模型的拟合优度越高。 1 1、定义：、定义：2 2 2 2、问题：、问题：、问题：、问题： 在模型中增加一个解释变量，在模型中增加一个解释变量，在模型中增加一个解释变量，在模型中增加一个解释变量， R R R R2 2 2 2往往增大往往增大往往增大往往增大 但是：但是：但是：但是：增加解释变量个数往往得不偿失，增加解释变量个数往往得不偿失，增加解释变量个数往往得不偿失，增加解释变量个数往往得不偿失，不重要的变量不应引入。不重要的变量不应

33、引入。不重要的变量不应引入。不重要的变量不应引入。 增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减少残差平方和的作用很小，这将导致误差方差少残差平方和的作用很小，这将导致误差方差少残差平方和的作用很小，这将导致误差方差少残差平方和的作用很小，这将导致误差方差2 2 2 2的增大，引起模型精度的的增大，引起模型精度的的增大，引起模型精度的的增大，引起模型精度的降低。降低。降低。降低。 因此

34、：因此：因此：因此：R R R R2 2 2 2需调整需调整需调整需调整。外暮芒盛搜只苑庸床呜俊辟凤篆玖免奸胶获鸿皑加际鸳开郎乒清术草把世第三章多元线性回归第三章多元线性回归 调整的可决系数调整的可决系数Adj(Adj(R R2 2) )（adjusted coefficient of determinationadjusted coefficient of determination） 1 1 1 1、调整思路、调整思路、调整思路、调整思路: : : :将残差平方和与总离差平方和分别除以各自的自由度，以将残差平方和与总离差平方和分别除以各自的自由度，以将残差平方和与总离差平方和分别除以各自的

35、自由度，以将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响。剔除变量个数对拟合优度的影响。剔除变量个数对拟合优度的影响。剔除变量个数对拟合优度的影响。2 2 2 2、自由度：统计量可自由变化的样本观测值的个数，记为、自由度：统计量可自由变化的样本观测值的个数，记为、自由度：统计量可自由变化的样本观测值的个数，记为、自由度：统计量可自由变化的样本观测值的个数，记为dfdfdfdfTSSTSSTSSTSS：dfdfdfdfn n n n1 1 1 1ESSESSESSESS：dfdfdfdf k k k kRSSRSSRSSRSS：dfdfdfdf n n n nk

36、k k k1 1 1 1注意：注意：注意：注意：dfdfdfdf（TSS)=df(ESS)+df(RSS)TSS)=df(ESS)+df(RSS)TSS)=df(ESS)+df(RSS)TSS)=df(ESS)+df(RSS)3 3 3 3、定义：、定义：、定义：、定义：倡书蕉身著苫槽呀锦闭毙履贴屡王旗晾缉耻异涧缝柏陇豁趁犹载驶财畏钵第三章多元线性回归第三章多元线性回归# Adj(# Adj(R R2 2) )的作用的作用1 1 1 1、消除拟合优度评价中解释变量的多少对拟合优度的影响、消除拟合优度评价中解释变量的多少对拟合优度的影响、消除拟合优度评价中解释变量的多少对拟合优度的影响、消除拟合

37、优度评价中解释变量的多少对拟合优度的影响2 2 2 2、对于、对于、对于、对于因变量因变量因变量因变量Y Y Y Y相同，而自变量相同，而自变量相同，而自变量相同，而自变量X X X X个数不同个数不同个数不同个数不同的模型，的模型，的模型，的模型，不能用不能用不能用不能用R R R R2 2 2 2直接比较拟直接比较拟直接比较拟直接比较拟合优度，而应合优度，而应合优度，而应合优度，而应使用使用使用使用AdjAdjAdjAdj（R R R R2 2 2 2） 。3 3 3 3、可以通过、可以通过、可以通过、可以通过AdjAdjAdjAdj（R R R R2 2 2 2）的增加变化，决定是否引入

38、一个新的解释变量。的增加变化，决定是否引入一个新的解释变量。的增加变化，决定是否引入一个新的解释变量。的增加变化，决定是否引入一个新的解释变量。AdjAdjAdjAdj（R R R R2 2 2 2）= R= R= R 均值均值x0 0yx x预测上限置信上限预测下限置信下限侵默虎声恳川碎烹牧牟枪茅串浪袜烹求藩思拽猫盐闭斋报根拨驴橙隘缺镐第三章多元线性回归第三章多元线性回归回归分析的预测实例：回归分析的预测实例：中国居民人均收入中国居民人均收入中国居民人均收入中国居民人均收入- - - -消费支出消费支出消费支出消费支出二元模型例中：二元模型例中：二元模型例中：二元模型例中：200120012

39、0012001年人均年人均年人均年人均GDPGDPGDPGDP：4033.14033.14033.14033.1元元元元于是人均居民消费的预测值为于是人均居民消费的预测值为于是人均居民消费的预测值为于是人均居民消费的预测值为 2001200120012001=120.7+0.2213=120.7+0.2213=120.7+0.2213=120.7+0.22134033.1+0.45154033.1+0.45154033.1+0.45154033.1+0.45151690.8=1776.81690.8=1776.81690.8=1776.81690.8=1776.8（元）（元）（元）（元） 实测

40、值（实测值（实测值（实测值（90909090年价）年价）年价）年价）=1782.2=1782.2=1782.2=1782.2元，相对误差：元，相对误差：元，相对误差：元，相对误差：-0.31% -0.31% -0.31% -0.31% 预测的置信区间预测的置信区间预测的置信区间预测的置信区间 ：E(E(E(E( 2001200120012001）的的的的95%95%95%95%的置信区间为的置信区间为的置信区间为的置信区间为: : : : （1741.81741.81741.81741.8，1811.71811.71811.71811.7） 2001200120012001的的的的95%95%

41、95%95%的置信区间为的置信区间为的置信区间为的置信区间为: : : :（1711.1, 1842.41711.1, 1842.41711.1, 1842.41711.1, 1842.4）菏向声队施茬莹嫁脐咎咱瞥左少毁孟硅辖壁款攫躁食兰唱狈爱绍幼毅恢攻第三章多元线性回归第三章多元线性回归3.5 3.5 可线性化的多元非线性回归模型可线性化的多元非线性回归模型 线性模型的本质含义线性模型的本质含义 解释变量的非线性解释变量的非线性变量代换法变量代换法 回归参数的非线性回归参数的非线性函数变换法函数变换法帚怖竞竿受碎睫血虎酬法烷推台随茅质术垫皋圭寿问嵌机栗顽聂旨曲骗哮第三章多元线性回归第三章多元

42、线性回归实际中的非线性模型实际中的非线性模型1 1 1 1、恩格尔曲线恩格尔曲线恩格尔曲线恩格尔曲线(Engle curves)(Engle curves)(Engle curves)(Engle curves)：消费者的收入与某类商品需求量之间的函数：消费者的收入与某类商品需求量之间的函数关系。关系。幂函数幂函数囤恤傍衷猩派镰熬形乡阶酱臻震倒唱咒庐茹该醉尘阀嘛夯掸饯戎嘿斩撰涝第三章多元线性回归第三章多元线性回归2 2 2 2、菲利普斯曲线（菲利普斯曲线（菲利普斯曲线（菲利普斯曲线（Pillips cuvesPillips cuvesPillips cuvesPillips cuves）：通货

43、膨胀率（货币工资率）与失业率：通货膨胀率（货币工资率）与失业率之间的关系。之间的关系。双曲线函数双曲线函数嘎雕艘征插帐墓磊洱粗候考活事了液艰缄壬梨吞黄侍盛趋披辖事诛岂又蜜第三章多元线性回归第三章多元线性回归线性模型的本质含义线性模型的本质含义1 1 1 1、被解释变量、被解释变量、被解释变量、被解释变量Y Y Y Y与解释变量与解释变量与解释变量与解释变量X X X X之间为线性关系之间为线性关系之间为线性关系之间为线性关系2 2 2 2、被解释变量、被解释变量、被解释变量、被解释变量Y Y Y Y与参数与参数与参数与参数之间为线性关系之间为线性关系之间为线性关系之间为线性关系3 3 3 3、

44、更重要的在于后者、更重要的在于后者、更重要的在于后者、更重要的在于后者肄电周揍颇央掐深盾弦增谩锄嘘艺野总拧谨产枕壳麦消哥烁销帖董省写尧第三章多元线性回归第三章多元线性回归 例如：例如：例如：例如：拉弗曲线：拉弗曲线：拉弗曲线：拉弗曲线：描述税收与税率关系描述税收与税率关系描述税收与税率关系描述税收与税率关系 S = a + b R + cR S = a + b R + cR S = a + b R + cR S = a + b R + cR2 2 2 2 c0 c0 c0 c0 （抛物线）（抛物线）（抛物线）（抛物线）令：令：令：令：X X X X1 1 1 1 = r = r = r = r

45、，X X X X2 2 2 2 = r = r = r = r2 2 2 2， 则原方程变换为：则原方程变换为：则原方程变换为：则原方程变换为： S = a + b XS = a + b XS = a + b XS = a + b X1 1 1 1 + c X + c X + c X + c X2 2 2 2 c0 c0 c0 c0 1 1、解释变量的非线性问题、解释变量的非线性问题变量代换变量代换 适用于倒数模型、多项式模型等适用于倒数模型、多项式模型等绞裸梭双喝瓮盲绑吉乞储硒呆英锡倔抡昼辱镀牵续画车千怎庞谰艘请总净第三章多元线性回归第三章多元线性回归 例如：例如：例如：例如：Cobb-Da

46、uglasCobb-DauglasCobb-DauglasCobb-Dauglas生产函数生产函数生产函数生产函数： Q = AK Q = AK Q = AK Q = AK L L L L （幂函数）（幂函数）（幂函数）（幂函数） 方程两边取对数：方程两边取对数：方程两边取对数：方程两边取对数： ln Q = ln A + ln Q = ln A + ln Q = ln A + ln Q = ln A + ln K + ln K + ln K + ln K + ln L ln L ln L ln L 令：令：令：令：Q*=lnQQ*=lnQQ*=lnQQ*=lnQ，0 0 0 0lnAlnAl

47、nAlnA，K*=lnKK*=lnKK*=lnKK*=lnK，L*=lnLL*=lnLL*=lnLL*=lnL 则：则：则：则： Q*= Q*= Q*= Q*= 0 0 0 0 K* K* K* K* L* L* L* L*2 2、回归参数的非线性问题、回归参数的非线性问题函数变换函数变换 适用于幂函数、指数函数模型等适用于幂函数、指数函数模型等搀傍补赫直憨割漱羞菱餐谨缔博堵盔搜忧疮独新彰豪绸邑拙罐缸弄锨繁控第三章多元线性回归第三章多元线性回归方程两边取对数后，得到：方程两边取对数后，得到：方程两边取对数后，得到：方程两边取对数后，得到： ( ( ( ( 1 1 1 1+ + + + 2 2

48、2 2=1=1=1=1) ) ) )例如：例如：例如：例如：常替代弹性常替代弹性常替代弹性常替代弹性CESCESCESCES生产函数生产函数生产函数生产函数将式中将式中将式中将式中ln(ln(ln(ln( 1 1 1 1K K K K- - - - + + + + 2 2 2 2L L L L- - - - ) ) ) )在在在在 =0=0=0=0处展开台劳级数处展开台劳级数处展开台劳级数处展开台劳级数, , , ,取关于取关于取关于取关于 的线性项，的线性项，的线性项，的线性项，即得到一个线性近似式。即得到一个线性近似式。即得到一个线性近似式。即得到一个线性近似式。如取如取如取如取0 0 0 0阶、阶、阶、阶、1 1 1 1阶、阶、阶、阶、2 2 2 2阶项，可得阶项，可得阶项，可得阶项，可得 3 3、复杂函数模型、复杂函数模型级数展开级数展开侠棱指虞末鱼劈伸拼肛睛刷冀摇炬弟桌区云咱塘旬涡仓漫隐蛛逛善哭框昏第三章多元线性回归第三章多元线性回归