《多元线性回归分析—内容提要与案例》由会员分享，可在线阅读，更多相关《多元线性回归分析—内容提要与案例（13页珍藏版）》请在金锄头文库上搜索。
1、多元线性回归分析多元线性回归分析多元线性回归分析内容提要内容提要内容提要1. 1. 1.多元线性回归的数学模型多元线性回归的数学模型多元线性回归的数学模型【模型的理论假设模型的理论假设模型的理论假设】设是个自变量（解释变量），是因变量，pxxx,21L) 2 ( py则多元线性回归模型的理论假设是，ppxxxyL22110), 0(2N其中，是个未知参数，称为回归常数，称为回归系p,210L1p0p,21L数，为随机误差.), 0(2N【模型的建立模型的建立模型的建立】求元线性函数pppxxxEyL22110的经验回归方程，ppxxxy22110L其中，是的统计估计，分别是的统计估计，称为y
2、Eyp,210L,210pL经验回归系数.【模型的数据结构模型的数据结构模型的数据结构】设对变量向量的 次观测得到的样本数据为yxxxp,21Ln，.为了今后讨论方便，我们引进矩阵),(21iipiiyxxxL) 1 ( , 2 , 1 pniL，nyyyyM21npnppxxxxxxXLMMMLL1221111111p10M nM21于是，多元线性回归模型的数据结构为 Xy称为多元样本回归方程，其中,且各个相互独立.npXrank1)() ,(2 1nnnnIONi 由于矩阵是样本数据，的数据可以进行设计和控制，因此，矩阵称为回归设计矩XXX 阵或资料矩阵.注释注释注释 对多元线性回归模型理
3、论假设的进一步说明：对多元线性回归模型理论假设的进一步说明：对多元线性回归模型理论假设的进一步说明： 条件条件条件表明，表明，表明，是一个满稚矩阵，即矩阵是一个满稚矩阵，即矩阵是一个满稚矩阵，即矩阵列向量（解释变量）列向量（解释变量）列向量（解释变量）npXrank1)(XX 间线性无关，样本容量的个数应当大于解释变量的个数间线性无关，样本容量的个数应当大于解释变量的个数间线性无关，样本容量的个数应当大于解释变量的个数. . .反该假设时，称模型存在多重共反该假设时，称模型存在多重共反该假设时，称模型存在多重共 线性问题线性问题线性问题. . . 条件条件条件且各个且各个且各个相互独立表明，系
4、统受到零均值齐性方差的正相互独立表明，系统受到零均值齐性方差的正相互独立表明，系统受到零均值齐性方差的正) ,(2 1nnnnIONi 态随机干扰，系统自变量之间不存在序列相关，即态随机干扰，系统自变量之间不存在序列相关，即态随机干扰，系统自变量之间不存在序列相关，即，, , , . . .0)(iE jijiji, 0,),cov(2 , 2 , 1, njiL当当当时，称回归模型存在异方差时，称回归模型存在异方差时，称回归模型存在异方差. . .当当当时，称回归模时，称回归模时，称回归模jiji ),var()var(jiji , 0),cov( 型存在自相关型存在自相关型存在自相关. .
5、 .当模型违反上述假设后，就不能使用最小二乘法估计回归系数当模型违反上述假设后，就不能使用最小二乘法估计回归系数当模型违反上述假设后，就不能使用最小二乘法估计回归系数. . .解决方法将在后面介解决方法将在后面介解决方法将在后面介 绍，先介绍模型符合假设时的参数估计方法绍，先介绍模型符合假设时的参数估计方法绍，先介绍模型符合假设时的参数估计方法. . .2.2.2.模型参数的最小二乘估计模型参数的最小二乘估计模型参数的最小二乘估计【参数估计的准则参数估计的准则参数估计的准则】定义离差平方和，),(10pQL niiiyEy 12)( niippixxyi 12 110)(L求使得p,10L，)
6、,(min),(10,10 10ppQQp LL L称称为模型参数的最小二乘估计，称p,10Lp,21Lippiiixxxy22110L为因变量的回归拟合值，简称回归值或拟合值.称), 2 , 1( niyiLiiiyye为因变量的残差.), 2 , 1( niyiL【参数估计的算法参数估计的算法参数估计的算法】当满足元线性回归模型理论假设的条件时，模型参数的最小二乘解为p,21L.yXXXTT1可以证明, )(E,12)()cov( XXT，),(2jjjjcNpj, 2 , 1L其中. ppijTcXX1)(由此可见，是的无偏估计.协方差阵T p),(10LT p),(10L反映出估计量的
7、波动大小,由于是右乘一个矩阵，所以的)cov()cov(21)(XXT波动大小可以由抽样过程中进行控制.同一元线性回归分析一样，在多元线性回归中， 样本抽样要尽可能的分散.3.3.3.回归方程的显著性检验回归方程的显著性检验回归方程的显著性检验 多元回归方程显著性的整体性检验多元回归方程显著性的整体性检验多元回归方程显著性的整体性检验检验解释变量全体对因变量是否有显著影响，方法是检验，亦称方pxxx,21LyF差分析.【显著性检验基本定理显著性检验基本定理显著性检验基本定理】令 总偏差平方和，自由度. niiyySST 12)(1 nfT 回归平方和，自由度. niiyySSR 12)(pfR
8、 残差平方和，自由度. niiiyySSE 12)(1pnfE则有 . .SSESSRSST 且.) 1(2 2 pnSSE2) 1()(pnSSEE 与相互独立. .SSET p),(10L【显著性检验基本方法显著性检验基本方法显著性检验基本方法 F F F 检验检验检验( ( (方差分析方差分析方差分析)】)】)】检验假设检验假设检验假设. 0：H021pL检验统计量及其分布检验统计量及其分布检验统计量及其分布在为真时，与相互独立，于是检验统计量0HSSRSSE)(2 2pSSR.) 1,() 1/(/pnpFpnSSEpSSRF检验的显著性概率检验的显著性概率检验的显著性概率.FpnpF
9、Pp) 1,( 决策准则决策准则决策准则在显著性水平下，当时拒绝，即认为回归方程有显著意义.p0H 当时，称回归方程高度显著，标记为*；01. 0p 当时，称回归方程显著，标记为*；05. 001. 0 p 当时，称回归方程不显著，不做标记.05. 0p检验结果的报告（方差分析表）检验结果的报告（方差分析表）检验结果的报告（方差分析表）方差来源偏差平方和自由度值F值p显著性回归SSRpfR残差SSE1pnfEER fSSEfSSRF/FFPppnp) 1,( 总计SST1 nfT此外，与一元线性回归分析类似，可用可决系数SSTSSRR 2来测定回归方程对各个观测点的拟合程度，的值越大（小）表明
10、回归直线 1 , 02R2R 对各个观测点的拟合程度越高（低）. 多元回归方程中每个自变量对因变量影响显著性检验多元回归方程中每个自变量对因变量影响显著性检验多元回归方程中每个自变量对因变量影响显著性检验检验解释变量对因变量影响的显著性.jxy检验假设检验假设检验假设(). 0：jH0jpj, 2 , 1L检验统计量及其分布检验统计量及其分布检验统计量及其分布在为真时，检验统计量0H) 1, 1 () 1/(2 pnFpnSSEcFjjj j检验的显著性概率检验的显著性概率检验的显著性概率.jFpnFPp) 1, 1 (决策准则决策准则决策准则在显著性水平下，当时拒绝，即认为解释变量对因变量影
11、响显著.pjH0jxy若存在不显著的变量，取，从回归方程中剔除自变量.设从原回归方min 1jpjkFF kx程ppkkkkkkxxxxxy1111110LL中剔除自变量后，重新建立的回归方程中为kx，ppkkkkxxxxy* 1* 11* 11* 1* 0LL则可以证明，新回归方程的系数与原回归方程的系数有如下关系：，k kkkj jjcc*) , , 2 , 1(kjpjL. kjjjxy* 0对于新建立的回归方程，必须对每一个余下的变量再次进行检验，直至余下变量全 部显著为止.4.4.4.最优回归方程的选择最优回归方程的选择最优回归方程的选择 最优回归方程选择标准最优回归方程选择标准最优
12、回归方程选择标准 因子完备的原则因子完备的原则因子完备的原则 回归方程中包含所有对因变量有显著影响的自变量. 模型从简的原则模型从简的原则模型从简的原则 回归方程中所包含的自变量的个数尽可能的少. 充分拟合的原则充分拟合的原则充分拟合的原则 回归方程的剩余方差达到最小. 最优回归方程选择方法最优回归方程选择方法最优回归方程选择方法（逐步回归法）（逐步回归法）（逐步回归法） 根据问题所属专业领域的理论和经验提出对因变量可能有影响的所有自变量. 计算每一个自变量对因变量的相关系数，按其绝对值从大到小排序. 取相关系数绝对值最大的那个自变量建立一元线性回归模型，检验所得回归方 程的显著性，若检验表明
13、回归效果显著则转入，若检验表明回归效果不显著则停止建 模. 进行变量的追加、剔除和回归方程的更新操作：若检验表明回归效果显著，则按相关系数绝对值由大到小的顺序逐一将相应的自变 量引入回归方程；每引入一个新的自变量，对新回归方程中每一个自变量都要进行显著 性检验.若检验表明回归效果不显著，则剔除对因变量影响最小的自变量，更新回归方程； 对更新后的回归方程中的每一个自变量仍要进行显著性检验、剔除、更新，直到回归方 程中的每一个自变量都显著为止，再引入前面未曾引入的自变量.以此类推，直到无法剔除已经引入的自变量，也无法引入新的自变量为止.注释注释注释 逐步回归法不能保证得到真正的最优回归方程，但此法
14、是计算量较小、预测效果逐步回归法不能保证得到真正的最优回归方程，但此法是计算量较小、预测效果逐步回归法不能保证得到真正的最优回归方程，但此法是计算量较小、预测效果 较好、有工具软件支持、应用最多欧德一种方法较好、有工具软件支持、应用最多欧德一种方法较好、有工具软件支持、应用最多欧德一种方法. . . 逐步回归法受检验的显著性水平逐步回归法受检验的显著性水平逐步回归法受检验的显著性水平 影响较大，影响较大，影响较大， 较大将会有较多的自变量引入较大将会有较多的自变量引入较大将会有较多的自变量引入 回归方程，回归方程，回归方程， 较小将会导致一些重要的自变量被剔除较小将会导致一些重要的自变量被剔除较小将会导致一些重要的自变量被剔除. . .5.5.5.利用回归方程对系统进行预测利用回归方程对系统进行预测利用回归方程对系统进行预测 点预测点预测点预测 设预测点为，则T pxxxx),(002010
