《多元线性回归》由会员分享，可在线阅读，更多相关《多元线性回归（15页珍藏版）》请在金锄头文库上搜索。
1、摘要多元回归分析是分析若干个自变量一个因变量间的关系 。回归分析的基本思想是 : 虽然自变量和因变量之间没有严格的、 确定性的函数关系 , 但可以设法找出最能代表它 们之间关系的数学表达形式。回归后，其中利用方程的显著性检验和系数检验方程的拟合效果。有些回归方程 的系数检验没通过，是因为引进来没用的自变量，这时可以用逐步回归的方法剔除没 用的自变量。系数检验通过后还可能还会出现多重共线性问题，会导致回归模型得出 错误的结论，这时候需要人工剔除掉共线性较强的因变量。在实际问题中，有很多回归模型的被解释变量y与解释变量x之间的关系都不是线性的。最后还介绍了可以把曲线回归转化为线性回归的模型。目录一
2、、多元线性回归模型41. 多元线性回归一般形式。42. 多元线性回归模型的基本假定43. 多元回归参数的估计44. 回归方程的显著性检验45. 自变量的逐步回归6二、残差分析71.残差与残差图72.异常值原因及消除方法8三、多重共线性分析91.多重共线性简介及影响92.多重共线性的诊断103.多重共线性的消除11四、可化为线性回归的曲线回归131.曲线回归模型132.软件实现14五、附录数据说明15六、参考文献15七、评分表15一、多元线性回归模型1. 多元线性回归一般形式。在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。设随机变量y与一 般变量 x ， x ， x 的线性回归模型
3、为1 2 py =卩+卩x +卩x +.+卩x +0 1 1 2 2 p p其中，卩，卩，卩是p +1个位置参数，P称为回归常数，卩，卩称为回归系 0 1 p 0 1 p数。y称为解释变量（因变量），而x ,x ,.,x是p个可以精确测 量12p变量，称为解释变量（自变量）。&是随机误差。称E（y） = P +卩x +卩x +.+卩x01 12 2p p为理论方程。2. 多元线性回归模型的基本假定为了方便的进行模型的参数估计，对回归方程有如下一些基本假定：（1）解释变量x ,x ,.,x是确定性变量，不是随机变量，且要求rk（X）二p +1 n。12p是为了辨明回归方程的系数矩阵X中的自变量之
4、间不相关。X是一满秩矩阵。（2）随机误差项具有0均值和等方差，即E（ ） = 0, i = 1,2,.n,i|C 2, i = j,cov（& ,& ） = 0.05，在取显著性水平 =0.05 时也通不过显著性检验。这是需要用逐步回归的方3法删除没用的变量。5. 自变量的逐步回归 前进法。前进法的思想是变量由多到少，每次增加一个，直至没有课引入的变量为止。 后退法。后退法与前进法相反，首先用全部自变量建立一个回归方程，然后再这全部 自变量中选择一个最不重要的变量，将它从方程中剔除。这里介绍后退法的实际应用，从表2中可以看到13个变量中P数值最大，则应先删除3变量3,得到的回归系数检验如表3。
5、.系数a模型非标准,化系数标准系数tSig.B标准误差试用版2（常量）基本建设支出X1改造资金x2农业支出x4农林等部门事业费x5 工交部门事业费x6 流动部门事业费x7教育事业费x8科学事业费x9卫生事业费x10行政管理费x11 公检法司支出x12 城市维护费x13-4154884.873-25.49726.891-95.438-44.7128.122-179.05350.470-60.391-80.24347.02253.23040.6245446144.2649.55716.82151.86981.93262.282250.93513.485180.81739.60922.41334.5
6、6713.318-.326.209 -.280 -.079.010 -.042.680-.049 -.296.425.436.270-.763-2.6681.599-1.840-.546.130-.7143.743-.334-2.0262.0981.5403.050.455.016.127.082.592.898.485.001.742.058.050.141.007a.因变量：生产总值表三从表3中可以看到第6个变量P =0.898最大，应该删除该变量。以此类推，删除5次6就可以最终多元线性模型,见表4系数a模型非标准化系数标准系数tSig.B标准误差试用版6（常量）-3712014.0564
7、554130.634-.815.424基本建设支出X1-26.7787.522-.342-3.560.002改造资金x228.31111.817.2202.396.026农业支出x4-101.27634.646-.297-2.923.008教育事业费x849.19411.897.6634.135.000卫生事业费x10-73.62922.303-.272-3.301.003行政管理费x1149.94617.028.4512.933.008公检法司支出x1232.46215.730.2662.064.049城市维护费x1345.5859.140.3034.987.000a.因变量：生产总值表四可
8、以看到最终变量的系数检验p值都小于0.05，则每一个变量都对y显著。得到的回 归方程为y=-37120代6.778+28.3H 101.276+49.194 73.692 +49.94612481011+32.462x +45.585x1213但是从后面的分析得知此回归模型存在较强的多重共线性问题，还不能应用或预测。需 要进一步修正。二、残差分析一个线性回归通过了 t检验或F检验，只是表明变量x与y之间的线性关系是显著的，但不能保证数据拟合的很好，也不能排除由于意外原因而导致数据不完全可靠。因此，在利 用回归方程作分析和预测之间，应该用残差图帮组们诊断回归效果以及样本数据的质量没检 查模型是否满足基本假定，一边对模型作进一步的修改。1. 残差与残差图残差是实际观测值y与通过回归方程给出的回归值之差，残差e可以看作是误差项eii 的估计值。残差e =y -y =y -0 -0x，比较两个表达式可以正确区分残差e与误差i i i i 0 1 i i项*。i以自变量x作横轴（或以因变量回归值y作横轴），以残差作纵轴，将相应的残差点画在平面直角坐标系上，就可以得残差图。残差图可以帮我们对数据质量作一些分析。残差图的不同，他们分别说明样本数据的表现情况也不同。见图ad。 ) 残差（a）满意模式（c）模型不合适x
