《一元线性回归分析和多元线性回归分析》由会员分享，可在线阅读，更多相关《一元线性回归分析和多元线性回归分析（16页珍藏版）》请在金锄头文库上搜索。
1、一元线性回归分析和多元线性回归分析一元线性回归分析1. 简单介绍当只有一个自变量时，称为一元回归分析（研究因变量y和自变量x之间的 相关关系）；当自变量有两个或多个时，则称为多元回归分析（研究因变量 y 和 自变量x，x ,，x之间的相关关系）。如果回归分析所得到的回归方程关于 1 2 n未知参数是线性的，则称为线性回归分析；否则，称为非线性回归分析。在实际 预测中，某些非线性关系也可以通过一定形式的变换转化为线性关系，所以，线 性回归分析法成为最基本的、应用最广的方法。这里讨论线性回归分析法。2. 回归分析法的基本步骤回归分析法的基本步骤如下：（ 1 ） 搜集数据。 根据研究课题的要求，系统
2、搜集研究对象有关特征量的大量历史数据。由于 回归分析是建立在大量的数据基础之上的定量分析方法，历史数据的数量及其准 确性都直接影响到回归分析的结果。（2）设定回归方程。 以大量的历史数据为基础，分析其间的关系，根据自变量与因变量之间所表现出来的规律，选择适当的数学模型，设定回归方程。设定回归方程是回归分析 法的关键，选择最优模型进行回归方程的设定是运用回归分析法进行预测的基 础。（3）确定回归系数。 将已知数据代入设定的回归方程，并用最小二乘法原则计算出回归系数，确定回归方程。这一步的工作量较大。（ 4 ） 进行相关性检验。 相关性检验是指对已确定的回归方程能够代表自变量与因变量之间相关关 系
3、的可靠性进行检验。一般有R检验、t检验和F检验三种方法。（5） 进行预测，并确定置信区间。 通过相关性检验后，我们就可以利用已确定的回归方程进行预测。因为回归 方程本质上是对实际数据的一种近似描述，所以在进行单点预测的同时，我们也 需要给出该单点预测值的置信区间，使预测结果更加完善。3. 一元线性回归分析的数学模型用一元线性回归方程来描述x和y之间的关系，即iiy = a + ax + A （ i=1， 2，n）（2-1）i 01 i i式中，x和y分别是自变量x和因变量y的第i观测值，a和a是回归系数，n是ii01观测点的个数，A为对应于y的第i观测值y的随机误差。假设随机误差A满足iii如
4、下条件：服从正态分布；A的均值为零，即E（A）= 0 :A的方差等于b 2 ；iii各个A间相互独立，即对于任何两个随机误差A和A，其协方差等于零，即, i i jcovC , A ）= C 主 j）。ij基于上述假定，随机变量的数学期望和方差分别是E （y）= a + a E （xi01 i2-2）Y（A）=b 2I如果不考虑式中的误差项，我们就得到简化的式子y = a + a xi 01 i（2-3）该式称为y对x的一元回归模型或一元回归方程，其相应的回归分析称为一元线性回归分析。依据这一方程在直角坐标系中所作的直线就称为回归直线。4. 回归参数的估计回归模型中的参数a与a在一般情况下都是
5、未知数，必须根据样本观测数01据（x ,y ）来估计。确定参数a与a值的原则是要使样本的回归直线同观察值的拟i i01合状态最好，即要使得偏差最小。为此，可以采用最小二乘法的办法来解决。对 应于每一个x，根据回归直线方程式（2-3）可以求出一个$，它就是y的一个iii（ 估计值。估计值和观测值之间的偏差A = y -$.。要使模型的拟合状态最好,就是说要使n个偏差平方和最小为标准来确定回归模型。 为了方便起见，记yA _1 xi11yA1 x丿2， A =2， B =2MMM M_ y _A1 xnnnAa a a = oAa1则式（2-1）用矩阵形式表示为y = B A+ A2-4)设V为误
6、差A的负估值，称为y的改正数或残差，a为回归参数a的估值, 则可以写出类似于参数平差的误差方程V = Ba- y2-5)根据最小二乘原理VTV = min，求自由极值，得沁=2VTB = 0d aBTV 二 02-6）将误差方程（2-5）代入，即得法方程为BTBa = BTy（2-7）记x=1 Zx,niSyy2y2 - n y2 ， i1 y-ny = z y， ni i=1S =工(-x) = Zx2 -nx2 ,xxiii =1i =1Sxy丄（-x）（-亍）=工ii=1x y - nx yii i=1BtB =nxnxSxx2+ nxBTy 二Sxyny+ nxy于是可得回归参数的最小
7、二乘估值为a = TB BTy（2-8）即参数aa0a1x =-Sxx( _ 、/-H nS + nx2!n - xny1yS - xSy xx丿/=xxxyx1S + nxyxySxxSxy与方的具体表达形式为1a = y - xS / S0xy xx(2-9)a = S jS丿1xy xx求出参数*与*以后，就可以得到一元线性回归模型01AA Ay = a + a x012-10)由此，只要给定了一个x值，就可以根据回归模型求得一个9作为实际值y的 i i i 预测值。5. 精度分析对于给定的x，根据回归模型就可以求出y的预测值。但是用来预测y的i i i 精度如何，产生的误差有多大是我们
8、所关心的。这里采用测量上常用的精度指标 来度量回归方程的可靠性。一个回归模型的精度或剩余标准离差定义式为i=12-11)由于参数的个数是2,观测值总数是n，多余观测是(n-2)，因此式中分母是(n - 2)。运用估计平均误差可以对回归方程的预测结果进行区间估计。若观察值围绕回归直线服从正态分布，且方差相等，则有68.27%的点落在土&的范围内, 有95.45%的点落在土2A的范围内，有99.73%的点落在土3“的范围内。根据参数平差理论可知， aA 的协因数矩阵为Q = (BtB1 S + nx2 y xx丿,/n A ASaaxxx1( 2-12)从而， aA 的方差估值为2-13)22AA
9、0Aa01 x2、+n Sxx丿0Sxx6. 线性回归效果的显著性检验对一元线性回归模型的统计检验包括两个内容：一是线性回归方程的显著性 检验；二是对回归系数进行统计推断。在一元线性回归分析中，线性回归效果的好坏取决于y与x的线性关系是否 密切。若I a I越大，y随x的变化趋势就越明显；若I a I越小，y随x的变化趋势11就越不明显。特别的，当a= 0时，意味着y与x之间不存在线性相关关系，所1建立的线性回归方程没有意义。所以，只有当a0时，y与x之间才有线性相1关关系，所建立的线性回归方程才有实际意义。因此，对线性回归效果好坏的检验，就归结为对统计假设H : a二0;H : a丰0的检验
10、。若拒绝H，就认为线性回 0 1 1 1 0归有意义；若不能拒绝H，就认为线性回归无意义。下面介绍两种检验方法：F0检验法和相关系数检验法。1. F检验法进行F检验的关键在于确定一个合适的统计量及其所服从的分布。当原假设 成立时，根据F分布的定义可知y( a -丫-y-y I (、F 二 丄 F (1,n - 2),则以1-a1-a显著水平a拒绝H ；若F F (1,n-2),则认为线性回归方程效果极显著。0.99(2) 若F (1,n-2) F F (1,n-2),则认为线性回归方程效果显著。0.950.99(3)若F F G,n-2),则认为线性回归效果不显著。0.952. 相关系数检验法
11、相关系数检验法是通过y与x之间的相关系数对回归方程的显著性进行检nn验的，由样本观测值，即(x , y )(x , y ),A ,(x , y )，可以得到相关系数的实测值S 工（-x）（-亍）Siiiii =1i=1r = xy=S Sxx yy2-15)相关系数0 r 1，现作如下进一步分析。1）a，表0当r = 0时，S = 0，因而a = 0，此时线性回归方程y = a + a x -xy101明y与x之间不存在线性相关关系。(2) 当0 1 r 1 0时，a 0，1此时称y与x正相关；当r 0时，a 0，此时称y与x负相关；当I r I越1接近于0时，此时y与x的线性关系越微弱；当I
12、 r I越接近于1时，此时y 与 x 的线性关系越强。(3) 当I r I=1时，y与x完全线性相关，表明y与x之间存在确定的线性函数关系；当r=1时，称y与x正相关；当r=-1时，称y与x负相关。当给定显著性水平a =0.05或0.01，由P( r I r (n-2)，1-a则以显著性水平的关系a拒绝H ；若r r (n - 2),则认为线性回归方程效果极显著。0.99(2) 若r (n - 2) r r ( - 2)，则认为线性回归方程效果显著。0.950.99(3)若r r (n - 2),则认为线性回归效果不显著。0.95临界值r (n - 2)可由下式确定i-ar1-a(2)：F G, n-2)n 一 2 丿=i-aF Q, n 2 )+n 2)”1-a2-17)7. 实例解算序号12345678910xi25272932343635394245yi2.82.93.23.23.43.23.33.73.94.2设某线性回归问题的自变量x和观测值y的数据如表2-1所示，试求其回归方程。 ii表 2-1解 回归方程的建立。 由表中数据计算得SX 二 1 工 x 二空二 34.4,n i 10-1 y 33.8 338y 二 y 二 二 3.38n i 10i 1x2 nx2 二 12208 10 x 1183.36 二 3
