《线性回归分析法》由会员分享，可在线阅读，更多相关《线性回归分析法（21页珍藏版）》请在金锄头文库上搜索。
1、线性回归分析法一元线性回归分析和多元线性回归分析一元线性回归分析1. 简单介绍当只有一个自变量时，称为一元回归分析(研究因变量y和自变量x之间的 相关关系)；当自变量有两个或多个时，则称为多元回归分析(研究因变量 自变量Xi , X2，Xn之间的相关关系)。如果回归分析所得到的回归方程关于未知参数是线性的，则称为线性回归分析；否则，称为非线性回归分析。在实 际预测中，某些非线性关系也可以通过一定形式的变换转化为线性关系，所以, 线性回归分析法成为最基本的、应用最广的方法。这里讨论线性回归分析法。2. 回归分析法的基本步骤回归分析法的基本步骤如下：(1) 搜集数据。根据研究课题的要求，系统搜集研
2、究对象有关特征量的大量历史数据。由 于回归分析是建立在大量的数据基础之上的定量分析方法，历史数据的数量及 其准确性都直接影响到回归分析的结果。(2) 设定回归方程。以大量的历史数据为基础，分析其间的关系，根据自变量与因变量之间所 表现出来的规律，选择适当的数学模型，设定回归方程。设定回归方程是回归 分析法的关键，选择最优模型进行回归方程的设定是运用回归分析法进行预测 的基础。(3) 确定回归系数。将已知数据代入设定的回归方程，并用最小二乘法原则计算出回归系数， 确定回归方程。这一步的工作量较大。(4) 进行相关性检验。相关性检验是指对已确定的回归方程能够代表自变量与因变量之间相关关 系的可靠性
3、进行检验。一般有 R检验、t检验和F检验三种方法。(5) 进行预测，并确定置信区间。通过相关性检验后，我们就可以利用已确定的回归方程进行预测。因为回 归方程本质上是对实际数据的一种近似描述，所以在进行单点预测的同时，我 们也需要给出该单点预测值的置信区间，使预测结果更加完善。3. 一元线性回归分析的数学模型用一元线性回归方程来描述Xi和yi之间的关系，即yiao aiXii (i =1，2，n) (2-1 )式中，Xi和分别是自变量x和因变量y的第i观测值，ao和是回归系数，n是观测点的个数，i为对应于y的第i观测值yi的随机误差。假设随机误差i满足 如下条件：服从正态分布；i的均值为零，即E
4、 i 0 :i的方差等于2 ； 各个i间相互独立，即对于任何两个随机误差 i和j，其协方差等于零，即,cov i, j 0 i j 。基于上述假定，随机变量的数学期望和方差分别是E yi ao aiE Xi（2-2）2I如果不考虑式中的误差项，我们就得到简化的式子yi ao aiXi（2-3）该式称为y对x的一元回归模型或一元回归方程， 其相应的回归分析称为一元线 性回归分析。依据这一方程在直角坐标系中所作的直线就称为回归直线。4. 回归参数的估计回归模型中的参数ao与ai在一般情况下都是未知数，必须根据样本观测数据Xi, yi来估计。确定参数ao与ai值的原则是要使样本的回归直线同观察值的
5、拟合状态最好，即要使得偏差最小。为此，可以采用最小二乘法的办法来解决。 对应于每一个Xi，根据回归直线方程式（2-3）可以求出一个y，它就是yi的一个估计值。估计值和观测值之间的偏差iyi yi o要使模型的拟合状态最好，就是说要使n个偏差平方和最小为标准来确定回归模型。Xi为了方便起见，记yiX2aoy2yaiyniXn则式（2-i）用矩阵形式表示为Ba(2-4)设V为误差 的负估值，称为y的改正数或残差，a为回归参数a的估值, 则可以写出类似于参数平差的误差方程V Ba y(2-5)根据最小二乘原理VTVmin，求自由极值，得山 2VTBaBtV 0（2-6）将误差方程（2-5）代入，即得
6、法方程为BTBa BTy（2-7）记Syy2yibtbnnx1 n yin i 12ny ，nxSxxSxyxi2SxxnxBTyny _nxy2Xi12nx ，xyi nxyi 1于是可得回归参数的最小二乘估值为BtB（2-8）即1Sxx nx ./nxny_Sxy nx y1ySxx xSxyxxSxy参数a0与a1的具体表达形式为(2-9)xy求出参数ao与ai以后，就可以得到一元线性回归模型y aoa!x(2-10)由此，只要给定了一个 人值，就可以根据回归模型求得一个 yi作为实际值yi 预测值。5. 精度分析对于给定的Xi，根据回归模型就可以求出yi的预测值。但是用yi来预测y 精
7、度如何，产生的误差有多大是我们所关心的。这里采用测量上常用的精度指 标来度量回归方程的可靠性。一个回归模型的精度或剩余标准离差定义式为1 n 2v.V.:vtv小yiyiin 2 i 1n 2(2-11)由于参数的个数是 2,观测值总数是n，多余观测是n 2，因此式中分母是n 2 o运用估计平均误差可以对回归方程的预测结果进行区间估计。若观察值围绕回归直线服从正态分布，且方差相等，则有68.27%的点落在的范围内, 有95.45%的点落在 2的范围内，有99.73%的点落在 3的范围内a的协因数矩阵为QBTBaa根据参数平差理论可知,(2-12)从而，a的方差估值为ao-2 xSxx(2-i3
8、)22丄aiSxx6.线性回归效果的显著性检验对一元线性回归模型的统计检验包括两个内容：一是线性回归方程的显著 性检验；二是对回归系数进行统计推断。在一元线性回归分析中，线性回归效果的好坏取决于y与x的线性关系是否疋线密切。若lail越大，y随x的变化趋势就越明显；若|ai|越小，y随x的变化趋势就越不明显。特别的，当ai 0时，意味着y与x之间不存在线性相关关系，所ai建立的线性回归方程没有意义。所以，只有当 关关系，所建立的线性回归方程才有实际意义。 检验，就归结为对统计假设Ho玄 0; Hi ： aiai 0时，y与x之间才有线性相 因此，对线性回归效果好坏的 0的检验。若拒绝H。，就认
9、为线性回归有意义；若不能拒绝H。，就认为线性回归无意义。下面介绍两种检验方法:F检验法和相关系数检验法。i. F检验法进行F检验的关键在于确定一个合适的统计量及其所服从的分布 设成立时，根据F分布的定义可知nyif n当原假2F i, n 2yiyi / n 2i i(2-i4)当给定显著性水平=0.05或0.0i，由F分布分位数值，由样本观测值计算出统计量F的实测值。若FFi表得临界值Fii, n 21,n 2，则以显著水平拒绝H0 ;若FF11,n 2则以显著水平接受H0般按下述标准判断。(1)若 FF099 i，n 2 ,则认为线性回归方程效果极显著。(2)若F0.95 i，n 2 FF
10、0.99 i，n 2 ,则认为线性回归方程效果显著。(3)若F F0.95l,n 2，则认为线性回归效果不显著。2.相关系数检验法相关系数检验法是通过 y与x之间的相关系数对回归方程的显著性进行检验的，由样本观测值，即X!, yi , X2, y2 , , Xn, yn，可以得到相关系数的实测值 为SxySxxSyyXi x yi yi 1-2 n 7Xi Xyi yi 1i 1(2-15)相关系数0 r 1，现作如下进一步分析。(1) 当r 0时，Sxy 0，因而a1 0，此时线性回归方程y a0 ai x a0，表明y与x之间不存在线性相关关系(2) 当0 |r| 1时，y与x之间存在一定
11、的线性相关关系，当r 0时，印0， 此时称y与x正相关；当r 0时，a1 0，此时称y与x负相关；当|r|越 接近于0时，此时y与x的线性关系越微弱；当|r|越接近于1时，此时y 与x的线性关系越强。(3) 当|r |=1时，y与X完全线性相关，表明y与X之间存在确定的线性函数关系；当r=1时，称y与X正相关；当r=-1时，称y与x负相关。当给定显著性水平 =0.05或0.01，由P | r | r1 n 21(2-16)来判断线性回归方程的效果。若本观测值算出的相关关系实测值r * n 2 ，则以显著性水平的关系拒绝H0 ;若r r1 n 2，则以显著性水平的关系接受H。一般按下述标准判断。
12、(1) 若r r.99 n 2 ,则认为线性回归方程效果极显著。(2) 若r.95 n 2 r 亦n 2 ,贝认为线性回归方程效果显著。(3) 若r 695 n 2 ,则认为线性回归效果不显著。临界值r1n 2可由下式确定n 口 2 叮汙兀-2(2-17)7.实例解算回归方程的建立 由表中数据计算得Xi3441034.4nyii 1空 3.3810Xi2Xi-2 nx1220810 118336 372.4yi2yi2ny115.9610 114.244 1.716Xix yinxyii 1nxy 1186.9 1162.72 24.18a1SxySxx24.18372.40.06493y a
13、1 x 3.38 0.06493 34.41.1464a。于是，就得到一元线性回归模型设某线性回归问题的自变量Xi和观测值yi的数据如表2-1所示，试求其回归方序号12345678910Xi25272932343635394245Yi2.82.93.23.23.43.23.33.73.94.2表2-10解程。y 1.14640.06493X计算y值。结果列于表2-2中。表2-2序号i23456789I0Xi25272932343635394245yi2.82.93.23.23.43.23.33.73.94.2yi2.772.903.033.223.353.483.423.683.874.07Vi0.030.000.I7-0.020.05-0.28-0.I20.020.030.I3精度评定单位权中误差为i nnii yi0.134、0.I4378回归方程系数中误差计算如下。a的权倒数iQ-a0n-2xSxxii034.4372.40.192,QaiiSxxi0.0027372.4a的方差估值为a0-2xSxx0.0034,ai0sxx0.0I0 4.84 I0 5其中误差为a0.059, ai显著性检验设0.022原假
