《数理统计课件 6.2 多元线性回归分析》由会员分享，可在线阅读，更多相关《数理统计课件 6.2 多元线性回归分析（23页珍藏版）》请在金锄头文库上搜索。
1、 6.2 多元线性回归分析多元线性回归分析 一、 多元线性回归模型一、 多元线性回归模型 上节讨论了一元回归模型，在实际问题中，遇到更多的是讨论随机变量上节讨论了一元回归模型，在实际问题中，遇到更多的是讨论随机变量Y与非随机变量与非随机变量12,mxxx?之间的关系，本节假设它们具有线性关系之间的关系，本节假设它们具有线性关系 011mmYxx =+?=+? (6.15) 这里这里2(0,)N ，2 01,m ?都是未知参数，都是未知参数，1m 。一般称由式。一般称由式(6.15)定义的模型为多元线性回归模型，称定义的模型为多元线性回归模型，称12,mxxx?为回归变量，为回归变量，01,m
2、?为回归系数。为回归系数。 设设12(,)TiiimixxxY?(1,2, )in= =?是是12(,)TmxxxY?的的n个独立观测，则它们满足关系个独立观测，则它们满足关系 01122,1,iiimimiYxxxin =+=+=? (6.16) 假设假设i 相互独立相互独立, 且且2(0,)(1, )iNin= =? 由于假设由于假设i 相互独立，由式相互独立，由式(6.16)知知iY亦相互独立，且亦相互独立，且 01122iiimimEYxxx =+=+?，2 iDY = =， 则有则有 2 01122(,),(1,2, )iiimimYNxxxin+=+=?。 对式对式(6.15)求数
3、学期望求数学期望 01122mmEYxxx =+=+? 一般称一般称 01122 mmYxxx=+?=+? 为为Y关于关于12,mxxx? 的的(理论理论)线性回归方程。线性回归方程。 为了今后讨论方便， 引入向量、 矩阵记号， 则式为了今后讨论方便， 引入向量、 矩阵记号， 则式(6.16)可写成矩阵形式。令可写成矩阵形式。令 1201(,) ,(,)nmYY YY=?，12(,)n = =? 1112121222121 11mmnnnmxxxxxxXxxx = ? ? ?式式(6.16)的矩阵表达式为的矩阵表达式为 YX = =+ + (6.16) EYX = = 因因 nnijYY =
4、=)(),cov( ， = =jijiYYjjij, 0,),cov(2 故故 2cov( ,)()()nY YE YEY YEYI = 这里这里nI表示表示n阶单位阵。对式阶单位阵。对式(6.15)给出的给出的m元线性回归模型，通常所考虑的问题是，对未知参数元线性回归模型，通常所考虑的问题是，对未知参数 和和2 进行估计，对进行估计，对 的某种假设进行检验，对的某种假设进行检验，对Y进行预报等。在下述讨论中，一般总假定进行预报等。在下述讨论中，一般总假定nm 和矩阵和矩阵X的秩等于的秩等于1m + +。 二、参数的估计二、参数的估计 对式对式(6.16)，通常采用最小二乘法寻求，通常采用最小
5、二乘法寻求 的估计量的估计量 ，即寻找，即寻找 的估计的估计 满足下面的条件满足下面的条件 221010()min()nmnmiijjiijj ijijYxYx =,j (6.17) 这里这里01,(1,2, )ixin=?，或写成矩阵形式，或写成矩阵形式 22|min|YXYX = (6.17) 一般可用微分法求式一般可用微分法求式(6.17)的解的解 . 令令210( )()nmiijj ijQYx =求解方程组求解方程组 210() ( )0nmiijj ijkkjjYxQ = ， 可得可得 10()0,0,1,nmiijjik ijYxxkm =?， 将上式变形可写为将上式变形可写为
6、110nnmiikijikj iijY xx x = 01(),0,1,mnijikj jix xkm = = ? 用矩阵表示，上述方程组可写为用矩阵表示，上述方程组可写为 ()X YX X = =， (6.18) 式式(6.18)一般称为正规方程，由于假设了一般称为正规方程，由于假设了X的秩为的秩为1m + +，所以，所以X X 是正定矩阵， 因而存在逆阵是正定矩阵， 因而存在逆阵1()X X ， 由式， 由式(6.18)可得可得 1()X XX Y = = (6.19) 将将 代入线性回归方程，于是可得代入线性回归方程，于是可得 0Y =+=+11x + +22x + +? mmx (6.
7、20) 以后将式以后将式(6.20)亦简称为线性回归方程，由此出发，可对亦简称为线性回归方程，由此出发，可对Y进行预测。进行预测。 类似上节对一元线性回归模型对类似上节对一元线性回归模型对2 的讨论，可用统计量的讨论，可用统计量 2*2101()1nmiijj ijYxnm =(6.21) 作为作为2 的估计，式的估计，式(6.21)也可用矩阵表示为也可用矩阵表示为 2*1()1YXnm =()YX 111() ()1YX X XX YYX X XX Ynm=11()1 1()1nYIX X XXYnmY YX Ynm =例题 6.5 例题 6.5 某种水泥在凝固时放出的热量某种水泥在凝固时放
8、出的热量Y(单位：cal)与水泥中下列四种化学成分有关： (1)(单位：cal)与水泥中下列四种化学成分有关： (1)123:3xCaO Al O ； (2)； (2)22:3xCaO SiO ； (3)； (3)32323:4xCaO Al OFe O； (4)； (4)42:2xCaO SiO 通过实验得到数据列于表 6.2 中，求通过实验得到数据列于表 6.2 中，求Y对对1234(,)Txxxx的线性回归方程。将数据代入式(6.9),经计算可得 的线性回归方程。将数据代入式(6.9),经计算可得 01234(,) (62.45021.55110.51010.10190.1441) =
9、则所求的线性回归方程为 则所求的线性回归方程为 123462.45021.55110.51010.10190.1441Yxxxx=+=+ 表 6.3 给出了表 6.3 给出了 iiYY 的数据表。 的数据表。 表 6.2 表 6.2 序号 1 %x2 %x3 %x4 %xY 1 2 3 4 5 6 7 8 9 10 11 12 13 7 1 11 11 7 11 3 1 2 21 1 11 10 26 29 56 31 52 55 71 31 54 47 40 66 68 6 15 8 8 6 9 17 22 18 4 23 9 8 60 52 20 47 33 22 6 44 22 26 3
10、4 12 12 78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4 1 2 3 4 5 6 7 8 9 10 11 12 13 7 1 11 11 7 11 3 1 2 21 1 11 10 26 29 56 31 52 55 71 31 54 47 40 66 68 6 15 8 8 6 9 17 22 18 4 23 9 8 60 52 20 47 33 22 6 44 22 26 34 12 12 78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115
11、.9 83.8 113.3 109.4 表 6.3 表 6.3 序号 iY iY iiYY 1 2 3 4 5 6 7 8 9 10 11 12 13 78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4 78.50 72.79 105.97 89.33 95.65 105.27 104.15 75.67 91.72 115.62 81.81 112.33 111.69 0.00 1.51 -1.67 -1.73 0.25 3.93 -1.45 -3.18 1.38 0.28 1.99 0.97 -2.29
12、 1 2 3 4 5 6 7 8 9 10 11 12 13 78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4 78.50 72.79 105.97 89.33 95.65 105.27 104.15 75.67 91.72 115.62 81.81 112.33 111.69 0.00 1.51 -1.67 -1.73 0.25 3.93 -1.45 -3.18 1.38 0.28 1.99 0.97 -2.29 三、 估计量的分布及性质 三、 估计量的分布及性质 一般来说，给定一组观测数据，代入式式
13、一般来说，给定一组观测数据，代入式式(6.19)(6.19)中，便可得到线性回归方程，即使中，便可得到线性回归方程，即使Y与回归变量与回归变量1(,)Tmxx?不具有线性关系，形式上也能得到线性回归方程，因此，须对回归系数做类似一元情形的假设检验.为此，先讨论估计量的分布， 由式(6.19)可知：不具有线性关系，形式上也能得到线性回归方程，因此，须对回归系数做类似一元情形的假设检验.为此，先讨论估计量的分布， 由式(6.19)可知：1()X XX Y = = ， 即， 即 的任一分量均是独立正态随机变量的任一分量均是独立正态随机变量1,nYY?的线性组合，由多元分布理论，随机向量的线性组合，由多元分布理论，随机向量 服从服从1m + +维正态分布 维正态分布
