多元线性回归分析模型

《多元线性回归分析模型》由会员分享，可在线阅读，更多相关《多元线性回归分析模型（19页珍藏版）》请在金锄头文库上搜索。

1、课题第四章概率统计模型多元线性回归分析决策模型教学内容1. 多元线性回归分析2. 随机决策模型的基本原理与解法，及应用举例。教学目标1. 掌握多元线性回归分析的基本原理和建模的基本过程。2. 能够运用多元回归分析模型解决实际问题并进行模型分析。3. 掌握决策模型的计算方法，能够运用决策模型解决实际问题并进行模型分析教学重点1. 多元线性回归分析的基本原理，基本过程及其计算方法。2. 掌握随机决策模型的基本原理和建模的基本过程。3. 掌握决策模型的计算方法。4. 实际建模训练教学难点1. 多元线性回归分析的基本原理及其数值计算、运用模型解决实际问题2. 随机决策模型的基本原理及其决策准则的确定双

2、语教学 内容、安排Linear regression analysis线性回归分析Multivariate regression analysis多元回归分析decision analysis决策分析Decision rule决策规则Decision tree决策树教学手段、措施采用多媒体教学的形式。以电子课件为主，粉笔黑板相结合为辅，使学生能够 充分利用课堂有效的时间了解尽可能多的相关知识,并结合启发式教学.作业、后记教学过程及教学设计备注4.1多元线性回归分析一.问题提出水泥凝固时放出热量问题：某种水泥在凝固时放出的热是y （ J / g ）与水泥中 下列4种化学成分有关。x : 3CaO

3、 - Al O 的成分（%）% : 3CaO - SiO 的成分（%）x : 4CaO - Al O - Fe O 的成分（%）% : 2CaO - SiO 的成分（%）现记录了 13组数据，列在表4 1中，根据表中的数据，试研究y与 % , % , % ,%四种成份的关系。1234表41编号x (%)x (%)x (%)x (%)y (J / g)172666078.52129155274.531156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911

4、140233483.8121166912113.3131068812109.4回归分析 就是数理统计 中研究相关关 系的一种数学 方法，它就是通 过大量的试验 或观测，发现变 量之间关系的 统计规律。在现实生活中，变量与变量之间经常存在一定的关系，一般来说，变量之间的关 系可以分为两大类，一类是确定性的关系，这种关系通常用函数来表示。例如，已知 圆的半径r，那么圆的面积S与半径r的关系就可用函数关系：S = 2来表示，这 时如果取定了r的值，S的值就会完全确定了。另一类是非确定性关系，例如，人的 体重与身高之间的关系就是非确定性关系，一般来说，身高越高，体重越大，但是身 高相同的人体重往往是不

5、相同的。再如，钢材的强度与钢材中含某种元素的含量，纤 维的拉伸倍数与强度，降雨量、气温、施肥量与农作物的产量等均属于这种关系。变 量之间的这种非确定性关系通常称为相关关系。二.多元线性回归分析模型为了研究方便，我们考虑一个变量受其他变量影响时，把这变量称为因变量，记 为r，其他变量称为自变量，记为x，这时相关关系可记作Y = f G )+8(4 1)其中f G)为当x = x时，因变量Y的均值，即f (% )= E(Y I X = x)称f (x)为Y对X的回归函数，8为Y与f (x)的偏差，它是随机变量，并假定 E( )= 0。回归函数可以是一元函数，也可以是多元函数，即Y = f (x ,

6、% ,，% ) + 8(4 2)其中 f (x , x ,，x ) = E (Y I X = x , X = x , . , X = x )为 m 元回归函12m1122m m(4-3)数，统称为多元回归函数。若回归函数f (x , X ,X )中，m = 1且f (x , X ,X )是线性函数，则称 12m12mf (X)为是一元线性回归函数；m 1且f (X , x ,，x )是多元线性函数，则称其为 多元线性回归函数；若回归函数f (X , ,1, x 2)是非线性函数，则称其为非线性回 归函数。对非线性回归，经常采用线性化的方法来处理。所以，目前研究最多的是线 性回归问题，且假定X

7、, X，X和y均服从正态分布。回归分析的任务就是要求 出满足式(4-2)的回归函数f (x, . , x )，从而对所研究的相关关系做出所需的 预测和控制。1 2 m多元回归模型的应用是相当广泛的，例如，某种商品的销售量可能受收入水平、 风俗习惯、产品质量、价格、宣传广告等多种因素的影响；某种产品的质量可能受生 产该产品时的温度、湿度、压力、原材料的质量和有害成分的含量等影响；工人的劳 动生产率可能受学历、智力水平、情绪的稳定性和才能等因素的影响；某城市的用水 量可能与该城市的人口数及工业总产值有关。诸如此类的关系，可以通过多元回归分 析模型进行研究。例如，在水泥凝固时放出热量问题中，可建立线

8、性回归模型Y=b +bx +b x +bx +b x +s01 1223 34 4其中 E (s ) = 0, D (s ) = b 2。而b ,b ,b ,b ,b和b 2是未知参数，为了估计这些参数，将表4-1的值代入模 01234型(4-3)，得线性模型(4-4) y = b + b x + b x + b x + b x + s J i 0 1 i1 2 i 2 3 i 3 4 i 4 iI E(s ) = 0, Cov (s ,s ) = 8 b 2, (i, j = 1, ,13)I ii j ij一般地，多元线性回归模型可表示为：Y = b + b x + b x + b x +

9、 b x + s(4-5)01 122334 4其中，x , x , x是自变量，b为常数，b ,b ,. , b为回归系数， 12m012mb , b , b , - , b皆为未知，统称b , b , b ,，b为回归参数，一旦回归参数确定，则 012m012m多元线性回归模型就完全确定，一般假定随机误差sN (0, b 2)。为了得到回归参数的估计值，就要对变量进行观测，假设对变量的n(n m)次 独立观测数据为：( y , x , x，x ), i = 1, - , n，则这些观测数据应满足式(4 -i i1 i2im5)，即有y = b + b x + b x + b x + b x

10、 + s101 112 123 134 141y = b + b x + b x + b x + b x + s201 212 223 234 242(4-6)y = b + b x + b x + b x + b x + s n 01 n 12 n 23 n 34 n 4 n其中 E (s ) = 0, Cov (s , s ) = 8 b 2, (i, j = 1, ., n)，若记Y =r 1i j(y , y一，yX11X21ij)t , P = (b 0, b1， ,b )t , s2X12X22X n1则多元线性回归的数学模型式Xnm J nx(m +1)(4-6)可以写成矩阵形式

11、Y = X p + (4 7)其中 E( ) = 0, Var ( ) = Q 21。1. 参数的最小二乘估计为了获得参p的估计，我们采用最小二乘法，即选择p，使Q (P )=五 2 = T = (Y Xp )T (Y Xp )(4 8)ii = 1达到最小。将Q (p)对p求导数并令其为零，得边=-2XT(Y Xp ) = 0 ap即 XT X p = X TY。记 L = XT X，贝0Lp = X ty(4 9)方程(4 9 )称为正规方程，其中X为n x (m + 1)阶矩阵，一般假定 rank (X ) = m + 1，由线性代数理论可知，L = X 丁 X为满秩矩阵，它的秩 ran

12、k (L) = m + 1，则正规方程(4 9)有唯一解，记作6 = L-1X ty(410)我们来证明(410 )式中任为参数向量p的最小二乘法估计量，现用矩阵形 式来叙述其证明步骤。从式(4 8)知，对任意的pQ = (Y Xp )T (Y Xp )则有(Y Xp )T (Y Xp ) = (Y X p ) + X (p - p )T (Y X p ) + X (p - p )=(Y - X p ) t (Y - X p ) + (p-p ) t XtX (p-p ) +(Y - X p ) T X (p - p ) + (p - p ) TXT (Y - X p ) (Y - X p )

13、 t (Y - X p )上述证明过程中应用了如下结果：(p -。) tXtX (p - p ) = X (p - p ) t X (p - p ) 0(Y - X p ) t X (B-p ) = (YtX - p XtX )(B- p ) = (YtX - YtX )(p-p ) = 0 至此，在|l| 0时，证明了式(410)中的p是p的最小二乘法估计量。在实际工作中，常称y =疗+ b x + b x为经验线性回归方程。011m m2. 最小二乘法估计量的性质首先我们在假定E( ) = 0, Var ( ) =。21的条件下，探讨一下由式(4-10 )确 定p的最小二乘法估计最p的性质

14、n(1) p是p的线性无偏估计量。证：由于p = L-1XTY，每一个b都是y，y的线性组合，因而b是b的线i1ni i性估计量，此时称p是p的线性估计量。E (B ) = E (L T XTY) = L T XTE (Y) = L t XtE (X P + )=L-1 Xt X P + E () = L-1 XtX P = P性质2告 诉我们，用最小 二乘法求出的 诸回归系数 b ,b , b ，b012m之间存在相关 性，进一步可以 证明。即 E (b ) = b，(i = 1,m)。(2)P的协方差矩阵为C 2L-1，即AD (b,) = b 2 cA ACov (b ,b ,) = b 2c ,(i, j = 0,1,2, . , m + 1)其中 L-1 = C = (c )八 Cov (P , P ) = E(BY?BE%) BY - BE (Y) T 证：记B = L-1X t，贝0 p = BYB E