《§4.1多元线性回归分析§4.2决策模型》由会员分享，可在线阅读，更多相关《§4.1多元线性回归分析§4.2决策模型（16页珍藏版）》请在金锄头文库上搜索。
1、课题第四章概率统计模型多元线性回归分析决策模型教学内容1 .多元线性回归分析2 .随机决策模型的基本原理与解法，及应用举例。教学目标1 .掌握多元线性回归分析的基本原理和建模的基本过程。2 .能够运用多元回归分析模型解决实际问题并进行模型分析。3 .掌握决策模型的计算方法，能够运用决策模型解决实际问题并进行模型分析教学重点1 .多元线性回归分析的基本原理，基本过程及其计算方法。2 .掌握随机决策模型的基本原理和建模的基本过程。3 .掌握决策模型的计算方法。4 .实际建模训练教学难点1 .多元线性回归分析的基本原理及其数值计算、运用模型解决实际问题2 .随机决策模型的基本原理及其决策准则的确定双
2、语教学 内容、安排Linear regression analysis线性回归分析Multivariate regression analysis多元回归分析decision analysis决策分析Decision rule决策规则Decision tree决策树教学手段、 措施采用多媒体教学的形式。以电子课件为主，粉笔黑板相结合为辅，使学生能够 充分利用课堂有效的时间了解尽可能多的相关知识,并结合启发式教学.作业、后记教学过程及教学设 计备注多元线性回归分析一.问题提出水泥凝固时放出热量问题：某种水泥在凝固时放出的热是y(/g)与水泥中 下列4种化学成分有关。X,的成分(%)占的成分(%)
3、5:4CaO - A/,O/Eq。?的成分(%)x4 : 2CaO - SiO2 的成分(%)现记录了 13组数据，列在表4-1中，根据表中的数据，试研究y与 期,，工3，匕四种成份的关系。表4 1编号为()X2(%)M%)%4(%)y/g)172666021291552311568204113184757526336115592273711768131224492541822102147426111402334121166912131068812回归分析 就是数理统计 中研究相关关 系的一种数学 方法，它就是通 过大量的试验 或观测，发现变 量之间关系的 统计规律。在现实生活中，变量与变量之
4、间经常存在一定的关系，一般来说，变量之间的关 系可以分为两大类，一类是确定性的关系，这种关系通常用函数来表示。例如，已知 圆的半径，那么圆的面积S与半径，的关系就可用函数关系：s =加来表示，这 时如果取定了 r的值，S的值就会完全确定了。另一类是非确定性关系，例如，人的 体重与身高之间的关系就是非确定性关系，一般来说，身高越高，体重越大，但是身 高相同的人体重往往是不相同的。再如，钢材的强度与钢材中含某种元素的含量，纤 维的拉伸倍数与强度，降雨量、气温、施肥量与农作物的产量等均属于这种关系。变 量之间的这种非确定性关系通常称为相关关系。二.多元线性回归分析模型为了研究方便，我们考虑一个变量受
5、其他变量影响时，把这变量称为因变量，记 为y,其他变量称为自变量，记为x,这时相关关系可记作Y = f(x)+(4-1)其中/(%)为当x=x时，因变量y的均值，即f(x)=E(YX=x)称/(X)为丫对X的回归函数，为丫与/(X)的偏差，它是随机变量，并假定 E()= 0 4回归函数可以是一元函数，也可以是多元函数，即y = /(须，与,，4) + (42)其中 f(xx2, - ,xni) = E(YX1 =xyX2 =x2,- -X, =xni)jm 元回归函 数，统称为多元回归函数。若回归函数/（七,不，/）中，m=1且/（为,/,4）是线性函数，则称 /（X）为是一元线性回归函数：?
6、 1且/（七,七”）是多元线性函数，则称其为 多元线性回归函数：若回归函数/（内,匕,X,”）是非线性函数，则称其为非线性回 归函数。对非线性回归，经常采用线性化的方法来处理。所以，目前研究最多的是线 性回归问题，且假定X1,Xz，,X,”和y均服从正态分布。回归分析的任务就是要求 出满足式（4-2）的回归函数/（占,/,七”），从而对所研究的相关关系做出所需的 预测和控制。多元回归模型的应用是相当广泛的，例如，某种商品的销售量可能受收入水平、 风俗习惯、产品质量、价格、宣传广告等多种因素的影响：某种产品的质量可能受生 产该产品时的温度、湿度、压力、原材料的质量和有害成分的含量等影响：工人的劳
7、 动生产率可能受学历、智力水平、情绪的稳定性和才能等因素的影响：某城市的用水 量可能与该城市的人口数及工业总产值有关。诸如此类的关系，可以通过多元回归分 析模型进行研究。例如，在水泥凝固时放出热量问题中，可建立线性回归模型Y = % +4再 + h2x2 + byx3 + b4x4 + (4-3)其中 E()= 0, D)= a2 o而外，仇/2口3，2和是未知参数，为了估计这些参数，将表4-1的值代入模 型（4-3）,得线性模型(4-4)M = % +-孙+%王2 +打再3 + ”%+ .E(j) = 0,Cov3，j) = 6产二(i,j = 1,3)一般地，多元线性回归模型可表示为:Y
8、= % +）内 +b2x2 +b3x3 +b4x4 +（4-5）其中，项2,/是自变量，耳为常数，仇也，,为回归系数， 九,久，也皆为未知，统称,4,4,翁为回归参数,一旦回归参数确定，则 多元线性回归模型就完全确定，一般假定随机误差& N（0,b?）。为了得到回归参数的估计值，就要对变量进行观测，假设对变量的（?）次 独立观测数据为：（如工小,，招Ji =,，则这些观测数据应满足式（4- 5）,即有必=%+仇孙+ %演2 +313 +。/4 +罚y2 = % + b2X22 + biX2i + b4X24 +1ryn = bo +/ +b2xn2 +b3xn3 +b4xn4+n 其中 E(g
9、)= 0,Cm，(与,邑)=4b2,G, J = l,若记】X = (y，乃,C,P = 15网2Xlr1 X2J 2%”So力,鬣）/， =（句，J,%)J/nx(；n+l)则多元线性回归的数学模型式（4-6）可以写成矩阵形式(4-7)Y = Xp + s 其中 E(s) = O.Var(s) = a2In 1-参数的最小二乘估计为了获得参夕的估计，我们采用最小二乘法，即选择?，使。(4)= 婷=, = (Y-XpY (Y X。)(4-8)r-1达到最小。将。(对求导数并令其为零，得 = -2Xr(y-X/7) = O即 x7 x/7 = x7y。记 L=XX,则LP = XtY(4-9)方
10、程(4-9)称为正规方程，其中X为x(? + l)阶矩阵，一般假定 次(X) = z + 1,由线性代数理论可知，L = XX为满秩矩阵，它的秩 rank(L) = m + ,则正规方程(4-9)有唯一解，记作/ P = UxXtY(4-10)我们来证明(4-10)式中方为参数向量夕的最小二乘法估计量，现用矩阵形 式来叙述其证明步骤。从式(48)知，对任意的夕Q = (Y-XP)1 (Y-XP)则有(Y - Xp)T(y - XP) = (Y-Xfi) + X(fl-(Y -Xfl) + X(p- fi)=(y-xp)T(x-xp)+(p-pyxTx(p-p)+(Y-xpyx (P- p)+(
11、p- P)tXt(Y-X P)(Y-X P)t(Y-X P)上述证明过程中应用了如下结果：Cp- pyxTxkp-p)= x (P- p)fX (P- /?)O(Y-X )7 X(P-P) = (YTX- PX X)p-P) = (YtX - Y,X)(0_0) = 0至此，在内工0时，证明7式y-,io)中的片是P的最小二乘法估计量。在实际工作中，常称(=R + 6E+ btn xm为经验线性回归方程。2 .最小二乘法估计量的性质首先我们在假定后()= 0,%)= 62/“的条件下，探讨一下由式(4-10)确 定的最小乘法估计最夕的性质(1)4装夕的线性无偏估计量晨/证：由于4=二/丫，每一
12、个&都是y,%的线性组合，因而是”的线 性估计量，此时称夕是夕的线性估计量。AE(p) = E(UlXTY) = I7XtE(Y) = CxXTEXp + 8)性质2告 诉我们，用最小 二乘法求出的 诸回归系数 b力也也” 之间存在相关 性，进一步可以 证明。= l：xXTXp + E(s) = l：XTXp = p 即 E(“)= a , (i = 1,。(2)4的协方差矩阵为b2L”,即D(bi) = be。 Cov(bi,bj ) = b，,(i, j =。,1,2,2 +1)=b EY一E(r)rE(r)f = B-bV B7 =UXT -a21n -（r1Xr）r L（3）/是/?的
13、最小方差线性元偏估计，即在所有线性元偏估计类中，有且只有 夕使其方差达到最小。3 .多元线性回归方程的显性检验从上面的参数估计过程可以看出，对于一批观察数据（%1，必,X沛）i - L,不论它们是否具有线性关系，总可以利用最小二乘法建立起多元线性回归方程 A A AAAy = bo + b x +b2 x2+- + bm xfn但是y与王，占，,7是否确实存在相关关系呢回归方程的效果如何呢这就要 进行“整个回归效果是否显著”的检验。当4 =d=” =0时，y与 引,心,与没有关系，回归模型没有意义，于是我们要检验”u： 仇=乩= = =0是否成立。若“0成立，则和公，,4对y没有影响；反之，若
14、“0不成立，则引，% 对），有影响，此时y与为,看,xf的线性关系显著，也称为整个回归效果显著。但 要注意，即使整个回归效果是显著的，y也可能只与某几个七关系密切（相应的。显 著不为零），而与另几个u关系不密切（相应的白为零）。这就是说，多元线性回归除 了首先要检验“整个回归是否显著”外，还要逐个检验每一个由是否为零，以便分辨 出哪些司对），并无显著影响，最后，还要对各个。作出区间估计。为了进行检验和区间估计，可以证明以下结论成立：1.A A A（1）。才（一? - 1），则。与22,以独立。b记y = Z.匕，/” = Z（n）2,则称心为总变差或称为y的离差平方 f1 r-l和。/.可进行如下分解：lyy = Z（E 一 （尸 + Z（H 一 （尸=。+ U这时。=工（上一/）称为残差平方和。U=Z（% -力2称为回归平方和。记s = !?,称其为剩余标准差或估计的标准差。V n一机一1由于/“不变，当然希望。越小越好，即U越大越好，因此，定义复相关系数C
