《方差分析及回归分析》由会员分享，可在线阅读，更多相关《方差分析及回归分析（21页珍藏版）》请在金锄头文库上搜索。
1、第九章 回归分析教学规定一元线性回归及线性有关明显性的检查法，运用线性回归方程进行预测。.可线性化的非线性回归问题及简朴的多元线性回归。n 本章重点：理解线性模型,回归模型的概念,掌握线性模型中参数估计的最小二乘法估计法。n 教学手段：讲练结合n 学时分派:6学时 9.1 一元线性回归回归分析是研究变量之间有关关系的一种记录推断法。例如，人的血压y与年龄x有关，这里x是一种一般变量,y是随机变量。与 之间的相依关系f()受随机误差的干扰使之不能完全拟定，故可设有: (1）式中f（)称作回归函数，为随机误差或随机干扰,它是一种分布与x无关的随机变量，我们常假定它是均值为0的正态变量。为估计未知的
2、回归函数f(x),我们通过n次独立观测,得x与的对实测数据(xi,yi）i=1,n，对f(x）作估计。实际中常遇到的是多种自变量的情形。例如在考察某化学反映时，发现反映速度与催化剂用量x,反映温度x2,所加压力x3等等多种因素有关。这里x1，x2,都是可控制的一般变量,y是随机变量，与诸xi间的依存关系受随机干扰和随机误差的影响，使之不能完全拟定,故可假设有: (9) 这里是不可观测的随机误差,它是分布与x1,，k无关的随机变量，一般设其均值为，这里的多元函数f(x1,)称为回归函数,为了估计未知的回归函数，同样可作n次独立观测,基于观测值去估计f(x1,xk)。如下的讨论中我们总称自变量x,
3、x2,xk为控制变量,y为响应变量，不难想象，如对回归函数(x,x)的形式不作任何假设,问题过于一般，将难以解决，因此本章将重要讨论y和控制变量1,x2,x呈现线性有关关系的情形,即假定(x,xk)=b0+b1x1+bkxk。并称由它拟定的模型(.1） (k=)及()为线性回归模型,对于线性回归模型,估计回归函数f（x1,x）就转化为估计系数b、b(i=1，k)。当线性回归模型只有一种控制变量时，称为一元线性回归模型,有多种控制变量时称为多元线性回归模型,本着由浅入深的原则,我们重点讨论一元的,在此基本上简朴简介多元的。91. 一元线性回归一、一元线性回归的数学模型前面我们曾提到,在一元线性回
4、归中，有两个变量，其中是可观测、可控制的一般变量,常称它为自变量或控制变量，y为随机变量,常称其为因变量或响应变量。通过散点图或计算有关系数鉴定y与之间存在着明显的线性有关关系,即与x之间存在如下关系:=a+ （3)一般觉得N（，2）且假设2与x无关。将观测数据（x,yi)(i=1,n)代入(9.3)再注意样本为简朴随机样本得: (9)称(9.3)或（9.4)(又称为数据构造式)所拟定的模型为一元(正态)线性回归模型。对其进行记录分析称为一元线性回归分析。不难理解 模型(.4）中EY=a+b，若记y=E（Y）,则y=+b,就是所谓的一元线性回归方程,其图象就是回归直线,b为回归系数，a称为回归
5、常数,有时也通称a、为回归系数。我们对一元线性回归模型重要讨论如下的三项问题：(1) 对参数a，和进行点估计,估计量称为样本回归系数或经验回归系数，而称为经验回归直线方程，其图形相应地称为经验回归直线。(2) 在模型（9.3)下检查y与x之间与否线性有关。(3) 运用求得的经验回归直线,通过x对y进行预测或控制。二、的最小二乘估计、经验公式现讨论如何根据观测值(xi,yi),=1,n估计模型(9.2)中回归函数（)=abx中的回归系数。采用最小二乘法,记平方和 (.) 找使(a.b)达到最小的a、作为其估计,即a.b为此，令化简得如教材所示的方程组（称为模型的正规方程)解得 （9.6)（)所示
6、的分别称为a、的最小二乘估计,式中称为经验回归(直线方程),或经验公式。例1 某种合成纤维的强度与其拉伸倍数有关。下表是24个纤维样品的强度与相应的拉伸倍数的实测记录。试求这两个变量间的经验公式。编 号135679101112拉伸倍数1.20.2.2.72.53.54.0.04.54.6强度y （Mpa）1.4.31.82.52.82.3.274.03.5423.5编 号1314516178192022224拉伸倍数x.05.6.06.3.5.0808.99.050.0强度y (pa)5.5505.56.46.05.36.57.0.8.0.8.1将观测值（i,yi)，i=,24在平面直角坐标系
7、下用点标出，所得的图称为散点图。从本例的散点图看出，强度y与拉伸倍数x之间大体呈现线性有关关系,一元线性回归模型是合用与x的。现用公式（96)求,这里=24由此得强度与拉伸倍数x之间的经验公式为 三、最小二乘估计的基本性质定理91一元线性回归模型(9.4）中，a、b的最小二乘估计满足:(1） (2) （3) 证:(1） 注意到对任意i,2，,n有 ()运用，将表达为： (9.7) (8)由于y1,y,yn互相独立,有 定理9.表白，a、b的最小二乘估计是无偏的,从(9.7)，(.8)还懂得它们又是线性的，因此(9.5)所示的最小二乘估计分别是a、的线性无偏估计。9.1.2 建立回归方程后进一步
8、的记录分析一、2的无偏估计由于2是误差(i=1,）的方差，如果i能观测，自然想到用来估计，然而i是观测不到的,能观测的是y.。由 (即i的估计），就应用残差来估计,因此，想到用 来估计2,我们但愿得到无偏估计,为此需求残差平方和的数学盼望，由定理9.2可推出(学员自验）于是得为2的无偏估计，例如9.1例1中即有定理9.2 令,则。我们称为原则误差，它反映回归直线拟合的限度。具体计算时可用。二、预测与控制1、预测问题对于一元线性回归模型 （9.9)我们根据观测数据(i,),i=,，n,得到经验回归方程,当控制变量x取值x0(0xi,i,n),如何估计或预测相应的0呢?这就是所谓的预测问题，自然我
9、们想到用经验公式，取来估计实际的，并称为点估计或点预测。在实际应用中，若响应变量比较难观测,而控制变量x却比较容易观测或测量，那么根据观测资料得到经验公式后，只要观测x就能求得y的估计和预测值,这是回归分析最重要的应用之一，例如在例1中，拉伸倍数x0=.5，则可预测强度但是，上面这样的估计用来预测y究竟好不好呢?它的精度如何？我们但愿懂得误差，于是就有考虑给出一种类似于置信区间的预测区间的想法。定理93 对于一元(正态)线性模型 （910)有 （1)服从二元正态分布。(2）(3) 是互相独立的随机变量。证明:略又，我们懂得y是r.,且与,y2,y互相独立，由定理9.3及定理2知，且由于y0与互
10、相独立(只与y1,，n有关),且yN(a+x,)由定理9.3知,与独立，故 (9.)对于给定的置信水平-,查自由度为-2的T分布表可得满足的临界值ta根据不等式的恒等变形可得的置信度为1-的置信区间为:这就是的置信度为1-的预测区间,它是觉得中心，长度为的区间，(记)，区间的中点随x0而线性变化，它的长度在处最短,x0越远离，预测区间的长度就越长。预则区间的上限与下限落在有关经验回归直线对称的两条曲线上,并是喇叭形。当较大，Lx充足大时, 可得y0的近似预测区间: （9.12) 上式阐明预测区间的长度，即预测的精度重要由拟定，因此在预测中,是一种基本而重要的量。2、控制问题在实际应用中往往还需
11、要考虑预测的反问题,即要以不不不小于1的概率将控制在(1,y2)内,也就是使 相应的x0应控制在什么范畴内。此类问题称为控制问题。根据前一段的讨论，若0满足 （.13）则可有因此控制问题一般是找满足(9.13)的x0的范畴。但求解很麻烦。一种近似的解决法是：由将，b，2分别用其无偏估计代,有从而根据查N（0.1)分布表拟定，于是y0的置信度1-的预测区间可近似觉得是要解决前述问题可以从满足:的x0去寻找x0的控制范畴。显然,当时，问题无解，否则方程组 有解由此得x0的控制范畴是(min(),max()三、线性有关的检查前面的讨论都是在假定y与x呈现线性有关关系的前提下进行的，若这个假定不成立,
12、则我们建立的经验回归直线方程也失去意义，为此必须对y与x之间的线性有关关系作检查,为解决这个问题,先作手：、偏差平方和分解记,称它为总偏差平方和,它反映数据yi的总波动,易得有如下分解式：其中就是前面提到的残差平方和,称为回归平方和,上式右边的交叉项： 由上可知,U越大，Qe就越小，x与y间线性关系就越明显;反之，x与y之间的线性关系越不明显。于是，自然地考虑到检查回归方程与否有明显意义是考察U/Q的大小，其比值大,则L中U占的比重大,回归方程有明显意义，反之,无明显意义。2、线性有关的F检查根据上段的思想来构造检查记录量,先看下面的定理。定理94 当H:b=0 成立时 /2（1),且Q与U互相独立。证:当H0成立时,由T2.11及h.2-2知, 于是由定理9.4,我们还知,且与互相独立,从而Q与U=独立,由上面的定理及分布的构造性定理知： （914)因此可选它作检查H0:=0 的检查记录量,当0为真时F的值不应太大，故对选定的水平0，由P()=查（1,）分布表拟定临界值F-分位数,当观测数据代入(914)式算出的F值合F1-时,不能接受H,觉得建立的
