《第八章方差分析与回归分析》由会员分享，可在线阅读，更多相关《第八章方差分析与回归分析（10页珍藏版）》请在金锄头文库上搜索。
1、-第八章第八章 方差分析与回归分析方差分析与回归分析1 1 单因素试验的方差分析单因素试验的方差分析试验指标试验指标:研究对象的某种特征。例例各人的收入。因素因素：与试验指标相关的条件。例例 各人的学历,专业，工作经历等与工资有关的特征。因素水平：因素水平：因素所在的状态例例 学历是因素，而高中,大学,研究生等,就是学历因素水平;数学,物理等就是专业的水平。问题问题:各因素水平对试验指标有无显著的差异？单因素试验方差分析模型单因素试验方差分析模型假设假设1）影响试验指标的因素只有一个，为A，其水平有r个：A1,）Xi N(i,i2)，且i22j。, Ar；2）每个水平Ai下，试验指标是一个总体
2、Xi。各个总体的抽样过程是独立的。问题：分析水平对指标的影响是否相同问题：分析水平对指标的影响是否相同1）对每个总体抽样得到样本Xij,1 j ni,由其检验假设：原假设H0:ij，i, j；备选假设:H1:ij，i, j;2）如果拒绝原假设,则对未知参数1,注注1)接受假设即认为：各个水平之间没有显著差异没有显著差异,反之则有显著差异显著差异。2）在水平只有两个时，问题就是双正态总体的均值假设检验问题和参数估计问题。,r,2进行参数估计。检验方法检验方法数据结构式：Xijiijiij,偏差ij N(0,2)是相互独立的，r1rnii。不难验证，i 0。ni1k1-各类样本均值各类样本均值1水
3、平水平Ai的样本均值：的样本均值：XiniXj1niij;r1rni1r水平总样本均值：水平总样本均值：X XijniXi,n ni;ni1 j1ni1i1偏差平方和与效应偏差平方和与效应组间偏差平方和：组间偏差平方和：SAni(Xi X) niXi2nX2；(衡量由不同水平产生的差异）2i1i1rr组内偏差平方和：组内偏差平方和：2SE(Xij Xi) (XijniXi2);（衡量由随机因素在同一水平上产生的2i1 j1i1j1rnirni差异）总偏差平方和：总偏差平方和：2（综合衡量因素,水平之间，随机因素的差ST(Xij X) niXijnX2；2i1 j1i1rnir异)定理定理1 1
4、(总偏差平方和分解定理)ST SA SE。即(Xij X) (Xij Xi) (Xi X)2,或直接证明。22i1 j1i1 j1i1 j1rnirnirni注注:利用(Xij Xi)(Xi X) 0即可证明。i1 j1rni定理定理2 2（统计特性）（统计特性）ESE (nr),ESA (r 1)n,EST (n1)nii2。22r2ii2ri1i1证证ESE(EX niEX ) (2i2)2nii2)2ij2ii1j1i1j1rnirni(ni1)2 (nr)2i1rESAniE(Xi X) niEXi2nEX22i1i1rrni(i1r2ni)n(2i2n2)- (r 1)nii22i1
5、r定理定理3 31）SE/22(nr),且SE与SA独立；2）如果假设H0成立，那么，ST/22(n1);且如果假设ni m，1i r,则还有，SA/22(r 1)。证证1)由于不同水平的样本间的独立性,SE较易处理。对固定的i，Xij N(i,i2)，j 1, Xij Xij1ni2,ni，且独立，所以由第五章定理 2 的结论，ni Xiji(Xii)2(ni1)，j122r22利用可加性,即得SE/(nir) 2(nr)，且Xi与SE独立。i11r注意到X niXi,因此X也与SE独立，从而SA也与SE独立。ni1注注这里只需方差假设相同，不需要假设均值相同。)Xiji N(0,1),且独
6、立，同样利用第五章定理,(i, jXijiXiji21) 2(n1)。ni, j但在假设成立时，(i, jXijiXiji211) 2(Xij X)2，即得结论。且ni, ji, jX与ST独立。 (X )(X )2同时，SA/2i(r 1)。i1r21r1注注此处结论证明利用了ni都相等,即利用:XkXij。 但上述结论在组样rk1ni, j本容量不同时,直接利用正交变换仍可类似证明。从统计角度看，如果假设H0成立，那么11ESE2ESA,而在假设不nrr 1SA/(r 1)111r12F ESAESEnES成立时,即统计量将iiESE/(nr)r 1nrr 1i1nr有偏大的趋势。那么，大
7、到何值可以采信为推翻假设的反例，就回到前面的假设检验问题了。-定理定理置信度为时,假设H0的检验问题的拒绝域为W F F(r 1,nr)。参数估计问题参数估计问题如果各因素有显著差异,即对某些水平ij，那么就需要估计这些参数的值和 2。1 1最大似然估计最大似然估计总体Xi N(i,2),密度函数为L(1,1e2(xi)222，所以最大似然函数为1(xiji)222,r,2) i, j22e，一般,我们把i分成两部分:ii,其中1i。ri所以i即表示了各水平的差异，有nii 0。i由此最大似然函数可表示为，L(,1,r,2) i, j122e(xiji)222。对数最大似然函数：lnL(,1,
8、约束条件：(xiji)n22，,r,) ln(2)222i, j2niii 0。求其最大值点得:lnL(,1,i, ji,r,) 22i, j(xiji)22 0，即：xijnnii 0;或，nx n 0。lnL(,1,i(k是拉格朗日乘子）,r,)knii 22i1r1 jni(xiji)22kni 0,即nixininiik2ni 0；或,xiik2 0；2ln L(,1,r,2) n22124(xi, jiji)2 0,即211222(x )xij2nx 2niixin2nii2,，或,ijini, jni, jii-整理结果得： x x， k2。ii 0，解得k2 x 。因此i xi
9、x。由此利用niii12x n22xijnx22ni所以iiii，ni, jii22n同时，niiixinii(xi x)2niixiiiiiix n (x x)x n x2nx2， niiiiiiiiiii因此22xijnixi2i, ji1nSE。n2. 2.区间估计区间估计第i个水平的均值：Xi N(i,2/ni),即其独立，所以(Xii)/niSE/(nr)2Xii N(0,1);且SE/22(nr)与/ni t(nr)。即可得到置信区间：(Xit/2(nr)SE,ni(nr)Xit/2(nr)SE)。ni(nr)SE)。ni(nr)但,必须注意，对整个问题而言，置信水平不再是1。记事
10、件Eii(Xit/2(nr)SE,ni(nr)iXit/2(nr)则P(Ei) 1。但P(Ei) 1 P(Ei) 1r。i2 2 一元线性回归一元线性回归设有两个总体(X,Y),它们之间不是独立的， 而是具有某种依赖关系,即对它们抽样，得到的是一对样本和观测值:(X1,Y1),( Xn,Yn),(x1, y1),(xn, yn)。例 父子的身高;某种动物体重和体积，等等。现在关心的问题是：从观测的结果,能否找出它们之间的联系?即Y f (X)(X),其中是随机变量。从实际问题出发，也可认为X是非随机的确定自变量,本来两者之间应该有确定的函数关系,但由于某种干扰,这种关系产生了某种不确定性。如何
11、合理地确定其-关系f (x)？一元线性回归模型一元线性回归模型假设假设1)Y 01x；） N(0,2)。每次抽样,Yi01xii,其中i N(0,2),且相互间是独立。等价的观点:Yi N(01xi,2)。问题问题由样本观测数据(x1, y1),方法方法1 1）确确定性观点：最小二乘法定性观点：最小二乘法,(xn, yn),如何合理估计参数0,1?min(yi01xi)2,0,1i1n使观测得到的的样本平方和偏差最小。nn1n1n解解记y yi,x xi,lxy(xi x)(yi y) xiyinxy，ni1ni1i1i1lxx(xix) x nx,lyy(yi y) yi2ny2。22i22
12、i1i1i1i1nnnnn(yi01xi) 0i1求偏导得n,解方程组得,(y x )x 0i01iii1ny n0n1x 0nn，2xiyinx01xi 0i1i1即xiyinxy 1(xi2nx2) 0，因此解为:i1i1nnlxy0 y xlxx。lxy1lxx2 2）随随机观点：最大似然估计机观点：最大似然估计最大似然函数L(y1,因此,由, yn;x1,1,xn;0,1) e2n(yi01xi)22i1n。lnLlnL 0，即得类似结论。01-注 把xi是确定值,则Lyy,Lxy,Y都是关于Y1,Yn的统计量。所以，在不代入观测Y Lxyx,Lxy也都是随机变量。值时，01LxxLx
13、x有结论,Lxy1x22Lxy2定理(1)0Y x N(0,(),1 N(1,);LxxnlxxLxxlxx,) x2；（2)cov(01lxx2(x x)10x N(x ,(0()y)2)。010010nlxx证:1(x x)(Y Y)iii1nLxxni1n(xi x)Yi，显然服从正态分布,Lxxnnn(x x)(x x)(x x)iii1EEYi(01xi) xi1(xi2nx2) 11LxyLxxLxxLxxi1i1i1i1222n(x x)(x x)2ii。DDYi122LLLi1i1xxxxxxnnn(xi x)x1(x x)xYiiYi也服从正态分布,且类似,0Y LxxLxx
14、i1i1nnn1(xi x)x1(x x)xE0EYii(01xi)LxxLxxi1ni1n01i1n(xi x)x(x x)xi x11i0LxxLi1xxn，222nn(x x)x(x x)x(x x) x1111x222iiiD DYi202nLnnLLnLi1i1i1xxxxxxxxnn1(x x)x(xj x)cov(0,1) icov(Yi,Yj)LxxLxxi1 j1nnn1(xi x)x (xi x)2(xi x)2x2x2 。2nLLLxxLxxi1i1xxxxnx是正态分布显然成立，0最后，y010001x0,Ey222(x x)1x2x1220 x D2x cov(,)
15、0 DDyx0x0201001nLxxLxxLxxnLxx该定理表明,上述参数估计都是无偏的,但要提高有效性，即减小其方差,就要n和202Lxx足够大。-回归方程的显著性检验回归方程的显著性检验如果回归方程中1 0,那么即说明Y和X不具有线性关系，就称回归方程 不显不显著著；否则，就称其是显著显著的。显著性检验显著性检验H0：1 0；H1：1 0（我们是准备接受结论H1的，以进行后面的工作;但是，如果直接把其作为原假设,所谓接受该假设，意思是说,H1成立时,没有出现小概率事件,就是说对该次抽样,不能否定H1。所以,对自已的主张一般不作为原假设。我们把其对立面H0作为原假设,意思是说，如果小概率
16、事件出现，就有理由认为该假设不合理,该次抽样是一个反例。因此,接受其对立面H1)x。抽样后，得到样本Yi,及其回归值Yi01 i各类偏差平方和各类偏差平方和先把记号定义整理一下:xi或Xi不具有随机性的量。Yi是样本，满足,是其无偏估计量,而Yi01xii,而yi是其观测值。0,1是参数 ,01x是其函数。L ,L ,Y都是统计量。Yyyxyi01 i总偏差平方和总偏差平方和ST(YiY)2 Lyy，i1n回归偏差平方和回归偏差平方和Y)2SR(Yii1n Lxy2x Y)2(Y (x x Y) 01iiLxxLxxLi1i1xx（由随机因素引起的偏差）nnLxyLxy2 Lxy22(x x
17、) L Lxxixx1Li1xxn2可以直接计算得到：ESR LxxE12 LxxD1(E1)22 Lxx12;残差平方和残差平方和)2SE(YiYii1n(YiY i12nLxyLxxx LxyLxxxi) YiY 2i1nLxyLxx(x xi)2,Lxy LxyL LyyL 2Lxy Lyyxx1xyLxxLxx(回归值和观察值的偏差:由随机误差,可能存在的非线性关系,都会引起该偏差)直接计算得到:ESE (n2)2。关于这些偏差有如下结果。-定理(）ST SR SE；x ) 0,(Y Y) (Y (利用(YiYii)xi(Yi01xi)xi 0)ii01ii1i1i1i1nnnn(2）
18、SE/22(n2);由此，ESE (n2)2。Lxy2（3)在假设H0成立时（即1 0时)，SR/(1)；1 N(0,);LxxLxx22）与SE,Y独立。(4）SR(或11证 (2）对SEYinY Lxxi122n(x x)(Y Y)iii1n2,做正交变换x1 xLxx1Z nan1nx2 xLxx1nan2xn x Lxx112其余向量Y Y ,1与2是单位正交的向量，nnannn具有一定的任意性，只要使其成为正交阵。这时,aj1ij 0， （与2正交);aijxj 0， （与1正交） 。j11Lxxn(01x)cov(z,z) 2I。同时,这时，EZ ，0SE/Z /Z /Z /Zi2
19、/2，是n2个独立标准正态分布的22i2222212i1i3nn随机变量的和,所以SE22(n2)。0n0(3)如果假设H0成立，EZ ，即Z1/2 N(0,1)。但02nnL11xyZ12/2(xi x)yi2/2(xi x)(yi y2/2/2 SR/22(1)Lxxi1Lxxi1Lxx即得结论。-1 1F检验检验: :如果假设成立,构造统的计量F 所以拒绝域为W F F(1,n2)2. 2.t检验：检验：构造统计量t L1xxSE/(n2) t(n2),拒绝域W |t | t/2(n2)SR F(1,n2)应该是偏小的,SE/(n2)相关性检验相关性检验r r 2LxyLxxLxyL2xyLxxLxySRS /SF，W r RESTSR/SE1F n2F(1,n2)F(1,n2)n2-
