《最新应用多元统计分析2PPT课件》由会员分享，可在线阅读，更多相关《最新应用多元统计分析2PPT课件（147页珍藏版）》请在金锄头文库上搜索。
1、应用多元统计分析-2北大北大数学学院数学学院 在多元统计分析中在多元统计分析中, ,多元正态分布占有相当多元正态分布占有相当重要的地位重要的地位. .这是因为许多实际问题涉及到的随这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布机向量服从正态分布或近似服从正态分布; ;当样当样本量很大时本量很大时, ,许多统计量的极限分布往往和正态许多统计量的极限分布往往和正态分布有关分布有关; ;此外此外, ,对多元正态分布对多元正态分布, ,理论与实践都理论与实践都比较成熟比较成熟, ,已有一整套行之有效的统计推断方法已有一整套行之有效的统计推断方法. .基于这些理由基于这些理由, ,我
2、们在介绍多元统计分析的种我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题义、性质及多元正态分布中参数的估计问题. .第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 当矩阵当矩阵0(正定正定)时，矩阵
3、时，矩阵L也称为也称为的平方根的平方根矩阵，记为矩阵，记为1/2. 当矩阵当矩阵0(正定正定)时时,必有必有pp非退化非退化矩阵矩阵A使得使得 =AA 9北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计 2.1 2.1 随机向量随机向量协差阵的性质协差阵的性质 若若0(非负定非负定),必有必有pq矩阵矩阵A1使得使得 =A1A1 这里记这里记=(1 | 2) , 1为为pq列正交阵列正交阵(p q).并设：并设：10北大北大数学学院数学学院 在一元统计中，若在一元统计中，若UN(0,1),N(0,1),则则U的任意的任意线性变换线性变换X=X=U+N(N(
4、,2 2) )。利用这一性质，利用这一性质，可以从标准正态分布来定义一般正态分布：可以从标准正态分布来定义一般正态分布： 若若UN(0,1),N(0,1),则称则称X = =U+的分布为的分布为一般正态分布一般正态分布, ,记为记为X N(N(,2 2) )。 此定义中，不必要求此定义中，不必要求0,0,当当退化为退化为0 0时仍时仍有意义。把这种新的定义方式推广到多元情况，有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。可得出多元正态分布的第一种定义。第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义多元正态分布的定义1
5、1北大北大数学学院数学学院 定义2.2.1 设设U=(U1,Uq)为随机向量为随机向量, , U1,Uq相互独立且同相互独立且同N(0N(0，1)1)分布；设分布；设为为p维常数向量，维常数向量，A为为p pq q常数矩阵，则称常数矩阵，则称X=AU + 的分布为的分布为p p维正态分布，或称维正态分布，或称X为为p p 维正态随机维正态随机向量向量, ,记为记为X N Np( (, AA)。 简单地说，称简单地说，称q q个相互独立的标准正态随机个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为变量的一些线性组合构成的随机向量的分布为多元正态分布。多元正态分布。第二章第二章 多
6、元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多元正态分布的第一种第一种定义定义12北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1 在一元统计中在一元统计中, ,若若XN(N(, ,2 2),),则则X的特征函数为的特征函数为 ( (t t)=E(e)=E(ei itXtX)=exp)=expi it t-t t 2 22 2 /2 /213北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态
7、分布的性质1 114北大北大数学学院数学学院 性质性质1 1 设设U= (U1,Uq)为随机向量为随机向量, , U1, ,Uq 相互独立且同相互独立且同 N(0N(0, ,1)1)分布；令分布；令X= =+AU,则则X的特征函数为的特征函数为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1这里这里t=(t1,tp), 故故X(t)为为p元函数元函数.当当 XN(0,1)时时,(t)=exp-t 2 /2.15北大北大数学学院数学学院 性质性质1 1的的证明证明 ： 根据随机向量特征函数的定义和性质，经计算即可根据随机向量
8、特征函数的定义和性质，经计算即可得出得出X X的特征函数为的特征函数为 X(t)= E(eE(ei it t X)= E(e)= E(ei it ( (AU+ +) ) )第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1令令tA=s=(s1,sq)16北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质1 1(因因U1 , Uq相互独立相互独立,乘积的期望等于期望的乘积乘积的期望等于期望的乘积)17北大北大数学学院数学学院 定义定义2.2
9、.22.2.2 若若p维随机向量维随机向量X的特征函数的特征函数为为: : 第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第二种定义多元正态分布的第二种定义一元正态一元正态: (p=1)则称则称X服从服从 p 维正态分布维正态分布,记为记为 X Np(,) .记记=AA，则有以下定义。，则有以下定义。18北大北大数学学院数学学院 性质性质2 2设设XN Np p( (,),B为为sp常数常数阵，阵，d为为s11常向量，令常向量，令Z=BX+d, ,则则 ZNs(B+d , BB ). 该性质指出正态随机向量的任意该性质指出正态随机向量的任意线性组合
10、仍为正态分布线性组合仍为正态分布. .第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 219北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2 证明证明 因因 0, 可分解为可分解为=AA ,其中其中A为为pq 矩阵矩阵.已知已知XNp(,),由由定义定义2.2.12.2.1可知可知 X = = AU+ + ( (d d表示两边的随机向量服从相同的分布表示两边的随机向量服从相同的分布.).)其中其中U= =( (U1,Uq) ) ,
11、 ,且且U1,Uq 相互独相互独立同立同 N(0N(0，1)1)分布。分布。d20北大北大数学学院数学学院 Z= =BX+ +d = = B( (AU+ +)+d第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质2 2d = (BA)U+(B+d)由定义由定义2.2.12.2.1可知可知 Z N Ns s( (B+d,(BA)(BA) ) )，即即 Z N Ns s( (B+d,BB ).).( (这里这里=AA ).). 21北大北大数学学院数学学院 推论推论设设X= = N Np( (,),将将,剖分为剖分为第二章第二章 多元
12、正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布性质多元正态分布性质2 2的推论的推论则则 X(1)(1) N Nr( ( (1 1) ), ,1111),), X(2)(2) N Np-r( (2)(2), ,2222).).X(1)(1) rX(2)(2) p-r22北大北大数学学院数学学院证明：证明：由性质由性质2 2可得：可得：类似地类似地第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论23北大北大数学学院数学学院 此推论指出，多元正态分布的边缘此推论指出，多元正态分布的边缘分布仍为正态
13、分布。但反之，若随机分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，向量的任何边缘分布均为正态分布，也不一定能导出该随机向量服从多元也不一定能导出该随机向量服从多元正态分布正态分布. . 如例如例2.1.12.1.1, ,证明了证明了X1 1,X2均为一元正态分均为一元正态分布布,但由但由(X1,X2) 联合密度函数的形式易见它联合密度函数的形式易见它不是二元正态不是二元正态.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论24北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及
14、参数的估计2.2 2.2 多元正态分布多元正态分布性质性质2的推论的推论例例2.1.1 (X1,X2)的联合密度函数为的联合密度函数为 我们从后面将给出的正态随机向量的联合密我们从后面将给出的正态随机向量的联合密度函数的形式可知度函数的形式可知, (X1,X2)不是二元正态随机向不是二元正态随机向量量.但通过计算边缘分布可得出但通过计算边缘分布可得出: X1N(0,1) , X2N(0,1)这就说明若随机向量的任何边缘分布均为正态这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元分布时，也不一定能导出该随机向量服从多元正态分布正态分布.25北大北大数学学院数学学院
15、第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单例子简单例子例如例如:设三维随机向量设三维随机向量X=(X1,X2,X3) ,且且则有则有(1) X1 N(2,1),26北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子由性质由性质2知知,Y为为3维正态随机向量维正态随机向量,且且(2)27北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2
16、2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子28北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质简单简单例子例子 (3) 设设Z=2 X1-X2+3X3,试求随机变量试求随机变量Z的分布的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX故有故有:所以所以 Z N(4,29).29北大北大数学学院数学学院 性质性质3 3 若若XN Np p( (,),E( (X)=)=,D( (X)=)=. 证明证明 因因0,0,可分解为：可分解为：=A
17、A， 则由定义则由定义2.2.12.2.1可知可知 X = AU+(A为为pq实矩阵实矩阵) )其中其中U= =( (U1,Uq),),且且U1,Uq相互独立同相互独立同N N(0(0，1)1)分布分布, ,故有故有 E( (U )=0, )=0, D( (U )=)=Iq .d第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 330北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质3 3利用均值向量和协差阵的有关性质可得：利用均值向量和协
18、差阵的有关性质可得： 此性质给出多元正态分布中参数此性质给出多元正态分布中参数和和的的明确统计意义明确统计意义. .是随机向量是随机向量X的均值向量，的均值向量，是随机向量是随机向量X的协差阵。的协差阵。 如简单例子中如简单例子中,由性质由性质2知知Z服从正态分布服从正态分布,利用性质利用性质3,31北大北大数学学院数学学院 性质性质4 4 设设X=(=(X1,Xp)为为p维随机向维随机向量，则量，则X服从服从p维正态分布维正态分布 对任一对任一p维维实向量实向量a, ,=aX是一维正态随机变量是一维正态随机变量. . 必要性的证明由性质必要性的证明由性质2 2即得（只须取即得（只须取B=a,
19、d=0=0即可）即可）. . 充分性的证明充分性的证明： 首先说明随机向量首先说明随机向量X的均值和协方差阵存在的均值和协方差阵存在: : 因对任给因对任给p维实向量维实向量 tR p, , = tX一元正一元正态分布，可知态分布，可知的各阶矩存在的各阶矩存在，第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 432北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4如取如取t t = = ei =(0,1,0)=(0,1,0), Xi
20、 = eiX,且且 E(E(Xi) ) (i=1,2,p) 存在存在. . E(Xi2) (i=1,2,p) 也存在也存在.再比如取再比如取 t t =(0,1,0,1,.,0)=(0,1,0,1,.,0), = t X= Xi +Xj ,且且 E(E( ) )=E(Xi +Xj ) (i,j=1,2,p) 存在存在. . E( 2) =E(Xi +Xj )2= E(Xi2)+ 2E(XiXj )+ E(Xj2) 也存在也存在, 即即E(XiXj ) (i,j=1,2,p)存在存在. 故故E(E(Xi),Cov(),Cov(Xi, ,Xj) )= =E(XiXj )- -E(Xj) E(Xi)
21、 ( (i,j=1,=1,p) )存在存在. .33北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质4 4记记 E( (X)=)=,D( (X)=)=. 计算计算的特征函数的特征函数: : 对任意给定的对任意给定的tRp, ,因因随机变量随机变量=t X服从服从N( (t ,t t).，故知，故知的特征函数为的特征函数为 ()=E(ei) =expi(t ) -2(t t)/2 计算随机向量计算随机向量X的特征函数的特征函数: :在在的特征函数中，取的特征函数中，取=1，即得，即得34北大北大数学学院数学
22、学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第三种定义多元正态分布的第三种定义 (1)=E(ei)=E(e it X)=X(t) = expit - t t / 2由定义由定义2.2.2可知，可知，XNp(,). 定义定义2.2.32.2.3 若若p维随机向量维随机向量X的任意线的任意线性组合均服从一元正态分布，则称性组合均服从一元正态分布，则称X为为p维正态随机向量维正态随机向量. .35北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 一元正态分布的密度函数一元正态分布的密度函数 在概率
23、论中大家都知道一元正态随机在概率论中大家都知道一元正态随机变量的密度函数是变量的密度函数是这个式子可改写为这个式子可改写为: :36北大北大数学学院数学学院 作为一元正态随机变量的推广，以下性质来作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数导出多元正态随机向量的联合密度函数. .第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 性质性质5 5 设设XN Np( (,),且且0 (0 (正定正定),),则则X的联合密度函数为的联合密度函数为 37北大北大数学学院数学学院第二章第二章 多元正态分布及
24、参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 证明证明 因因0,rk()=0,rk()=p, ,由线性由线性代数的知识知存在代数的知识知存在非奇异方阵非奇异方阵A, ,使得使得 = =AA，且且 X = = AU+ + 其中其中U=(=(U1,Up),),且且U1,Up相互独相互独立同立同N(0N(0，1)1)分布。分布。d U的联合密度函数的联合密度函数(p元函数）元函数）为为38北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 利用利用U的联合密度
25、函数及随机向量的的联合密度函数及随机向量的变换求变换求X=AU+ +的密度函数。的密度函数。 对任给对任给BorelBorel可测集可测集B B，求求p元函数元函数fX( (x) )使得使得其中其中 D=u | u=A-1(x-), x B39北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5根据附录根据附录8 (P397)公式公式(8.4),即有即有以下来求以下来求JacobiJacobi行列式行列式J(ux).40北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估
26、计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 积分变换的积分变换的JacobiJacobi行列式行列式J( (ux) )可利用可利用线性变换线性变换x=Au+及及J( (xu) )来计算：来计算： 因因向量微商的公式见附录向量微商的公式见附录8 (8.1)41北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 关于积分变换的关于积分变换的JacobiJacobi行列式行列式J( (ux) )的有关内容请参阅附录部分。的有关内容请参阅附录部分。故故42北大北大数学学院数学学院第二章第二章
27、 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的性质多元正态分布的性质5 5 写出写出X=AU+的密度函数：的密度函数：( 这里这里=AA, )43北大北大数学学院数学学院其中其中是是p维实向量维实向量, ,是是p阶正定阵阶正定阵, ,则称则称X=(=(X1, ,X2Xp ) )服从服从( (非退化的非退化的) )p元正态分布元正态分布. .也称也称X为为p维正态随机向量维正态随机向量, ,简记为简记为 XN Np( (,).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的第四种定义多元正态分布的第四种定义 定义定义2
28、.2.42.2.4p 维随机向量维随机向量X=(=(X1, ,X2Xp) 的联合密度函数为的联合密度函数为44北大北大数学学院数学学院 第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的多种定义及关系多元正态分布的多种定义及关系 以上给出了多元正态分布的以上给出了多元正态分布的4 4种定义。种定义。定义定义2.2.42.2.4用密度函数给出定义，它可看用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定成一元正态密度的直接推广；但在这个定义里要求义里要求是正定阵是正定阵, ,它给出的是非退化的它给出的是非退化的正态分布的定义。正态分布的定义。
29、 另三种定义中把另三种定义中把阵推广到非负定的情阵推广到非负定的情形形, ,这三种定义是等价的。这三种定义是等价的。45北大北大数学学院数学学院例例2.2.1(2.2.1(二元正态分布二元正态分布) )第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 ( (即即1 10,0,2 20,|0,|1)1)(1)(1)试写出试写出X X的联合密度函数和边密度的联合密度函数和边密度 函数；函数；(2)(2)试说明试说明的统计意义的统计意义. .46北大北大数学学院数学学院第二章第二章 多元正
30、态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1解解: :（1 1）因因注意改注意改p2647北大北大数学学院数学学院二元正态随机向量二元正态随机向量X的联合密度函数为的联合密度函数为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.148北大北大数学学院数学学院另由性质另由性质2 2的推论，的推论，即得即得第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布
31、的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.1 (2)(2)因因Cov(Cov(X1 , ,X2)=)=12 12 = =1 12 2 , ,而而X1与与X2的相关系数的相关系数为为故二元正态分布的参数故二元正态分布的参数就是两个分量的相关系就是两个分量的相关系数数. .49北大北大数学学院数学学院显然显然 当当=0时，f( (x1, , x2)=)=f1 1( (x1)f2 2( (x2) )，即即X1与与X2相互独立相互独立. 当当|=1时，|=0 (退化退化, ,即即的列向量或行向量线性相关) )，则存在非零向量则存在非零向量t =(t1, t2) , ,使得使得
32、t =0, 从而从而t t =0，故而随机变量故而随机变量= =t (X-)的方差为的方差为 Vart (X-)= t t =0,这表示这表示 PPt (X-(X-)=0=1.第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.150北大北大数学学院数学学院即即 t1(X1-1)+t2(X2-2)=0以概率以概率1 1成立；成立； 反之，若反之，若X1与与X2以概率以概率1 1存在线性相关存在线性相关关系，则关系，则|=1. 当当0 0时时, ,我们称我们称X1与与X2存在正相关存在正相关
33、; ; 当当0 0时时, ,我们称我们称X1与与X2存在负相关存在负相关. .第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.12.2.151北大北大数学学院数学学院例例2.2.22.2.2 二元正态密度函数的图形及等高线的图形二元正态密度函数的图形及等高线的图形第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2 为了对多维正态密度函数有更直观地了解，下面的为了对多维正态密度函数有更直观
34、地了解，下面的例子给出几组参数下二维正态密度函数的几何图形例子给出几组参数下二维正态密度函数的几何图形. .我们把具有等密度的点的轨迹称为等高线我们把具有等密度的点的轨迹称为等高线( (面面).).显然当显然当 p=2=2 时时它是一族中心在它是一族中心在( (1 1, ,2 2 )的椭园的椭园. .52北大北大数学学院数学学院一般的一般的p维正态密度等高面为维正态密度等高面为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.2取取1 1 =0,=0,2 2 =0=0,以下绘制三组参数下
35、以下绘制三组参数下二元正二元正态密度函数及密度等高线图形：态密度函数及密度等高线图形：（1）当当时时（2）当当时时（3）当当时时53北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.254北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.255北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.2
36、 2.2 多元正态分布的定义与基本性质多元正态分布的定义与基本性质-例例2.2.22.2.256北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性以下是关于独立性的一条重要结论：以下是关于独立性的一条重要结论： 设设XNp( (,)(p2),2),将将X,剖分剖分为为57北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性定理定理2.3.12.3.1 设设p维随机向量维随机向量XN Np( (,)，则则
37、 X(1)(1)与与X(2)(2)相互独立相互独立 1212Or(p-r) ( (即即X(1)(1)与与X(2)(2)不相关不相关) )证明证明:必要性显然成立必要性显然成立.58北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性独立性( (充分性充分性) )：设：设12120 0 ，则则X的联合密度函数为的联合密度函数为所以所以X(1)(1)与与X(2)(2)相互独立相互独立. .59北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性
38、条件分布和独立性-独立性独立性推论推论1 1 设设ri1(1(i=1,=1,k),),且且r1 + + r2 + rk= =p， 则则X(1),X(k)相互独立相互独立ij0 0( (一切一切ij) ) 推论推论2 2 设设XN Np p( (，)，若若为对角形矩为对角形矩阵，则阵，则X1,Xp 相互独立相互独立. .60北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性例子独立性例子例如例如:设三维随机向量设三维随机向量X=(X1,X2,X3),且且则有则有(1) (2)61北大北大数学学院数学学院第
39、二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性的例子独立性的例子(3) X1与与X3 , X2与与X3 ,也相互独立也相互独立;(4)(5) 令令62北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-独立性例子独立性例子(6) Y的密度函数为的密度函数为X3的密度函数为的密度函数为故二维随机向量故二维随机向量Z的联合密度函数为的联合密度函数为63北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2
40、.3 条件分布和独立性条件分布和独立性-条件分布条件分布 考虑二维正态的条件分布考虑二维正态的条件分布( (即即p=2,2,r=1),=1),由由条件密度的定义知，当条件密度的定义知，当X2 给定时给定时, ,X1 的条件的条件密度为密度为 而64北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布65北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布所以所以66北大北大数学学院数学学院第二章第
41、二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布推广到p维情况，利用-1的分块求逆公式： 其中类似类似 p=2=2 的方法，可证明的方法，可证明: :且且 为为r维正态分布维正态分布.67北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 定理定理2.3.22.3.2设设X为为p维向量维向量,X(1)(1)为为r维向量维向量,且且 则则X(2)(2)给定时给定时X(1)(1)的条件分布为的条件分布为 ( (X(1)(1)|
42、 |X(2)(2) )N Nr( (1 122,112112),),其中其中(0)0)68北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布证明证明 作非奇异线性变换，令作非奇异线性变换，令因为因为 D(Z)=BB=69北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布故有 这表明这表明 Z(1)(1)与与Z(2)(2)相互独立相互独立. .而且而且可得出可得出70北大北大数学学院数学学院第二
43、章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 Z的联合密度为的联合密度为这里因这里因Z(2)(2)= =X(2)(2), ,故有故有 g2(z(2) )=f2(z(2) ).71北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 因为因为ZBX，利用积分变换公式，利用积分变换公式，可以用可以用g( (z) )来得到来得到 f( (x),),即即72北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正
44、态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 所以所以X(2)(2)给定时给定时X(1)(1)的条件密度函数的条件密度函数 为为73北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布74北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布所以所以X(2)(2)给定时给定时X(1)(1)的条件分布为的条件分布为 ( (X(1)(1)| |X(2)(2) )N
45、 Nr( (1 122,112112),),其中其中75北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布条件分布 推论推论 在定理在定理2.3.2条件下可得条件下可得:76北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子例例:设设4维正态随机向量维正态随机向量X=(X1,X2,X3 ,X4),且且(1) 令令试验证试验证 Y(1)与与X(2)相互独立相互独立.(由推论由推论(1)可知可
46、知Y(1)与与X(2) 相互独立相互独立).77北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子(1) 因因78北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子经验证经验证: COV(Y(1),X(2) )=COV(BX,CX) =B D(X) C故故Y(1)与与X(2)相互独立相互独立.79北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布
47、及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子 (2) 求求X(2) 给定时给定时X(1)的条件分布的条件分布. 由定理由定理2.3.2, X(2) =x(2)给定时给定时X(1)的条件分布为的条件分布为 (X(1) | X(2) )Nr( 1.2, 11.2).80北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件分布的例子条件分布的例子由此可见条件方差总是小于原方差由此可见条件方差总是小于原方差:81北大北大数学学院数学学院第二章第二章 多元正态分布及参数的
48、估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望条件期望则称为条件期望为条件期望, ,记为E(X(1)(1)| X(2)(2).并称12为X(1)(1)对X(2)(2)的回归回归，而 =B称为回归系数回归系数. .设设82北大北大数学学院数学学院 设X，Y为p维随机向量，Y1,Yn均为随机向量，则有第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质83北大北大数学学院数学学院证明证明 以下来证明性质(4).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计
49、2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质 记记 ,设设p p+ +p p维随机向量维随机向量Z的联合密度的联合密度函数为函数为 f( (x,y) ), ,X的密度函数为的密度函数为fX( (x) )，则则故故 EE(h(Y)|X)=E(m(X)84北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质85北大北大数学学院数学学院 性质性质(4)(4)给出，求给出，求E( (h( (Y)时，可时，可通过另一随机向量通过另一随机向量X X，当当Xx时求
50、时求得条件期望得条件期望E( (h( (Y)|)|X).). 然后把然后把X X看为随机向量看为随机向量, ,求求EE( (h( (Y)|)|X) ), , 其结果就等于其结果就等于直接求直接求E( (h( (Y).).第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件期望的性质条件期望的性质86北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-条件协差阵条件协差阵称称为条件协差阵。为条件协差阵。记记87北大北大数学学院数学学院第二章第二章 多
51、元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-偏相关系数偏相关系数称称为X(2) =(=(xr+1+1,xp) )给定时给定时, ,Xi与与Xj (i,j=1,2, . , r)的偏相关系数偏相关系数。(i,j=1,2, . , r)88北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.3 2.3 条件分布和独立性条件分布和独立性-最佳预测最佳预测 考虑考虑 r=1,=1,记记X(1) Y, ,记记 g( (x(2) )=E)=E( (X(1) | | X(2) ) )，则对任意函数则对任意函数(),可以
52、证明可以证明( (见习题见习题2-162-16):): E( E(X(1) - - g( (x(2) )2 2E(E(X(1) - -(x(2) )2 2 即在均方差最小的准则下即在均方差最小的准则下, ,条件期望条件期望g( (x(2) ) ) 是对是对Y 的最佳预测函数的最佳预测函数. .89北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布 把来自把来自p元总体的容量为元总体的容量为n的随机样本排成一的随机样本排成一矩阵矩阵X： 其中其中 X(i)( ( i=1,=1,n)是来自是来自p维总体的一个样
53、品，维总体的一个样品，则样本数据矩阵则样本数据矩阵 X 就是一个随机矩阵就是一个随机矩阵. .= (X1,X 2,Xp)def90北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布-拉直运算拉直运算 讨论随机矩阵讨论随机矩阵X的分布时，可考虑把的分布时，可考虑把X的行的行向量向量( (即样品即样品) )一个接一个连接起来构成一个一个接一个连接起来构成一个np维长向量，然后讨论这个长向量的分布维长向量，然后讨论这个长向量的分布. . 所谓拉直运算，就是将矩阵所谓拉直运算，就是将矩阵X 的列一个接一的列一个接一
54、个拉成一个长向量，记为个拉成一个长向量，记为91北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布-拉直运算拉直运算 符号符号“Vec”ec”称为拉直运算称为拉直运算. .如果将矩如果将矩阵阵X的行向量的行向量( (样品样品) )拉直为一个拉直为一个np维向量维向量, ,用拉直运算的符号可记为用拉直运算的符号可记为92北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布-拉直运算拉直运算 在多元统计分析中在多元统计分析中,
55、 ,经常需要考虑对称矩阵经常需要考虑对称矩阵的拉直运算。设的拉直运算。设S是是pp阶的对称随机矩阵，在阶的对称随机矩阵，在S中只包含中只包含p( (p+1)/2+1)/2个不同的随机变量个不同的随机变量, ,故将其拉故将其拉直为直为p2 2维向量是不合适的维向量是不合适的, ,应拉成应拉成p( (p+1)/2+1)/2维向维向量。量。 设设S=(=(Sij) )pp为为p阶对称阵，令阶对称阵，令 S Svec(vec(S)=()=(S11,Sp1, ,S22,Sp2,Spp)为为p( (p+1)/2+1)/2维向量维向量. . 符号符号“S Svec”vec”称为对称矩阵的拉直运算称为对称矩阵
56、的拉直运算. .93北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布-KroneckerKronecker积积 设设A=(=(aijij) )和和B分别为分别为np和和mq 的的矩阵，矩阵，A和和B的的KroneckerKronecker积积A B定义为定义为94北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布-KroneckerKronecker积积 子块子块a1111B为为mq 的子矩阵，的子矩阵，np个子块个子
57、块组成的矩阵是一个组成的矩阵是一个nmpq的大的大矩阵矩阵. .在多在多元统计分析中元统计分析中KroneckerKronecker积积( (简称简称 积或直积或直积积) )是一个有用的工具是一个有用的工具.它的它的一些常用的性一些常用的性质在以后将会用到质在以后将会用到。其中子块其中子块95北大北大数学学院数学学院 设设X(i)=(=(Xi1 1, , Xip )( )(i1,1,n) )为来自为来自p维正态总体维正态总体Np p( (,)的随机样本的随机样本( (独立同分布独立同分布) ),记随机矩阵记随机矩阵X( (Xij) )np ，利用拉直运算及直积的定义和性质利用拉直运算及直积的定
58、义和性质, ,可知可知第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布 事实上，事实上，np维长向量维长向量V Vec(ec(X)的联合的联合密度函数为密度函数为96北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布97北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布 由以上由以上np维长向量维长向量Vec(X)的联合密度的联合密度函数可看出它是正态随机
59、向量函数可看出它是正态随机向量,且且:其中其中M为为:98北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布故故99北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正态分布当随机阵当随机阵X按行拉直后，如果有按行拉直后，如果有则称随机阵则称随机阵X服从服从矩阵正态分布，矩阵正态分布，记作记作100北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.4 2.4 随机矩阵的正态分布随机矩阵的正
60、态分布也就也就是：是：其中其中101北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 2.5 多元正态分布的参数估计多元正态分布的参数估计 考虑考虑p维正态总体维正态总体XN Np( (,),设设X(i)=(=(Xi1 1, , Xip )( )(i1,1,n) )为为p维维总体总体X的简单随机样本，资料阵的简单随机样本，资料阵是一个随机矩阵是一个随机矩阵. .102北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本的数字特征多元正态样本的数字特征 (1) (1) 样本均值向量样
61、本均值向量X 103北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本的数字特征多元正态样本的数字特征 中心化数据阵中心化数据阵:104北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本的数字特征多元正态样本的数字特征 (2) (2) 样本离差阵样本离差阵A ( (交叉乘积阵交叉乘积阵) )其中其中105北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本的数字特征多元正态样本的数字
62、特征或者把或者把A表为表为: :106北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本的数字特征多元正态样本的数字特征或者把或者把A表为表为: :107北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本的数字特征多元正态样本的数字特征(3) (3) 样本协方差样本协方差S:(4) (4) 样本相关阵样本相关阵R:108北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本数字特征的例
63、子多元正态样本数字特征的例子 例例:设从某书店随机抽取设从某书店随机抽取4张收据了解图书的销售情张收据了解图书的销售情况况.每张收据记录售书数量每张收据记录售书数量X2及总金额及总金额X1,具体数值如具体数值如下下:试计算样本均值试计算样本均值,样本离差阵样本离差阵,样本协差阵和相关阵样本协差阵和相关阵. 解解:109北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本数字特征的例子多元正态样本数字特征的例子样本离差阵样本离差阵A的计算公式为的计算公式为:中心化数据阵中心化数据阵110北大北大数学学院数学学院第二章第二章 多
64、元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本数字特征的例子多元正态样本数字特征的例子111北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 - 2.5 - 多元正态样本数字特征的例子多元正态样本数字特征的例子112北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计 设设X(i)( (i1,1,n) ) 为为p p维正态总体维正态总体N(N(,)的随机样本，的随机样本， 以下用最大似然法来求参数以下用最大似然法来求参数,的最的最
65、大似然估计大似然估计. . 把随机数据阵把随机数据阵X按行拉直后形成的按行拉直后形成的np维维长向量长向量Vec(Vec(X)的联合密度函数看成未知的联合密度函数看成未知参数参数,的函数，并称为样本的函数，并称为样本X(i)( (i1,1,n) ) 的似然函数的似然函数, ,记为记为L( (,).113北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计(矩阵迹的性质见矩阵迹的性质见P391)114北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的
66、最大似然估计的最大似然估计记号记号etr(A)=exp tr(A) 115北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计其中其中p p矩阵矩阵A1 1可作如下分解可作如下分解: :116北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计 由于由于lnlnx是是x的单调函数的单调函数, ,故故L( (, ,)与与lnlnL( (,)有相同的最大值点有相同的最大值点. .以下只须讨以下只须讨论论lnlnL( (,)的最大
67、值问题的最大值问题. . 下面给出与迹有关的一条引理下面给出与迹有关的一条引理. . 引理引理2.5.12.5.1 设设B为为p阶正定阵，则阶正定阵，则trtrB-ln|-ln|B|p且等号成立的充分必要条件是且等号成立的充分必要条件是B= =Ip. .117北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计 证明证明 因因B0,0,故故B B的全部特征值的全部特征值1 1,p0,0,且且| |B|=|=1 1 p. .利用不等式利用不等式ln(1+ln(1+x)x( (当当x+1+10),0),可得可得(
68、x=i-1)所以所以trtrB-ln|-ln|B|p118北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计 因不等式因不等式ln(1+ln(1+x)x中的等号仅当中的等号仅当x=0=0时成立，故引理给出的不等式仅时成立，故引理给出的不等式仅当当 i-1=0(-1=0(i= 1,= 1,p) )时时成立成立, ,即即 B=Ip . . 反之，当反之，当 B=Ip 时，时，ln|ln|Ip |=0, |=0, trtrB= =p, ,故引理给出的不等式中等号成故引理给出的不等式中等号成立立. .119北大北大
69、数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计 下面讨论当给定下面讨论当给定0 0时，时，LnLnL( (,)的的最大值点最大值点. .120北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计 以上不等式仅当以上不等式仅当=X时等号成立时等号成立, ,即对于固定的即对于固定的0 0，下面利用迹的有关性质及引理下面利用迹的有关性质及引理2.5.12.5.1来证来证明：当取明：当取 时时121北大北大数学学院数学学院第二章第二章
70、 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计(取取B= 0 由引理由引理2.5.1可得可得)122北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计由引理由引理2.5.12.5.1，以上不等式的等号仅当，以上不等式的等号仅当成立.所以所以123北大北大数学学院数学学院而似然函数的最大值为而似然函数的最大值为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计或者或者124北大北大数学学院数
71、学学院 定理定理2.5.12.5.1 设设X(i)( (i1,1,n) ) 是是多元正态总体多元正态总体N Np( (,)的随机样本，的随机样本，np，则则,的最大似然估计为的最大似然估计为第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 - ，的最大似然估计的最大似然估计125北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质 参数的最大似然估计有很多优参数的最大似然估计有很多优良性标准良性标准, ,如无偏性，有效性如无偏性，有效性, ,相相合性等合性等. .和和 的最大
72、似然估计是的最大似然估计是否具有这些好的性质呢否具有这些好的性质呢? ?这是我们这是我们现在要讨论的问题现在要讨论的问题. .126北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质 定理定理2.5.22.5.2设设X和和A分别为分别为p元正态总体元正态总体Np( (,)的样本均值向量和样本离差阵的样本均值向量和样本离差阵, ,则则(S=A/(n-1）或）或S*=A/n)127北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大
73、似估计量的性质证明的思路：证明的思路：引入正交阵引入正交阵,形式如下：形式如下：作线性变换作线性变换, ,由随机阵由随机阵X得另一随机阵得另一随机阵Z. .令令128北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质 Z的行向量的行向量Zt是是X的行向量（样品）的线的行向量（样品）的线性组合性组合:可以计算可以计算Zt的均值的均值 和协方差：和协方差：129北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质当当t
74、n 时时当当t = n 时时130北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质 O 当当 时时= 当当 = 时时所以所以 ZNp(0, ), 当当=1,2,n-1, ZnNp( , ),131北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质(1) 因为因为故有故有(2) 因为因为132北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性
75、质最大似估计量的性质故有故有133北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质是是Z1 1,Zn-1-1的函数的函数, ,X是是Zn的函数，的函数，而而Z1 1, , Zn-1-1, ,Zn相互独立相互独立, ,故故A与与X独独立立. .（3）因）因134北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质 性质性质1 1：无偏性无偏性因为因为故故X（样本均值）是样本均值）是的无偏估计的无偏估计. .因因13
76、7北大北大数学学院数学学院故故的最大似然估计量的最大似然估计量 不是无偏估不是无偏估计计. . 而样本协差阵而样本协差阵S是是的无偏估计的无偏估计: :第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质性质性质2 2：有效性：有效性 可以证明可以证明X,S是是,的的“最小方差最小方差”无偏估计量无偏估计量, ,即即X,S是是,的有效估计量的有效估计量( (见参考文献见参考文献2).2).138北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量
77、的性质 性质性质3 3：相合性：相合性( (一致性一致性) )利用强大数律利用强大数律还可以证明：还可以证明：nn139北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -最大似估计量的性质最大似估计量的性质 性质性质4 4：其它：其它 还可以证明最大似估计量最大似估计量是,的充充分统计量分统计量; X X是的极小极大估计极小极大估计(最大风险达最小);且估计量具有渐近正态性渐近正态性.140北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -参数函数的最大似然估计参数函数的最大似然估计
78、 为了从参数为了从参数,的最大似然估计来导出参数函的最大似然估计来导出参数函数数 g(,)的最大似然估计的最大似然估计, ,下面我们来介绍一条下面我们来介绍一条有用的结论有用的结论. . 定理定理2.5.22.5.2 设参数向量设参数向量的函数为的函数为g()=,是是的最大似然估计的最大似然估计. .则有则有是是=g()的最大似然估计的最大似然估计.141北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5 -2.5 -参数函数的最大似然估计的例子参数函数的最大似然估计的例子1 1 例例2.5.1 设设p维正态随机向量维正态随机向量 X=( X1 1,X
79、p), 求求 Xi , Xj 的相关系数的相关系数ij最大似最大似然估计然估计. 解：解： Xi , Xj 的相关系数的相关系数ij为为142北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5-2.5-参数函数的最大似然估计的例子参数函数的最大似然估计的例子1 1其中其中ij是协差阵是协差阵的第的第i行第行第j列的元素列的元素.给给定样本定样本X(t) (t=1,n)，则则的的最大似然估计最大似然估计为为的元素的元素ij的最大似然估计的最大似然估计143北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2.5-2.5
80、-参数函数的最大似然估计的例子参数函数的最大似然估计的例子1 1 由定理由定理2.5.3知知,相关系数相关系数 ij 的最大的最大似然估计量似然估计量rij 为为(i,j=1,2,p)144北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2 .5 -2 .5 -参数函数的最大似然估计的例子参数函数的最大似然估计的例子2 2 例例2.5.2 设设求求 X(1)(1)对X(2)(2)的回归系数系数B和和条件协条件协差阵差阵112的最大似然估计。的最大似然估计。解：解：由样本由样本X(t) (t=1,n)，计算离差阵计算离差阵A,且且145北大北大数学学院数学学院第二章第二章 多元正态分布及参数的估计多元正态分布及参数的估计2 .5 -2 .5 -参数函数的最大似然估计的例子参数函数的最大似然估计的例子2 2条件协差阵条件协差阵112的最大似然估计为的最大似然估计为则则X(1)(1)对X(2)(2)的回归系数回归系数B的最大似然的最大似然估计为估计为146结束语结束语谢谢大家聆听！谢谢大家聆听！147
