《第二章多元正态分布课件》由会员分享，可在线阅读，更多相关《第二章多元正态分布课件（67页珍藏版）》请在金锄头文库上搜索。
1、主要内容包括：主要内容包括：n2.1 2.1 一元一元（概率）分布简要复习（概率）分布简要复习n2.2 2.2 多元多元（概率）分布基本概念（概率）分布基本概念n2.3 2.3 多元正态多元正态分布定义及其性质分布定义及其性质n2.4 2.4 多元统计多元统计中的基本概念中的基本概念n2.5 2.5 多元正态分布的参数估计多元正态分布的参数估计n2.6 2.6 维希特（维希特（WishartWishart）分布）分布定义及性定义及性质质1 内容概览内容概览1.1.一元随机变量一元随机变量R.V.R.V.的概率分布的概率分布 (1) (1)随机变量随机变量(R.V.)(R.V.)的定义、类型的定
2、义、类型 (2) (2)随机变量的概率分布随机变量的概率分布(P.D.)(P.D.)定义、分类定义、分类 (3) (3)另一种描述概率分布的表达方式另一种描述概率分布的表达方式分布函数分布函数F(x)F(x)2.2.一元随机变量一元随机变量R.V.R.V.的数字特征的数字特征期望与方差期望与方差3.3.期望与方差的性质期望与方差的性质4.4.一元中重要的常见分布一元中重要的常见分布5.5.一元正态分布的定义一元正态分布的定义2.1 2.1 一元（概率）分布简要复习一元（概率）分布简要复习21.一元随机变量的概率分布一元随机变量的概率分布（简称一元分布）（简称一元分布）n众所周知，众所周知，一元
3、统计一元统计分析是分析是多元统计多元统计分析的分析的基础基础，尤其是，尤其是一元正态分布一元正态分布自然是自然是多元正态多元正态分布分布的的基础基础，它在统计学的理论和实际应用，它在统计学的理论和实际应用方面都有着重要的地位。方面都有着重要的地位。n在一元统计分布中，经常会用到随机变量在一元统计分布中，经常会用到随机变量X X的概念及其概率分布问题。的概念及其概率分布问题。3n（1 1）随机变量的定义：）随机变量的定义：对于每一个随机结果都对对于每一个随机结果都对应着某个变量的一个数值，这种对应就是一个函数，应着某个变量的一个数值，这种对应就是一个函数，用随机变量来表示。用随机变量来表示。nR
4、.V.R.V.特点：特点：a.a.取值的随机性取值的随机性 ，即事先不能确定其取哪一个值；，即事先不能确定其取哪一个值；b.b.取值的统计规律性，即完全可以确定取值的统计规律性，即完全可以确定x x 取某个值或取某个值或在某个区间内取值的概率。在某个区间内取值的概率。4（2 2）R.V.R.V.的分类：的分类：主要分为主要分为离散型和连续型离散型和连续型下面介绍最重要的随机变量概率分布的含义下面介绍最重要的随机变量概率分布的含义（3）R.V.概率分布的定义：概率分布的定义：对于对于离散型离散型随机随机变量变量x x，其概率分布有两种表达形式：，其概率分布有两种表达形式：一种是一种是用公式表示：
5、用公式表示：第二种是第二种是用表格的形式表示：用表格的形式表示： X P 5n这这两种表达形式两种表达形式揭示出了离散性随机变量揭示出了离散性随机变量概率分布的实质，即它们都表达出了概率分布的实质，即它们都表达出了两层两层含义含义：n一是随机变量的所有取值是哪些？一是随机变量的所有取值是哪些？n二是随机变量取每一个值的概率有多大？二是随机变量取每一个值的概率有多大？6对于对于连续型连续型型随机变量型随机变量x来说，其概率分布往来说，其概率分布往往用所谓的概率密度函数往用所谓的概率密度函数f(x)来描述，来描述，7为了统一研究这两类，也可以用为了统一研究这两类，也可以用分布函数分布函数来描述来描
6、述随随机变量的概率分布，机变量的概率分布，这一点将在后面的多元情形中看这一点将在后面的多元情形中看得更加清楚，也更加有必要用分布函数来刻画概率分得更加清楚，也更加有必要用分布函数来刻画概率分布。布。（4 4）随机变量）随机变量X X的的概率分布函数概率分布函数（简称（简称分布分布分布分布）定义为如下一个普通的函数：定义为如下一个普通的函数：它全面地描述了随机变量它全面地描述了随机变量x x的统计规律性。也就是说，的统计规律性。也就是说，用用分布函数分布函数来研究两类随机变量更加方便，至少不用来研究两类随机变量更加方便，至少不用分开类型来分别说了，可以将二者统一用分布函数来分开类型来分别说了，可
7、以将二者统一用分布函数来研究，即只要知道了某个随机变量的分布函数也就知研究，即只要知道了某个随机变量的分布函数也就知道了其概率分布，还有表达简洁的优势。正因为它有道了其概率分布，还有表达简洁的优势。正因为它有这样的优点，很多随机问题都用分布函数来研究。这样的优点，很多随机问题都用分布函数来研究。82 随机变量的数字特征数学期望和方差n对于对于离散型离散型随机变量随机变量x, x, 其数学期望（或称其数学期望（或称为均值）和方差分别定义为为均值）和方差分别定义为n对于对于连续型连续型随机变量随机变量x x，其期望和方差分别，其期望和方差分别定义为定义为9 3 数学期望和方差的性质(1)(1)期望
8、的性质期望的性质：nE(k)=kE(k)=k，即常数的期望等于其自身。，即常数的期望等于其自身。nE(kX)=kE(X)E(kX)=kE(X)，即数乘的期望可以直接将该数提，即数乘的期望可以直接将该数提出来出来nE(XE(X1 1+X+X2 2+Xn)=E(X+Xn)=E(X1 1)+E(X)+E(X2 2)+E(Xn)+E(Xn)(2)(2)方差的性质方差的性质：nV(k)=0V(k)=0，即常数的方差为，即常数的方差为0 0；nV(kX)=kV(kX)=k2 2V(X)V(X)，即数乘的方差等于将，即数乘的方差等于将常数平方常数平方后后再乘以原来的再乘以原来的X X的方差。的方差。n设设n
9、 n个随机变量相互独立，则有个随机变量相互独立，则有V(XV(X1 1+ X2 + Xn)= V(X+ X2 + Xn)= V(X1 1)+V(X)+V(X2 2)+V(Xn)+V(Xn)10 4 一些重要和常见的一元分布n两点分布两点分布n二项分布二项分布n泊松分布泊松分布n均匀分布均匀分布n指数分布指数分布n正态分布（下面将复习一元正态分布）正态分布（下面将复习一元正态分布）离散型离散型连续型连续型115.5.一元正态分布（一元正态分布（Normal Normal distributiondistribution）的定义）的定义n若某个随机变量X 的密度函数是n则称X服从一元正态分布，也称
10、X X是是一一元元正正态态随随机变量（其中有两个参数）。机变量（其中有两个参数）。 记为记为 X X 。n可以证明：其期望（也叫均值）正好是参数，方差正好是 ，它是一非负数 。12n有时候，有时候，仅仅用一个随机变量来描述随机现象就仅仅用一个随机变量来描述随机现象就不够了，需要用多个随机变量来共同描述的随机不够了，需要用多个随机变量来共同描述的随机现象和问题，而且这些随机变量间又有联系，所现象和问题，而且这些随机变量间又有联系，所以必须要将它们看做一个整体来研究（即不能一以必须要将它们看做一个整体来研究（即不能一个一个地单独研究多个一元随机变量），这就出个一个地单独研究多个一元随机变量），这就
11、出现了多元随机向量的问题和概念现了多元随机向量的问题和概念n因而因而多元随机向量多元随机向量可看作是可看作是一元随机变量一元随机变量的的推广推广n而而一个随机变量一个随机变量可看作是可看作是特殊特殊的的一元随机向量一元随机向量132.2 2.2 多元（概率）分布基本概念多元（概率）分布基本概念1.二元随机向量的例子由于我们的研究对象涉及的是多个变量的总体，所由于我们的研究对象涉及的是多个变量的总体，所以要用若干个随机变量合在一起看作一个整体，共以要用若干个随机变量合在一起看作一个整体，共同用这个整体来描述随机现象。同用这个整体来描述随机现象。比如比如，要考察一射击手向一平面靶子射击的水平，要考
12、察一射击手向一平面靶子射击的水平，那么，子弹在靶子上的着点位置是随机的，这个平那么，子弹在靶子上的着点位置是随机的，这个平面上的随机点需要用两个随机变量（即横向的面上的随机点需要用两个随机变量（即横向的X X与纵与纵向的向的Y Y）共同来描述，于是共同来描述，于是( (X,Y)X,Y)就构成了就构成了二元（维）二元（维）的随机向量的随机向量。14射击后的子弹着落点的位置射击后的子弹着落点的位置是随机的是随机的n这个点的位置要用两个这个点的位置要用两个随机变量随机变量X与与Y共同描共同描述才能确定，即用（述才能确定，即用（X，Y）数组的取值来确）数组的取值来确定这个点的位置。定这个点的位置。n这
13、就是二元随机向量这就是二元随机向量。AXY15n将二元随机向量将二元随机向量（虽然有些教材上仍然采（虽然有些教材上仍然采用二元随机变量的叫法，但我认为，用用二元随机变量的叫法，但我认为，用“向量向量”二字更能体现出多元的特点）完全二字更能体现出多元的特点）完全可以可以推广到三元甚至更多，于是就产生了推广到三元甚至更多，于是就产生了多元随机向量问题多元随机向量问题n欣慰的是欣慰的是，同学们已经学过二元随机向量，同学们已经学过二元随机向量的相关知识，只要将维度扩展到更高元的相关知识，只要将维度扩展到更高元（或维度）就可以理解了（或维度）就可以理解了16P P元（维）随机向量的定义元（维）随机向量的
14、定义n设设 为为p p个随个随机变量，将它们合在一起组成的一机变量，将它们合在一起组成的一个整体的向量个整体的向量 称作称作p p元随机向量。元随机向量。n注意：注意：X X是列向量，所以横着写时需是列向量，所以横着写时需要转置一下。要转置一下。172.联合分布函数与密度函数n与一元随机变量一样，也可将随机向量分为与一元随机变量一样，也可将随机向量分为离散性和离散性和连续型连续型两类，但是在表达其概率分布时，就非常不方两类，但是在表达其概率分布时，就非常不方便了（因为当它是离散型时，需要用多维表格表示概便了（因为当它是离散型时，需要用多维表格表示概率分布，但超过两维时就不容易表示了），这时我们
15、率分布，但超过两维时就不容易表示了），这时我们就必须借助于就必须借助于分布函数分布函数来刻画它的概率分布。这就充来刻画它的概率分布。这就充分体现出分布函数在表达联合概率分布时的优势。分体现出分布函数在表达联合概率分布时的优势。n对于对于多元的随机向量多元的随机向量，就对应地需要用，就对应地需要用联合分布函数联合分布函数来刻画其概率分布。来刻画其概率分布。18复习：二元随机向量的联合分布函数复习：二元随机向量的联合分布函数 19X XY YxyXxYy , y 二元联合分布函数的几何意义演示图二元联合分布函数的几何意义演示图二元联合分布函数的几何意义演示图二元联合分布函数的几何意义演示图: :(
16、x,y)F（x,y）=P(Xx,Yy) ，F(x,y)值为随值为随机点落入黄色机点落入黄色矩形区域内的矩形区域内的概率概率20n对于对于p p元的随机向量来说，元的随机向量来说，就对应地需要就对应地需要用用联合分布函数联合分布函数来刻画其概率分布。来刻画其概率分布。21联合分布函数的定义：联合分布函数的定义：n设设 是一随机向量，是一随机向量，它的它的联合分布函数联合分布函数定义为定义为n该定义与一元分布函数的定义是类似的，只是该定义与一元分布函数的定义是类似的，只是改变为多元函数而已改变为多元函数而已22联合密度函数的定义联合密度函数的定义n对于对于多元连续型随机向量多元连续型随机向量来说，
17、其概来说，其概率分布也可以用密度函数来描述。率分布也可以用密度函数来描述。n若存在一个非负的若存在一个非负的p p元函数元函数f()f()，满，满足足对任意的对任意的 都成立，则称都成立，则称p p元函数元函数f()f()为为p p元随元随机向量的概率密度函数，并称随机向机向量的概率密度函数，并称随机向量为量为连续型的连续型的。23联合概率密度函数的基本性质联合概率密度函数的基本性质n两条性质是：24n随机向量的数字特征主要有随机向量的数字特征主要有均值向量均值向量和和协方差矩阵协方差矩阵。1.1.均值向量均值向量就是每一个分量的均值（或叫期望）所组成就是每一个分量的均值（或叫期望）所组成的常
18、数向量。用数学符号表示如下：的常数向量。用数学符号表示如下：n设设p p元随机向量为元随机向量为 ，且每个分量的期望且每个分量的期望为为 ，则将新向量：，则将新向量：定义为该随机向量的期望，也叫定义为该随机向量的期望，也叫均值向量均值向量而一元随机变量的第一个数字特征名称却称为而一元随机变量的第一个数字特征名称却称为均值或期均值或期望请注意一元与多元在对应概念上的称呼的区别望请注意一元与多元在对应概念上的称呼的区别3.p元随机向量的数字特征25P元随机向量的协方差阵元随机向量的协方差阵n注意：一元随机变量注意：一元随机变量与与多元随机向量多元随机向量在第二个数字在第二个数字特征方面的表示有很大
19、不同，其原因是在多元情形特征方面的表示有很大不同，其原因是在多元情形中还要体现出分量之间的相关关系。中还要体现出分量之间的相关关系。n一元的一元的称为称为方差，方差，而而多元的多元的改称为改称为协方差阵。协方差阵。详见详见教材教材P13P13和指导书上的比较表和指导书上的比较表. .n以二元的为例，就会出现两个分量之间的以二元的为例，就会出现两个分量之间的协方差协方差的的概念。概念。26二元随机向量协方差阵的定义二元随机向量协方差阵的定义n假设二元随机向量为假设二元随机向量为Z=(X,Y),Z=(X,Y),定义其协差阵定义其协差阵为为2222的一个方阵，其的一个方阵，其4 4个元素是两两分量之
20、个元素是两两分量之间的协方差数，用符号间的协方差数，用符号表示，即表示，即n称此称此2 2阶矩阵为阶矩阵为Z=(x,Y)Z=(x,Y)协方差矩阵。其中对协方差矩阵。其中对角线上的两个数就是分量各自的方差。角线上的两个数就是分量各自的方差。n以此可以类推到以此可以类推到P P元随机向量的协差阵的定义。元随机向量的协差阵的定义。27p p元随机向量协方差阵的定义元随机向量协方差阵的定义n一个一个P元随机向量元随机向量 自己自己的方差或协差阵的定义，可用的方差或协差阵的定义，可用D(X)或或表示。表示。n两个两个p元随机向量元随机向量 与与 的的协差阵的定义协差阵的定义。参见教材参见教材P13。 2
21、8n综上综上，可以对一元与多元在概率分布、数字特，可以对一元与多元在概率分布、数字特征等方面进行简单的对比学习，这样容易清楚征等方面进行简单的对比学习，这样容易清楚二者的区别与联系。二者的区别与联系。n请仔细阅读指导书上的第一部分内容中的两张请仔细阅读指导书上的第一部分内容中的两张对比的比较表对比的比较表29一个简单对比一个简单对比一元分布情形一元分布情形多元分布情形多元分布情形概率分概率分布布名称名称随机变量随机变量p元随机向量元随机向量分布名分布名称称概率分布概率分布联合概率分布联合概率分布数字特数字特征征期望期望均值是数均值是数均值向量是向均值向量是向量量方差方差方差是一个非负数方差是一
22、个非负数2协方差矩阵协方差矩阵30多元正态分布多元正态分布在多元统计分析中的重要地位，就在多元统计分析中的重要地位，就如同一元统计分析中一元正态分布所占重要地位如同一元统计分析中一元正态分布所占重要地位一样，多元统计分析中的许多重要理论和方法都一样，多元统计分析中的许多重要理论和方法都是直接或间接建立在正态分布的基础上。是直接或间接建立在正态分布的基础上。原因是原因是: : (1)(1)许多实际问题研究中的随机向量确许多实际问题研究中的随机向量确实遵从正态分布，或者近似遵从正态分布；实遵从正态分布，或者近似遵从正态分布；(2)(2)对于多元正态分布，已经有一套统计推断方法，对于多元正态分布，已
23、经有一套统计推断方法，并且得到了许多完整的结果。并且得到了许多完整的结果。多元正态分布多元正态分布是最常用的一种多元概率分布，下是最常用的一种多元概率分布，下一节就是多元正态分布的定义。一节就是多元正态分布的定义。312.3 多元正态分布定义及基本性质多元正态分布定义及基本性质n 在多元分布中，最常见也是最重要的分布就是正在多元分布中，最常见也是最重要的分布就是正 态分布。态分布。n定义定义：若：若 p p 维随机向量维随机向量 n的联合概率密度为的联合概率密度为n其中其中，x x和和都是都是p p维向量，维向量，是是p p阶正定阵，阶正定阵，则称则称 随机向量随机向量 服从服从p p元正态分
24、布元正态分布，n或称或称p p维正态随机向量维正态随机向量，简记为，简记为X XN pN p（，） 32具体而言,n其中的其中的 的具体形式为的具体形式为n而符号而符号 表示该随机向量的协方差矩阵的行列表示该随机向量的协方差矩阵的行列式，它是个式，它是个非负数值。由此说明非负数值。由此说明是非负定的。是非负定的。33多元正态分布的性质多元正态分布的性质 显然，当显然，当p=1p=1时，就是一元正态分布的时，就是一元正态分布的密度函数；当密度函数；当p=2p=2时，即为二元正态时，即为二元正态分布。分布。n可以证明：可以证明： n（1 1）恰好是恰好是X X的均值向量；的均值向量； n（2 2）
25、恰好是恰好是X X的协方差矩阵。的协方差矩阵。34P P元正态分布的性质：元正态分布的性质：（1 1）若）若 N pN p（，） 则任一分量的边沿则任一分量的边沿( (边缘边缘) )分布也一定是正态分布。分布也一定是正态分布。并且，当协差阵并且，当协差阵是对角形矩阵时，是对角形矩阵时，则分量则分量 是相互独立的。是相互独立的。（2 2）正态随机向量的线性组合仍然服从正态分布）正态随机向量的线性组合仍然服从正态分布（详见教材（详见教材P20P20）. .35n在研究社会、经济现象和许多实际在研究社会、经济现象和许多实际问题时，经常遇到多指标的问题。问题时，经常遇到多指标的问题。n例如，例如，评价
26、学生在校表现时，要考评价学生在校表现时，要考察他的政治思想（德）、学习情况察他的政治思想（德）、学习情况（智）、身体状况（体）等各个方（智）、身体状况（体）等各个方面的情况，仅学习情况就又涉及他面的情况，仅学习情况就又涉及他在各个年度的每门课程成绩，这里在各个年度的每门课程成绩，这里面就有多项指标存在。面就有多项指标存在。2.42.4多元统计中的基本概念多元统计中的基本概念36n再例如，再例如，研究公司的经营情况，就要考察资研究公司的经营情况，就要考察资金周转能力、偿债能力、获利能力、竞争力金周转能力、偿债能力、获利能力、竞争力等多个指标。显然不能将这些指标分割开来等多个指标。显然不能将这些指
27、标分割开来进行单独研究，那样就不能从整体上综合把进行单独研究，那样就不能从整体上综合把握事物的实质。握事物的实质。n一般地，假设我们研究的问题一般地，假设我们研究的问题涉及涉及p个指标，个指标，对对n个个体进行观察，就会得到个个体进行观察，就会得到np个数据个数据，我们的目的就是对观测对象进行分组、分类、我们的目的就是对观测对象进行分组、分类、或分析考察这或分析考察这p个变量之间的相互关联程度，个变量之间的相互关联程度，或者找出内在规律性等等。或者找出内在规律性等等。371.1.多元样本的概念及其表示法多元样本的概念及其表示法n我们要研究的对象是多个变量的总体，我们要研究的对象是多个变量的总体
28、，即研究总体的概率分布，特别是关注其即研究总体的概率分布，特别是关注其数字特征是什么？数字特征是什么？n采用的研究方法是采用的研究方法是统计推断方法。统计推断方法。n通过从总体中随机抽取一个样本的手段，通过从总体中随机抽取一个样本的手段，然后对样本的概率分布（即抽样分布）然后对样本的概率分布（即抽样分布）进行研究，来推断（进行研究，来推断（inferenceinference）未知分）未知分布的总体的概率分布。布的总体的概率分布。38观测数据的表示观测数据的表示n因而所得到的数据是，同时对某因而所得到的数据是，同时对某n个个体观个个体观测了测了p项指标（或变量）后得到的项指标（或变量）后得到的
29、np个数个数据。我们将这据。我们将这p个指标共同表示为个指标共同表示为n常用向量常用向量表示对同一个体观测到的表示对同一个体观测到的p个指标。个指标。39n例如，例如，要考察张三的学习情况，就需要观测他要考察张三的学习情况，就需要观测他的英语、高数、计算机、专业课成绩等多个变的英语、高数、计算机、专业课成绩等多个变量，量，n我们称对每一个个体的我们称对每一个个体的p个变量的一次观测为个变量的一次观测为一个样品一个样品（如张三同学是一个个体，也是一个（如张三同学是一个个体，也是一个样品）。样品）。 n我们表示第我们表示第个样品为个样品为什么是样品（什么是样品（casecase）? ?40什么是样
30、本（什么是样本（sample）?n我们称对全部我们称对全部n个样品组成的局部整体，个样品组成的局部整体，叫做叫做一个样本。一个样本。n例如，例如，从全体工大学生这个总体中随机从全体工大学生这个总体中随机抽取了抽取了200名学生，考察三门公共基础名学生，考察三门公共基础课（数学、外语、计算机）的学习情况，课（数学、外语、计算机）的学习情况，那么这那么这200名学生就组成了名学生就组成了一个样本，一个样本， 在这里，在这里，p=3,n=200。41一个样本的表示一个样本的表示n一个样本一个样本用符号表示为用符号表示为或者，写为或者，写为42例如：考察四个学生三门基础课学习情况，例如：考察四个学生三
31、门基础课学习情况，需要用二维表格表示，常称为样本资料阵：需要用二维表格表示，常称为样本资料阵： 科目科目姓名姓名数学数学外语外语计算机计算机张三张三899295李四李四867492王五王五729086赵六赵六68887443一般地说，一般地说，对于从研究总体中观测到的对于从研究总体中观测到的n个样个样品，且对每一个样品观测品，且对每一个样品观测p个变量（指标）的个变量（指标）的一个样本一个样本 来说，来说，注意注意：其中的每一个是列向量：其中的每一个是列向量：则这些样本数据需要用二维表格的形式来表达，则这些样本数据需要用二维表格的形式来表达，就构成了就构成了样本资料矩阵。样本资料矩阵。44样本
32、资料阵样本资料阵表达为一个表达为一个np的矩阵：的矩阵：n其中，其中，横向横向代表的是代表的是n个样品，个样品，纵向纵向代表的是代表的是p个变量（或指标）。个变量（或指标）。n两个方向共同描述了具有多个变量的多元样两个方向共同描述了具有多个变量的多元样本的抽样数据。本的抽样数据。45例如，随机抽取的四个学生的学习例如，随机抽取的四个学生的学习成绩的（多元）样本资料矩阵为成绩的（多元）样本资料矩阵为表示抽取到了表示抽取到了4个学生，每个学个学生，每个学生考察生考察3门课成门课成绩绩46n与前面的随机向量（在统计中，相当于总体的与前面的随机向量（在统计中，相当于总体的地位）的数字特征相对应，就有了
33、地位）的数字特征相对应，就有了样本的均值样本的均值向量向量与与样本的协方差阵样本的协方差阵这两个最重要的数字特这两个最重要的数字特征。征。n样本的均值向量：样本的均值向量：它是它是p维（元）列向量。维（元）列向量。n样本协方差阵：样本协方差阵：它是它是p阶方阵。阶方阵。2 多元样本的数字特征47计算一下例子中的样本均值向量计算一下例子中的样本均值向量与样本离差阵与样本离差阵S S分别是什么？分别是什么？n样本资料阵为样本资料阵为48以前面的学习成绩为例，计算样以前面的学习成绩为例，计算样本均值向量本均值向量n求出的平均成绩向量，求出的平均成绩向量，即样本均值向量的计即样本均值向量的计算方法为算
34、方法为492.样本协方差矩阵的定义样本协方差矩阵的定义n样本协方差阵定义为：样本协方差阵定义为：它是它是p阶方阵。阶方阵。50对于前面列举的学习的例子，计对于前面列举的学习的例子，计算其样本协方差矩阵为算其样本协方差矩阵为请你自己完成最后的计算！请你自己完成最后的计算！512.5 2.5 多元正态分布的参数估计多元正态分布的参数估计（均值向量和协方差阵的估计）（均值向量和协方差阵的估计）首先应明确，数理统计是本门课程的理论首先应明确，数理统计是本门课程的理论基础，基础，其基本思想是其基本思想是：以样本提供的信息：以样本提供的信息为依据，以统计量为工具，对总体分布中为依据，以统计量为工具，对总体
35、分布中的未知参数或者未知分布进行推断。的未知参数或者未知分布进行推断。简言之，一句话：简言之，一句话：“用样本来推断总体用样本来推断总体”。正因为如此，数理统计也称为正因为如此，数理统计也称为“统计推断统计推断”。52什么是统计推断？n统计推断统计推断是根据已经收集到的样本数据来推断总体的是根据已经收集到的样本数据来推断总体的分布或者总体中的均值、方差等统计参数（它们往往分布或者总体中的均值、方差等统计参数（它们往往是数字特征）。是数字特征）。n之所以不直接从总体出发之所以不直接从总体出发，而根据样本数据推断总体，而根据样本数据推断总体的概率分布的原因是：的概率分布的原因是：n一是总体数据无法
36、全部收集到；如检验电子器件的寿一是总体数据无法全部收集到；如检验电子器件的寿命，这类检验属于破坏性检验，是不可行的。命，这类检验属于破坏性检验，是不可行的。n二是因为既使总体数据能够收集到，但需要耗费大量二是因为既使总体数据能够收集到，但需要耗费大量的人力、物力和财力。的人力、物力和财力。53n因此大家应牢固树立一个观念：因此大家应牢固树立一个观念：统计推统计推断的结论是有误差的，通常体现为在一断的结论是有误差的，通常体现为在一定置信度下结论才成立。同时，定置信度下结论才成立。同时，有些问有些问题的结论也没有必要要求是题的结论也没有必要要求是100%的精的精确。确。n所以，统计推断方法既能节省
37、成本、又所以，统计推断方法既能节省成本、又能满足问题的需要，因而在实际中有着能满足问题的需要，因而在实际中有着广泛的应用。广泛的应用。54统计推断内容的两大组成部分统计推断内容的两大组成部分一大部分内容是一大部分内容是“参数估计参数估计”。另一大部分内容是另一大部分内容是“假设检验假设检验”。这两种思维方式有很大的差异这两种思维方式有很大的差异55统计推断之一：参数估计统计推断之一：参数估计n参数估计的基本思想参数估计的基本思想：直接利用样本提供的：直接利用样本提供的信息对总体分布中的未知参数进行估计，这信息对总体分布中的未知参数进行估计，这就叫做参数估计。就叫做参数估计。n其思维方式是其思维
38、方式是正向的、直接的、即直接地想正向的、直接的、即直接地想方设法去寻找总体中的未知参数的估计值。方设法去寻找总体中的未知参数的估计值。56n假设检验的基本思想：假设检验的基本思想：由于不知道总体的概率分布由于不知道总体的概率分布或者分布中的未知参数是什么，于是就首先提出一或者分布中的未知参数是什么，于是就首先提出一个类似于猜想的所谓的统计假设，然后再利用样本个类似于猜想的所谓的统计假设，然后再利用样本数据来检验这个假设是否可接受，或者利用样本数数据来检验这个假设是否可接受，或者利用样本数据检验一下是否支持这个假设。据检验一下是否支持这个假设。n如果样本数据不支持这个假设（即发生了意料之外如果样
39、本数据不支持这个假设（即发生了意料之外的现象），则认为这个假设不可接受，否则，就认的现象），则认为这个假设不可接受，否则，就认为没有充分的理由拒绝原来的假设。为没有充分的理由拒绝原来的假设。n这就叫做假设检验。这就叫做假设检验。统计推断之二：假设检验统计推断之二：假设检验57很明显，很明显，n假设检验的思维方式是假设检验的思维方式是逆向的、间接的，即逆向的、间接的，即不是直接地想方设法去寻找总体中的未知参不是直接地想方设法去寻找总体中的未知参数的估计值，而是先猜测它是某个值，然后，数的估计值，而是先猜测它是某个值，然后，再去检验这个猜测是否可接受。再去检验这个猜测是否可接受。n在在SPSS的参
40、数检验中，最关键的要看伴随的参数检验中，最关键的要看伴随（或相伴概率）概率与显著性水平（或相伴概率）概率与显著性水平a进行比进行比较，若概率较，若概率Sig.a/2， 就接受就接受原来的零假设。原来的零假设。58下面首先学习的是下面首先学习的是“多元正态总体的参数多元正态总体的参数估计估计”问题。问题。在给出多元正态分布定义和性质的基础上，在给出多元正态分布定义和性质的基础上，在实际问题中，通常可以假定被研究对象遵在实际问题中，通常可以假定被研究对象遵从多元正态分布（即是多元正态总体），从多元正态分布（即是多元正态总体），遗憾的是，遗憾的是，总体分布中的参数向量总体分布中的参数向量和和 往往是
41、未知的，这就需要用样本提供的信息往往是未知的，这就需要用样本提供的信息来估计它们。来估计它们。59n参数估计方法有很多，比如，矩法、极大似然估计参数估计方法有很多，比如，矩法、极大似然估计法、最小二乘法，等等。法、最小二乘法，等等。n这里采用最大似然估计法，得到这里采用最大似然估计法，得到的估计量是的估计量是n即，总体均值向量的最大似然估计量是样本均值向即，总体均值向量的最大似然估计量是样本均值向量。量。n注意：这个估计量仍是一个随机向量。所以后面要注意：这个估计量仍是一个随机向量。所以后面要讲它的分布问题。讲它的分布问题。1 正态总体均值向量 的估计量602 总体协方差阵 的估计量n同样地，
42、总体协差阵同样地，总体协差阵的最大似然估的最大似然估计量是样本协差阵，用符号表示为：计量是样本协差阵，用符号表示为：n当然，这个估计矩阵仍然是随机矩阵当然，这个估计矩阵仍然是随机矩阵。61估计量的统计性质估计量的统计性质1. 样本均值向量样本均值向量 是是的无偏估计的无偏估计，即满足下，即满足下式：式：但是但是，样本协差阵，样本协差阵 不是不是的无偏估计的无偏估计。因为因为从中也可知道，其无偏估计应是从中也可知道，其无偏估计应是62n2. 但它们都是有效估计（方差最小）。但它们都是有效估计（方差最小）。n3. 它们也是一致估计（极限趋近真值）。它们也是一致估计（极限趋近真值）。632.6 2.
43、6 维希特（维希特（WishartWishart）分布的）分布的定义及性质定义及性质 n复习一元的三个重要分布：卡方分复习一元的三个重要分布：卡方分布；布；T分布和分布和F分布。分布。n其中的其中的t分布与分布与F分布有关系：分布有关系：若若Xt(n), X2F(1,n)n参见指导书中的参见指导书中的P6.n教材教材P28的定义。的定义。64第二章第二章 书面作业书面作业n一、关于多元随机向量的基本知识：一、关于多元随机向量的基本知识： 1. P元随机向量及其概率分布的定义是什么？元随机向量及其概率分布的定义是什么？ 2. P元随机向量的数字特征有哪些？名称及其元随机向量的数字特征有哪些？名称
44、及其表达式？表达式？65二、关于多元总体的样本的基本二、关于多元总体的样本的基本知识：知识：1. 何谓何谓P元总体的一个样品和一个样本？样元总体的一个样品和一个样本？样本资料矩阵应如何表达？本资料矩阵应如何表达？2. P元总体的样本数字特征有哪些？名称及元总体的样本数字特征有哪些？名称及其表达式？其表达式？66三、关于多元正态总体的基本知识：三、关于多元正态总体的基本知识：n1. P元正态总体的定义、其中的参数向量元正态总体的定义、其中的参数向量和方阵和方阵的名称及表达式分别是什么？的名称及表达式分别是什么？ 2. P元正态总体的参数估计是何意？其估计元正态总体的参数估计是何意？其估计量是什么？有何统计性质？量是什么？有何统计性质？67
