《第二章_多元正态分布的参数估计》由会员分享，可在线阅读，更多相关《第二章_多元正态分布的参数估计（60页珍藏版）》请在金锄头文库上搜索。
1、第二章多元正态分布 2 1多元正态分布的定义 2 2多元正态分布的性质 2 3复相关系数和偏相关系数 2 4极大似然估计及估计量的性质 2 5和 n 1 S的抽样分布 2 1多元正态分布的定义 一元正态分布N 2 的概率密度函数为 若随机向量的概率密度函数为则称X服从p元正态分布 记作X Np 其中 参数 和 分别为X的均值和协差阵 例1 二元正态分布 设X N2 这里易见 是X1和X2的相关系数 当 1时 可得X的概率密度函数为 二元正态分布的密度曲面图 下图是当时二元正态分布的钟形密度曲面图 二元正态分布等高线 等高 椭圆 线 上述等高线上的密度值 二元正态分布的密度等高线族 由10000
2、个二维随机数生成 越大 长轴越长 短轴越短 即椭圆越扁平 越小 长轴越短 短轴越长 即椭圆越圆 1时椭圆退化为一条线段 0时即为圆 2 2多元正态分布的性质 1 多元正态分布的特征函数是 2 设X是一个p维随机向量 则X服从多元正态分布 当且仅当它的任何线性函数均服从一元正态分布 性质 2 常可用来证明随机向量服从多元正态分布 3 设X Np Y CX b其中C为r p常数矩阵 则该性质表明 多元 正态变量的任何线性变换仍为 多元 正态变量 4 设X Np 则X的任何子向量也服从 多元 正态分布 其均值为 的相应子向量 协方差矩阵为 的相应子矩阵 该性质说明了多元正态分布的任何边缘分布仍为 多
3、元 正态分布 需注意 随机向量的任何边缘分布皆为 多元 正态分布未必表明该随机向量就服从多元正态分布 2 2多元正态分布的性质 正态变量的线性组合未必就是正态变量 证明 反证法 若命题 一元正态变量X1 X2 Xn的一切线性组合一定是一元正态变量 成立 则由性质 2 知 X1 X2 Xn的联合分布必为多元正态分布 于是命题 一元正态变量的联合分布必为多元正态分布 成立 从而矛盾 2 2多元正态分布的性质 则 i ii iii 例3设X N4 这里 2 2多元正态分布的性质 5 设X1 X2 Xn相互独立 且Xi Np i i i 1 2 n 则对任意n个常数 有此性质表明 独立的多元正态变量
4、维数相同 的任意线性组合仍为多元正态变量 6 设X Np 对X 0 作如下的剖分 则子向量X1和X2相互独立 当且仅当 12 0 该性质指出 对于多元正态变量而言 其子向量之间互不相关和相互独立是等价的 7 设X Np 0 则例4设X N3 其中则X2和X3不独立 X1和 X2 X3 独立 8 设X Np 0 作如下剖分则给定X2时X1的条件分布为 其中 1 2和 11 2分别是条件数学期望和条件协方差矩阵 11 2通常称为偏协方差矩阵 这一性质表明 对于多元正态变量 其子向量的条件分布仍是 多元 正态的 例5设X N3 其中试求给定X1 2X3时的条件分布 2 3复相关系数和偏相关系数 一
5、复相关系数二 偏相关系数 一 复相关系数 相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱 复相关系数度量了一个随机变量X1与一组随机变量X2 Xp之间线性关系的强弱 将X 0 剖分如下 X1和X2的线性函数间的最大相关系数称为X1和X2间的复 或多重 相关系数 multiplecorrelationcoefficient 记作 1 2 p 它度量了一个变量X1与一组变量X2 Xp间的相关程度 可推导出例4随机变量X1 Xp的任一线性函数F l1X1 lpXp与X1 Xp的复相关系数为1 证明 二 偏相关系数 将X 0 剖分如下 称为给定X2时X1的偏协方差矩阵 记 称为偏
6、协方差 它是剔除了的 线性 影响之后 Xi和Xj之间的协方差 给定X2时Xi和Xj的偏相关系数 partialcorrelationcoefficient 定义为 其中 ij k 1 p度量了剔除Xk 1 Xp的 线性 影响之后 Xi和Xj间相关关系的强弱 对于多元正态变量X 由于 11 2也是条件协方差矩阵 故此时偏相关系数与条件相关系数是同一个值 从而 ij k 1 p同时也度量了在Xk 1 Xp值给定的条件下Xi和Xj间相关关系的强弱 2 4极大似然估计及估计量的性质 一 样本X1 X2 Xn的联合概率密度二 和 的极大似然估计三 相关系数的极大似然估计四 估计量的性质 设X Np 0
7、X1 X2 Xn是从总体X中抽取的一个简单随机样本 今后简称为样本 即满足 X1 X2 Xn独立 且与总体分布相同 令称之为 样本 数据矩阵或观测值矩阵 一 样本X1 X2 XN的联合概率密度 极大似然估计是通过似然函数来求得的 似然函数可以是样本联合概率密度f x1 x2 xn 的任意正常数倍 我们不妨取成相等 记为L 可具体表达为 二 和 的极大似然估计 一元正态情形 多元正态情形 其中称为样本均值向量 简称为样本均值 称为样本离差矩阵 三 相关系数的极大似然估计 1 简单相关系数2 复相关系数3 偏相关系数 1 简单相关系数 相关系数 ij的极大似然估计为 其中 称S为样本协方差矩阵 r
8、ij为样本相关系数 为样本相关矩阵 2 复相关系数 将X 0 S剖分如下 则复相关系数 1 2 p的极大似然估计为r1 2 p 称之为样本复相关系数 其中 3 偏相关系数 将X 0 S剖分如下 则偏相关系数 ij k 1 p的极大似然估计为rij k 1 p 称之为样本偏相关系数 其中 3 5和 N 1 S2的抽样分布 一 的抽样分布二 n 1 S的抽样分布 一 的抽样分布 1 正态总体设X Np 0 X1 X2 Xn是从总体X中抽取的一个样本 则2 非正态总体 中心极限定理 设X1 X2 Xn是来自总体X的一个样本 和 存在 当n很大且n相对于p也很大时 上式近似地成立 二 均值向量与协差阵
9、的最大似然估计 三 估计量的性质 1 无偏性2 有效性3 一致性4 充分性 充分统计量 1充分性的概念 例1为研究某种产品的合格品率 我们对该产品进行检查 从该产品中随机抽取10件进行观测 发现除第三 六件产品不合格外 其余8件产品都是合格品 这样的观测结果包含了两种信息 1 10件产品有8件是合格品 2 2件不合格品分别是第三和第六件 第二种信息对了解该产品合格品率是没有什么帮助的 一般地 设我们对该产品进行n次观测 得到x1 x2 xn 每个xj取值非0即1 合格为1 不合格为0 令T x1 xn T为观测到的合格品数 在这种场合仅仅记录使用T不会丢失任何与合格品率 有关的信息 统计上将这
10、种 样本加工不损失信息 称为 充分性 样本x x1 x2 xn 有一个样本分布F x 这个分布包含了样本中一切有关 的信息 统计量T T x1 x2 xn 也有一个抽样分布F T t 这个分布包含了统计量T中一切有关 的信息 当我们期望用统计量T代替原始样本且不损失任何有关 的信息时 也就是期望抽样分布F T t 像F x 一样概括了有关 的一切信息 这即是说在统计量T取值为t的情况下样本x的条件分布F x T t 已不含 的信息 这正是统计量具有充分性的含义 定义 充分统计量 设x1 x2 xn是来自某个总体的样本 总体分布函数为F x 统计量T T x1 x2 xn 称为 的充分统计量 如
11、果在给定T的取值后 x1 x2 xn的条件分布与 无关 例2设总体为二点分布为样本 令则T是 的充分统计量 若则S不是 的充分统计量 下面我们给出几个例子 根据定义来验证一个统计量是不是充分的 在一般场合直接由定义出发验证一个统计量是充分统计量比较困难 奈曼 Neyman 给出了一个简单的判别方法 因子分解定理 充分性原则 在充分统计量存在的场合 任何统计推断都可以基于充分统计量进行 这可以简化统计推断的程序 称该原则为充分性原则 四 WISHART分布 通过上面的理论分析知道 多元正态总体均值向量和协差阵的最大似然估计分别是样本均值向量和样本协差阵 利用SPSS软件可以迅速地计算出多元分布的
12、样本均值向量 样本离差阵和样本协差阵 下面通过一个实例来说明多元正态分布参数估计的SPSS实现过程 从沪深两市上市公司中随机抽取300家公司 取其三个反映收益情况的三个财务指标 每股收益率 eps 净资产收益率 roe 和总资产收益率 roa 现要求对这三个指标的均值和协差阵进行估计 均值向量的估计 在SPSS中计算样本均值向量的步骤如下 1 选择菜单项Analyze DescriptiveStatistics Descriptives 打开Descriptives对话框 如图2 1 将待估计的三个变量移入右边的Variables列表框中 图2 1Descriptives对话框 2 单击Opt
13、ions按钮 打开Options子对话框 如图2 2所示 在对话框中选择Mean复选框 即计算样本均值向量 单击Continue按钮返回主对话框 图2 2Options子对话框 3 单击OK按钮 执行操作 则在结果输出窗口中给出样本均值向量 如表2 2 即样本均值向量为 0 175 0 044 0 026 表2 2样本均值向量 协差阵的估计 在SPSS中计算样本协差阵的步骤如下 1 选择菜单项Analyze Correlate Bivariate 打开BivariateCorrelations对话框 如图2 3 将三个变量移入右边的Variables列表框中 图2 3BivariateCorr
14、elations对话框 2 单击Options按钮 打开Options子对话框 如图2 4 选择Cross productdeviationsandcovariances复选框 即计算样本离差阵和样本协差阵 单击Continue按钮 返回主对话框 图2 4Options子对话框 3 单击OK按钮 执行操作 则在结果输出窗口中给出相关分析表 表中PearsonCorrelation给出皮尔逊相关系数矩阵 SumofSquaresandCross products给出样本离差阵 Covariance给出样本协差阵 值得注意的是 这里给出的样本协差阵是S n 1 而不是S n 表2 3样本相关系数矩阵 离差阵与协差阵 EXERCISES 4 1 4 3 4 8 4 13 4 14 4 15 4 19 4 35 4 41
