《正态分布中的Bayes决策》由会员分享，可在线阅读，更多相关《正态分布中的Bayes决策（61页珍藏版）》请在金锄头文库上搜索。
1、2.3 正正态态分布分布时时的的统计统计决策决策uuBayes决策的三个前提：决策的三个前提：类别类别类别类别数确定数确定数确定数确定各各各各类类类类的先的先的先的先验验验验概率概率概率概率P P( (i i) )已知已知已知已知各各各各类类类类的条件概率密度函数的条件概率密度函数的条件概率密度函数的条件概率密度函数p(p(x|x|i i) )已知已知已知已知uuBayes决策中，决策中，类类条件概率密度的条件概率密度的选择选择要求：要求：模型合理性模型合理性模型合理性模型合理性计计计计算可行性算可行性算可行性算可行性uu最常用概率密度模型：最常用概率密度模型：最常用概率密度模型：最常用概率密
2、度模型：正正正正态态态态分布分布分布分布观测值观测值观测值观测值通常是很多种因素共同作用的通常是很多种因素共同作用的通常是很多种因素共同作用的通常是很多种因素共同作用的结结结结果，根据果，根据果，根据果，根据中心极限定理，它中心极限定理，它中心极限定理，它中心极限定理，它们们们们（近似）服从正（近似）服从正（近似）服从正（近似）服从正态态态态分布。分布。分布。分布。计计计计算、分析最算、分析最算、分析最算、分析最为简单为简单为简单为简单的模型。的模型。的模型。的模型。 一、正一、正态态分布判分布判别别函数函数 1、为为什么采用正什么采用正态态分布：分布： a、正、正态态分布在物理上是合理的、广
3、泛的。分布在物理上是合理的、广泛的。 b、正、正态态分布数学上分布数学上简单简单，N(, ) 只有均只有均值值和和方差两个参数。方差两个参数。v2-3.1 正正态态分布决策理分布决策理论论. 2、单变单变量正量正态态分布：分布： .从从p(x)的的图图形上可以形上可以看出，看出，只要有两个只要有两个参数参数m m和和s s2 2 ,就可以完就可以完全确定其曲全确定其曲线线。 若服从正若服从正态态分布的分布的总总体中随机体中随机抽取抽取样样本本x，约约有有95的的样样本本落在落在(m-2s,m+2sm-2s,m+2s)中。中。样样本的本的分散程度可以用分散程度可以用s s来表示来表示 , s s
4、越越大分散程度越大。大分散程度越大。 . 正正态态分布是指一个随机分布是指一个随机实实数度量数度量值值在整个在整个实实数域上数域上的分布的分布规规律。律。 因此它属于因此它属于概率密度函数概率密度函数类类，不是我，不是我们们所所讨论讨论的先的先验验概率概率P(i)，也不是后，也不是后验验概率概率P(i|X)，而是，而是p(x|i)。.3、（多、（多变变量）多量）多维维正正态态分布分布 为为d维维均均值值向量也就是向量也就是: （1）函数形式：）函数形式：x=(x1,x2,xd)T为为d维维随机向量随机向量 S S是是dd维协维协方差矩方差矩阵阵，S S-1是是S S的逆矩的逆矩阵阵，|S| S
5、|为为S S的的行列式。行列式。 协协方差矩方差矩阵阵S S是是对对称的，称的，其中有其中有d(d+1)/2个独立元个独立元素。素。 . 由于由于r(r(x) )可由可由m m和和S S完全确定，所以完全确定，所以实际实际上上r(r(x) )可由可由d(d+1)/2+dd(d+1)/2+d个独立元素来确定。个独立元素来确定。m m、S S分分别别是向量是向量x和矩和矩阵阵(x-m m)(x-m m)T的期望。的期望。 多元正多元正态态分布与分布与单态单态量正量正态态分布在形式上尽管分布在形式上尽管不同，但有很多相似之不同，但有很多相似之处处，实际实际上上单变单变量量正正态态分布分布只只是是维维
6、数数为为1的多元分布。的多元分布。 . 当当d=1时时，只是一个只是一个11的矩的矩阵阵，也就是只有，也就是只有1个个元素的矩元素的矩阵阵，退化成一个数，退化成一个数，|1/2也就是也就是标标准差准差, ,-1-1也也就是就是-2，而，而(X)T(X)也也变变成成(X-)2， 多元正多元正态态分布的概率密度函数中的分布的概率密度函数中的元元就是我就是我们们前面前面说说得特征向量的分量数，也就是得特征向量的分量数，也就是维维数数。 .具体具体说说：若：若xi是是x的第的第i个分量，个分量，m mi是是m m的第的第i个分量，个分量，s sijij2 2是是S S的第的第i、j个元素。个元素。其中
7、其中r(r(xi) )为边缘为边缘分布，分布， .协协方差矩方差矩阵阵： 是一个是一个对对称矩称矩阵阵，只考，只考虑虑S S为为正定矩正定矩阵阵的情况，也就是的情况，也就是: |S| S|所有的子式都大于所有的子式都大于0. 同同单变单变量正量正态态分布一分布一样样，多元多元正正态态分布分布r(r(x) )可以由可以由m m和和S S完全确定，完全确定，常常记为记为N(m,Sm,S)。.(2) 多元正多元正态态分布的性分布的性质质参数参数和和完全决定分布完全决定分布等概率密度等概率密度轨迹迹为超超椭球面球面 不相关性等价于独立性不相关性等价于独立性 边缘分布和条件分布的正分布和条件分布的正态性
8、性 线性性变换的正的正态性性 线性性组合的正合的正态性性.参数参数m m和和S S对对分布的决定性分布的决定性 对对于于d维维随机向量随机向量x，它的均，它的均值值向量向量m m也是也是d维维的，的，协协方差矩方差矩阵阵是是对对称称的，其中有的，其中有d(d+1)/2d(d+1)/2个独立元素。个独立元素。 r( r(x) )可由可由m m和和S S完全确定，完全确定，实际实际上上r(r(x) )可由可由d(d+1)/2+dd(d+1)/2+d个独立元素决定。常个独立元素决定。常记为记为： r(r(x) )N(m,Sm,S).等密度点的等密度点的轨轨迹迹为为一超一超椭椭球面球面 由由r(r(x
9、) )的定的定义义公式可知，右公式可知，右边边指数指数项为项为常数常数时时，密，密度度r(r(x) )的的值值不不变变，所以等密度点，所以等密度点满满足：足： 二二维维情况下，上式的解是一个情况下，上式的解是一个椭圆轨椭圆轨迹迹，其，其长长短短轴轴方向由方向由协协方差矩方差矩阵阵的特征向量决定，的特征向量决定， 三三维时维时是一个是一个椭椭球面球面，超，超过过三三维则维则是是超超椭椭球面球面，主主轴轴方向由方向由协协方差矩方差矩阵阵S S的特征向量决定，各主的特征向量决定，各主轴轴的的长长度度则则与相与相应应的特征的特征值值成正比。成正比。. 从下从下图图可以看出，从正可以看出，从正态态分布分
10、布总总体中抽取的体中抽取的样样本大部分落在由本大部分落在由m m 和和S S所确定的一个区域里，所确定的一个区域里，这这个区个区域的域的中心中心由均由均值值向量向量m m决定，区域的决定，区域的大小大小由由协协方差矩方差矩阵阵决定。决定。.在数理在数理统计统计中，令：中，令： 式中式中g g称称为为x到到m m的的马马氏距离（氏距离（Mahalanobis）距离。）距离。 所以所以等密度点等密度点轨轨迹是迹是x到到m m的的马马氏距离氏距离g g为为常常数的超数的超椭椭球面。球面。 .不相关性等价于独立性不相关性等价于独立性 概率概率论论中，一般来中，一般来说说，两个随机，两个随机变变量量xi
11、和和xj之之间间不不相关，并不意味着它相关，并不意味着它们们一定独立。一定独立。 如果如果xi和和xj之之间间不相关，不相关，则则xixj的数学期望有：的数学期望有：如果如果xi和和xj相互独立，相互独立，则则有：有：. 如果如果xi和和xj相互独立，相互独立，则则它它们们之之间间一定不相关，反一定不相关，反之之则则不成立。不成立。 但是但是对对服从正服从正态态分布的两个分量分布的两个分量xi和和xj，若，若xi和和xj互互不相关，不相关，则则它它们们之之间间一定独立。一定独立。证证明：明：见书见书P27 根据独立性的定根据独立性的定义义：正：正态态分布随机向量的分布随机向量的各分量各分量间间
12、互不相关性与相互独立等价互不相关性与相互独立等价。 独立性是比不相关更独立性是比不相关更强强的条件。的条件。 不相关反映了不相关反映了xi和和xj的的总总体性体性质质。 .边缘边缘分布与条件分布的正分布与条件分布的正态态性性从从(3)证证明得出的明得出的结论结论r(r(x) )表达式，如果表达式，如果x用用xj表示，有：表示，有： 也就是也就是说说，边缘边缘分布分布r(r(x1) )服从均服从均值为值为m m，方差，方差为为s s11112 2的正的正态态分布：分布：同理，同理， .二元正二元正态态分布分布协协方差矩方差矩阵阵及其逆矩及其逆矩阵阵-1为为下面以二元正下面以二元正态态分布分布为为
13、例例进进行行证证明明.根据根据边缘边缘分布定分布定义义.=1 另外，条件分布，另外，条件分布，给给定定x1的条件下的条件下x2的分布：的分布： 证证明条件分布仍然是正明条件分布仍然是正态态分布（作分布（作业题业题）.线线性性变换变换的正的正态态性性 对对于多元随机向量的于多元随机向量的线线性性变换变换，仍，仍为为多元正多元正态态分布的随机向量。分布的随机向量。 就是：就是：x服从正服从正态态分布分布r(r(x) )N(m,Sm,S)，对对x作作线线性性变换变换y=Ax，其中，其中A为线为线性性变换变换矩矩阵阵，且，且|A|0|0，则则y服从正服从正态态分布：分布：r(r(x) )N(Am,m,
14、A AS SA AT T)证证明：明： x经过变换为经过变换为y，设变换设变换矩矩阵阵A为为非奇异矩非奇异矩阵阵，y=Ax即即x=A-1y.即即 Ex=m m,Ey=n n根据雅克比行列式的定根据雅克比行列式的定义义，有，有|J|=|A|x的均的均值值向量向量为为m m，y的均的均值值向量向量为为n n所以所以y的概密函数与的概密函数与x的概密函数之的概密函数之间间的关系的关系为为：所以：所以： n n =A m m 即即m m =A-1n n.由于：由于：|A|=|AT|=|AA|1/2（对对称正定称正定）由上面的由上面的结论结论可以得到：可以得到：.即：即： 性性质质5说说明了用非奇异明了
15、用非奇异阵阵A对对x作作线线性性变换变换后，原来后，原来的正的正态态分布正好分布正好变变成另一个参数不同的正成另一个参数不同的正态态分布。分布。 由于由于是是对对称称阵阵，根据高等代数知，根据高等代数知识总识总可以找到某可以找到某个个A，使得，使得变换变换后后y的的协协方差矩方差矩阵阵AAT为对为对称称阵阵， 这这就意味着就意味着y的各个分量之的各个分量之间间是相互独立的，也就是相互独立的，也就是是总总可以找到一可以找到一组组坐坐标标系，使各随机系，使各随机变变量在新的坐量在新的坐标标系下是系下是独立独立的。的。.线线性性组组合的正合的正态态性性 若若x为为多元正多元正态态随机向量，随机向量，
16、则线则线性性组组合合y=a aTx是一是一维维的的正正态态随机随机变变量：量：其中，其中，a a与与x同同维维。证证明明 利用性利用性质质(5) 做做线线性性变换变换y=A ATx, 得得. 由性由性质质(5)，y是服从均是服从均值值向量向量A ATm m，协协方差方差阵阵ATA的多元的多元统计统计分布分布, 由性由性质质(4) ， y的的边缘边缘分布的正分布的正态态性，可以得出性，可以得出y=a aTx服从正服从正态态分布，分布， 其概率密度函数其概率密度函数为为：其中其中A=a a,A1为为非奇异非奇异阵阵，A1为为d(d-1)为为矩矩阵阵，y=y,Y1 T. 2.3.2正正态态分布中的分
17、布中的Bayes分分类类方法方法 前面，我前面，我们们已已经经把基于把基于Bayes公式的几种分公式的几种分类类判决判决规则规则抽象抽象为为相相应应的判决函数和决策面方程。的判决函数和决策面方程。 这这几种方法中几种方法中Bayes最小最小错误错误率判决率判决规则规则是一种最是一种最基本的方法。基本的方法。 如果取如果取01损损失函数，最小失函数，最小风险风险判决判决规则规则和最和最大似然比判决大似然比判决规则规则均与最小均与最小错误错误判决判决规则规则等价。等价。 . 下面以下面以最小最小错误错误判决判决规则规则为为例来研究例来研究Bayes分分类类方法在正方法在正态态分布中的分布中的应应用
18、。用。 由最小由最小错误错误率判决率判决规则规则抽象出来的判决函数如下：抽象出来的判决函数如下： 如果如果类类概率密度概率密度是是正正态态分布分布的，的， .则则r(r(x|w wi) )N(m mi,S,Si) )。 取取对对数，得判数，得判别别函数函数为为.下面下面对对几种特殊情况几种特殊情况进进行行讨论讨论。情况一：情况一： 该该情况下，每情况下，每类类的的协协方差矩方差矩阵阵相等，而且相等，而且类类的各的各特征特征间间相互独立（由上相互独立（由上节节的性的性质质得知），具有相得知），具有相等的方差等的方差s s2。.因此：因此： (1)先先验验概率概率P P(w(wi i)与与P P(
19、w(wj j)不相等不相等.其中：其中： 将上两式代入将上两式代入gi(x)：为为x到到类类w wi的均的均值值向量向量m mi的的“欧氏距欧氏距离离”的平方。的平方。与与类别类别无关，可无关，可以忽略，因此以忽略，因此gi(x)可可简简化化为为：.进进一步一步简简化得。化得。xTx与与i无关，可以忽略：无关，可以忽略：.是一个是一个线线性函数。性函数。 因此可以因此可以进进一步写成一步写成 .(2) P(w wi )=P，所有各，所有各类类概率相等概率相等 决策决策规则规则：对对某个某个x计计算算 为线为线性函数，性函数， 其决策面由其决策面由线线性方程性方程 决策面是一个超平面。决策面是一
20、个超平面。.满满足足 的的x的的轨轨迹是迹是w wi 与与w wj 类间类间的决策面的决策面当当P(w wi )=P(w wj )时时，超平面通，超平面通过过m mi 与与m mj 连线连线中点并与中点并与连线连线正交正交.两个同心两个同心圆圆是两是两类类概率分布等密度点概率分布等密度点轨轨迹，迹，两个两个圆圆心就是两心就是两类类的均的均值值点。点。两两类类的区分的区分线线l与与m m1-m m2垂直，其交点垂直，其交点为为x0 若若P(w w1 )P(w w2 )时时，x0向先向先验验概率概率较较小的那个小的那个类类型的均型的均值值点偏移。点偏移。 x0一般不是一般不是m1m1-m2m2的中
21、点，的中点，但当但当P(w w1 )=P(w w2 )时时，x0为为m m1-m m2的中点。的中点。 .情况二：情况二：i 相等，即各相等，即各类协类协方差相等方差相等 从几何上看，相当于各从几何上看，相当于各类样类样本集中于以本集中于以该类该类均均值值点点为为中心的同中心的同样样大小和形状的超大小和形状的超椭椭球面内。球面内。. 对对于未知的于未知的x，如果把，如果把x与各与各类类均均值值相减，即相减，即相当于相当于Mahalanobis距离的平方。距离的平方。这时这时把把x归归于最于最近一近一类类。称。称为为最小距离分最小距离分类类器器。与与类别类别无关，无关，可以忽略，可以忽略，.gi
22、（x）为为线线性函数性函数，故决策面是一个，故决策面是一个超平面超平面。.如果决策域如果决策域R1和和R2相相邻邻，则则决策面方程决策面方程应满应满：如果各如果各类类的的先先验验概率相等概率相等，则则.下面下面针对针对1，2二二类类情况情况进进行行讨论讨论.情况三情况三： 为为任意，各任意，各类协类协方差矩方差矩阵阵不等不等这时这时判判别别函数函数为为 x 的的二次型二次型。.如果决策域，如果决策域，R1和和R2相相邻邻，则则决策面方程决策面方程应满应满足足.2.4 关于分关于分类类器的器的错误错误率率问题问题 在分在分类过类过程中，任何一种决策程中，任何一种决策规则规则都有其相都有其相应应的
23、的错误错误率，率， 当采用指定的决策当采用指定的决策规则规则来来对类对类条件概率密度及条件概率密度及先先验验概率均概率均为为已知的已知的问题进问题进行分行分类时类时，它的，它的错误错误率率是固定的。是固定的。 错误错误率反映了分率反映了分类问题类问题固有的复固有的复杂杂性的程度。性的程度。 对对同一种同一种问题设计问题设计出的多种不同的分出的多种不同的分类类方案，方案，通常通常总总是以是以错误错误率大小作率大小作为为比比较较方案好坏的方案好坏的标标准。准。 因此，在本因此，在本书书中中错误错误率是非常重要的参数。率是非常重要的参数。.2.4.0 两两类类决策的决策的错误错误率率为为下式下式 从
24、上式可以看出当从上式可以看出当x为为多多维维向量的向量的时时候，候，进进行行积积分运算的工作量比分运算的工作量比较较大。大。 因此因此对对于于实际问题实际问题，对错误对错误率的研究一般从率的研究一般从下面三点出下面三点出发发：1、按理、按理论论公式研究。公式研究。2、计计算算错误错误率上界率上界3、实验实验估估计计.2.4.1 在一些特殊情况下在一些特殊情况下错误错误率的理率的理论计论计算算第一种情况第一种情况-正正态态分布且等分布且等协协方差矩方差矩阵阵 S S1 1=S S2 2=S S3 3下面回下面回顾顾一下最小一下最小错误错误率率贝贝叶斯决策的叶斯决策的负对负对数似然比函数数似然比函
25、数很很显显然，然，h(x)为为随机随机变变量，量，记记它的分布函数它的分布函数为为P(h|w wi).这样贝这样贝叶斯决策的最小叶斯决策的最小错误错误率形式率形式 在在实际实际情况下，我情况下，我们们只考只考虑虑正正态态分布，因此分布，因此h(x)可可以写成如下形式：以写成如下形式：. 上式表明决策面是上式表明决策面是x的二次型，如果的二次型，如果协协方差相方差相等，决策面就等，决策面就变变成成 x 的的线线性函数。即性函数。即 x 是是 d 维维等等协协方差正方差正态态分布的随机向量，而分布的随机向量，而 h(x) 是一是一维维的随机的随机变变量，且是量，且是 x 的的线线性函数，因此上式可
26、性函数，因此上式可看成是看成是对对x的各分量做的各分量做线线性性组组合合 a aT Tx, 然后再作平移，然后再作平移，其中其中 a aT T=(m=(m2 2-m-m1 1) )T TS S-1-1.令令则则有有.同同样样可以得出可以得出p(h/w/w2 2) )的参数均的参数均值值h h2 2及方差及方差s s2 22 2因此，可以利用因此，可以利用p(h/w/w1 1) )和和p(h/w/w2 2) )计计算出算出P1(e)和和P2(e).2.独立随机独立随机变变量量 当当d 维维随机向量随机向量 x 的分量相互独立的分量相互独立时时，x 的密度函数的密度函数课课表示表示为为：因此因此负对负对数似然比数似然比h(x）为为：. 也就是也就是说说随机随机变变量量h(x)为为d个随机个随机变变量量h(xl)之和。之和。根据根据中心极限定理中心极限定理，无，无论论h(xl)的密度函数如何，只的密度函数如何，只要当要当d大大时时，h(x)的密度函数的密度函数总总是是趋趋于于正正态态分布分布。这样这样我我们们就可以得到就可以得到均均值值h h2 2及方差及方差s s2 22 2. 根据独立性假根据独立性假设设，上式中第二，上式中第二项项必定必定为为零，所以零，所以其方差可写其方差可写为为.
