总体分布的非参数估计

《总体分布的非参数估计》由会员分享，可在线阅读，更多相关《总体分布的非参数估计（25页珍藏版）》请在金锄头文库上搜索。

1、总体分布的非参数估计Parzen窗法非参数估计 参数估计要求密度函数的形式已知，但这种假定有时并不 成立，常见的一些函数形式很难拟合实际的概率密度，经典 的密度函数都是单峰的，而在许多实际情况中却是多峰的， 因此要采用非参数估计。非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计。又称作模型无关方法。参数估计：需要事先假定一种分布函数，利用样本数据估计其参数。 又称作基于模型的方法。两种主要非参数估计方法核函数方法 Parzen窗法用样本直接去估计类概率密度 ,以此来设计分类 器 -近邻法用学习样本直接估计后验概率 ,作为分类准则来 设计分类器神经网络方法NK)(i

2、xp)(xpi核函数方法核函数方法估计的目的从样本集 出发，估计样本空间中任何一点 的概率密度基本方法用某种核函数表示某一样本对待估计密度函数的贡献， 所有样本所作贡献的线性组合视作对某点概率密度p(x) 的 估计NxxxX,21 )(xp NiiNxxxp1)()(密度估计一个随机向量x落入到区域R的概率P为其中 为x的总体概率密度函数。 RdxxpP)(P(X)RX)(xp密度估计假设有N个样本 都是从密度为P(x)的总体中 独立抽取的。则N个样本中有k个落入区域R内的概率 符合随机变量的二项分布，可以写为：其中 是样本x落入R内的概率, 是k个样本落入R内的 概率。k的数学期望值为： （

3、由二项分布性质可证）对于概率 的估计： ， 是 的一个很好的估计 而我们要估计的不是这一 ，而是总体密度 的估计Nxxx,21kPkNkk NkPPCP)1 (kPPNPkkE)(PNkP NkPP)(xp)( xp密度估计为此，设 连续，并且区域R足够小，以致使 在 这么小的区域中没有什么变化，则可得其中， 是R包围的体积故概率密度的估计： （V足够小）)(xp)(xp RNkVxPdxxPP)()( RdxVNkPVxP)(VNk xP)(讨论当V固定的时候N增加, k也增加,当 时 只反映了 的空间平均值，而反映不出空间的变化。N固定，体积V变小当 时， 时 时 所以起伏比较大，噪声比较

4、大，需要对V进行改进。NkVVNk xPNkP1)(1)(xP0V0k0)(VNk xP0kVNk xP)(对体积V的改进为了估计X点的密度，我们构造一串包括X的区域序列对 采用一个样本进行估计，对 采用第二个样本进行估计设 是 的体积， 是N个样本落入 的样本个数，则密度的第N次估计：则 是 的第N次估计NRRR,211R2RNVNRNKNVNNVNk xP)()(xPN)(xPN收敛性若 收敛于 应该满足三个条件：)(xPN)(xPN0lim) 1 ( NNV NNKlim)2(0lim)3( NKNN非参数估计满足上述三个条件的区域序列一般有两种选择方法，从而 得到两种非参数估计方法：P

5、arzen窗法使体积 以N的某个函数（如 为常数 ）的关系不断缩小。但这时对 和 都要加以限制条件使 收敛于 近邻估计NVhNhVN,NKNKN/)(xPN)(xPNKParzen窗口估计假设 为一个d维的超立方体， 为超立方体的长度超立方体体积为： ，窗口为一线段 ，窗口为一平面，窗口为一立方体 ，窗口为一超立方体NRNhd NNhV 1d 3d3d2dParzen窗口估计是以点X为中心的超立方体在 落入方窗时，则有在 内为1在 内为0落入 的样本数为 故此，密度估计 窗函数并不局限与超立方体函数，还可以是其他的形式 )(xix 22N iN ihxxhxxNVNV1)21(2/ NNNi

6、hh hxxNV NiNi NhxxK1)( NiNiNNN NhxxVNVNKxP1)(11/)(Parzen窗口估计讨论：1、每个样本对估计所起的作用依赖于它到x的距离，即时， 落在以x为中心、体积为 的超立方体 时， 为1，否则为0。 2、 称为 的窗函数，取0,1两种值，但有时候可以取值0，0.1,0.2，等多种值，例如随 离x接近的程度， 可取值由0，0.1,0.2，到1。2/NihxxixNV )(u)(Ni hxxNi hxxix)(Ni hxxParzen窗口估计3、要求估计的 应满足为满足这两个条件，要求窗函数满足：4、窗长度 对 的影响若 太大， 是 的一个平坦，分辨率低的

7、估计， 有平均误差；若 太小， 是 的一个不稳定，起 伏大的估计，有噪声误差。可见 的选取，对 有重 要影响。因此实际中选取 需要一定的经验。 )(xPN 1)(0)(dxxPxPNNNi hxxNiNiNihxxdhxxhxx1)()(0)(Nh)(xPNNh)(xPN)(xPNNh)(xPN)(xPNNh)(xPNNh例题解析例1：对于一个二类 识别问题，随机抽取 类的6 个样本 估计 即是解：正态窗函数),(211),(621xxxX),(6211xxx) 1 . 1, 5 . 2, 6, 3, 6 . 3, 2 . 3(654321xxxxxx)(1xP)(xPN)(21exp21)(

8、)()21exp(21)(22NiNi hxxhxxuuu例题解析x是一维的 其中选上式用图形表示是6个分别以3.2、3.5、3、6、2.5、1.1 为中心的丘形曲线（正态曲线），而 则是这些曲线 之和由图看出，每个样本对估计的贡献与样本间的距离有关，样本越多， 越准确。,1 NhhVNN6,65 . 01Nh5 . 0665 . 0NV)65 . 01 . 1(21exp134. 0)65 . 02 . 3(21exp134. 0)(1)(221 xxhxxNxPNiNi N)(xPN)(xPN例题解析例2：设待估计的 是个均值为0，方差为1的正态密度 函数。若随机地抽取x样本中的1个、16

9、个、256个作为学 习样本 ，试用窗口法估计 。解：设窗口函数为正态的，设 为窗口长度， 为样本数， 为选定可调节的参数。)(xPix)(NxP01，)(21exp21)()(2NiNi hxxhxxuNhhN1NhN1h NiNiiNi NhNxxNhhxxhN NxP112111)(21exp211)(1)(例题解析例题解析讨论：由图看出， 随N， 的变化情况1、当 时， 是一个以第一个样本为中心的正态形态的小丘，与窗函数差不多。2、当 及 时曲线起伏很大，噪声大；起伏减小；曲线平坦，平均误差大。3、当 时， 收敛于一平滑的正态曲线，估 计曲线较好 )(xPN1h1N)(xPN16N256

10、N25. 01h11h41hN)(xPN例题解析例3：假定未知密度是二个均匀分布的密度混合函数解：此为多峰情况的估计设窗函数为正态用Parzen窗法估计两个均匀分布的实验结果见下页图 为其他xxxxP02025. 025 . 21)(NhhuuN12,21exp21)( NiNiiNi NhNxxNhhxxhN NxP112111)(21exp211)(1)(例题解析例题解析当 时的 估计如图所示1、当 时， 实际是窗函数2、当 及 时曲线起伏大曲线起伏减小曲线平坦 3、当 时，曲线很好，与真实分布接近。、362611N)(xPN1N)(xPN16N256N25. 01h11h41hN结论由上例知：窗口法的优点是应用的普遍性。对规则分布， 非规则分布，单峰或多峰分布都可用此方法进行密度估 计。不足：要想得到较满的结果，要求样本足够多，才能有 较好的估计。因此是使计算量，存储量增大。结束语谢谢大家！