《概率密度函数的非参数估计》由会员分享，可在线阅读，更多相关《概率密度函数的非参数估计（40页珍藏版）》请在金锄头文库上搜索。
1、 内容纲要研究目的和意义内容纲要研究目的和意义 4.1 基本思想 4.2 Parzen窗方法 4.3 近邻分类器 4.4 本章小结第四章 概率密度函数的非参数估计第四章 内容纲要02内容纲要研究目的和意义4.1 基本思想03第四章 概率密度函数的非参数估计内容纲要研究目的和意义044.1 基本思想第四章 概率密度函数的非参数估计内容纲要研究目的和意义 令R是包含样本点x的一个区域，其体 积为V，设有n个训练样本，其中有k落 在区域R中，则可对概率密度作出一个 估计： 相当于用R区域内的平均性质来作为一点x 估计，是一种数据的平滑。054.1 基本思想内容纲要研究目的和意义有效性 当n固定时，V
2、的大小对估计的效果影 响很大，过大则平滑过多，不够精确 ；过小则可能导致在此区域内无样本 点，k=0。 此方法的有效性取决于样本数量的多 少，以及区域体积选择的合适。064.1 基本思想内容纲要研究目的和意义 构造一系列包含x的区域R1, R2, ，对应 n=1,2,，则对p(x)有一系列的估计： 当满足下列条件时，pn(x)收敛于p (x)：07收敛性4.1 基本思想内容纲要研究目的和意义区域选定的两个途径 Parzen窗法：区域体积V是样本数n的函数 ，如： K-近邻法：落在区域内的样本数k是总样本 数n的函数，如：08区域选定的两个途径内容纲要研究目的和意义09Parzen窗法和K-近邻
3、法内容纲要研究目的和意义4.2 Parzen窗方法10第四章 概率密度函数的非参数估计内容纲要研究目的和意义 定义窗函数114.2 Parzen窗方法内容纲要研究目的和意义 1维数据的窗函数12内容纲要研究目的和意义概率密度函数的估计 超立方体中的样本数： 概率密度估计：13内容纲要研究目的和意义窗函数的要求 上述过程是一个内插过程，样本xi距离 x越近，对概率密度估计的贡献越大， 越远贡献越小。 只要满足如下条件，就可以作为窗函数 ：14内容纲要研究目的和意义窗函数的形式15内容纲要研究目的和意义 hn称为窗的宽度16窗函数的宽度对估计的影响内容纲要研究目的和意义17窗函数的宽度对估计的影响
4、内容纲要研究目的和意义识别方法p保存每个类别所有的训练样本； p选择窗函数的形式，根据训练样本数n选 择窗函数的h宽度； p识别时，利用每个类别的训练样本计算待 识别样本x的类条件概率密度：p采用Bayes判别准则进行分类。18内容纲要研究目的和意义4.3 近邻分类器19第四章 概率密度函数的非参数估计内容纲要研究目的和意义 后验概率的估计Parzen窗法估计的是每个类别的类条件概率 密度 ，而k-近邻法是直接估计每个类 别的后验概率 。将一个体积为V的区域放到待识样本点x周围 ，包含k个训练样本点，其中ki个属于i类， 总的训练样本数为n，则有：204.3 近邻分类器内容纲要研究目的和意义k
5、-近邻分类器 k-近邻分类算法 n设置参数k，输入待识别样本x； n计算x与每个训练样本的距离； n选取距离最小的前k个样本，统计其 中包含各个类别的样本数ki； n 21内容纲要研究目的和意义 k-近邻分类，k=1322内容纲要研究目的和意义最近邻规则 分类规则：在训练样本集中寻找与待识别 样本x距离最近的样本x，将x分类到x所 属的类别 。 最近邻规则 相当于k=1的k-近邻分类，其 分类界面可以用Voronoi网格表示。23内容纲要研究目的和意义 Voronoi网格24内容纲要研究目的和意义距离度量 距离度量应满足如下三个性质： n非负性：n自反性： 当且仅当n对称性：n三角不等式：25
6、内容纲要研究目的和意义常用的距离函数 欧几里德距离：(Eucidean Distance) 26常用的距离函数内容纲要研究目的和意义 街市距离：(Manhattan Distance)27常用的距离函数内容纲要研究目的和意义 明氏距离：(Minkowski Distance)28常用的距离函数内容纲要研究目的和意义 马氏距离：(Mahalanobis Distance) 29常用的距离函数内容纲要研究目的和意义 角度相似函数：(Angle Distance)30常用的距离函数内容纲要研究目的和意义 海明距离：(Hamming Distance) x和y为2值特征矢量：D(x,y)定义为x,y中
7、使得不等式 成立的i的个数。31常用的距离函数内容纲要研究目的和意义 最近邻分类器计算的时间复杂度和空间 复杂度都为O(dn)，d为特征维数，通常 只有当样本数n非常大时，分类效果才 会好。 简化方法可以分为三种： n部分距离法； n预分类法； n剪辑近邻法。32最近邻分类器的简化内容纲要研究目的和意义 定义：Dr(x,y)是r的单调不减函数。令Dmin为当前搜索到的 最近邻距离，当待识别样本x与某个训练样本xi的部 分距离Dr(x,xi)大于 Dmin时， Dd(x,xi)一定要大于 Dmin ，所以xi一定不是最近邻，不需要继续计算 Dd(x,xi) 。33部分距离法内容纲要研究目的和意义
8、预分类（搜索树）34内容纲要研究目的和意义 在特征空间中首先找到m个有代表性的 样本点，用这些点代表一部分训练样本 ； 待识别模式x首先与这些代表点计算距 离，找到一个最近邻，然后在这个最近 邻代表的样本点中寻找实际的最近邻点 。 这种方法是一个次优的搜索算法。35预分类（搜索树）内容纲要研究目的和意义剪辑近邻法 估计错误率的基本思想引出了“剪辑近邻法”：如果将样本集分成两个独立的集合设计集和考试集，并用设计集设计分类器，用考试集 估计错误率，在两集合独立的条件下，对错误率 的估计应该较为准确。36内容纲要研究目的和意义最近邻剪辑算法包括剪辑、分类两部分。利用K-近邻法重复剪辑近邻法37剪辑近邻法内容纲要研究目的和意义4.4 本章小结38第四章 概率密度函数的非参数估计内容纲要研究目的和意义本章主要介绍了概率密度函数的非参数估计 。非参数估计方法主要有：Parzen窗法、KN近 邻法等。近一步地，本章介绍了近邻法的基本 思想与实现流程。4.4 本章小结39第四章 概率密度函数的非参数估计内容纲要研究目的和意义4.5 课后作业 复习82页 习题3.16 复习160页 习题6.640第四章 概率密度函数的非参数估计
