《非参数判别》由会员分享，可在线阅读，更多相关《非参数判别（6页珍藏版）》请在金锄头文库上搜索。
1、非参数判别从原理上说贝叶斯决策理论采用了在d维特征空间中样本分布的最一般描述方式，即统 计分布来描述，并且采用分类器中最重要的指标错误率作为产生判别函数和决策面的依 据，因此它给出了最一般情况下适用的“最优”分类器设计方法，对各种不同的分类器设计技 术在理论上都有指导意义。但是直接使用贝叶斯决策理论需要首先得到有关样本总体分布的 知识，具体说来包括各类先验概率P（叫）及类条件概率密度函数，从而可以计算出样本的后 验概率P（IX），并以此作为产生判别函数的必要数据，设计出相应的判别函数与决策面。然而直接采用贝叶斯决策方法并不是一种有效的手段，这是由于这种描述样本分布的方 法的基本原则，加上在一般
2、情况下要得到准确的统计分布知识是极其困难的事。为此人们针 对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这一类 分类器设计技术统称为非参数方法的分类器设计技术。一、核方法对需要非线性分类界面的情况，支持向量机提出的方法是利用特征映射方法，使非线性分类的问题可以利用线性分类的计算框架来实现。利用特征映射方法的原理示意图如图1所示，其中左图表示的是在原特征空间两类需要非线性分界面的情况，而右图则表示采用特 征映射后，样本X在新的特征空间中表示成（媪，而两类样本之间的分界面可以用线性分 界面方程。现在举一个利用二次曲面的例子，假设对一个二维空间的分类问题，想用一个二次函数
3、作为判别函数，则二次曲线函数的一般式可写成axl + bxxx2 + cxl + dx1 + ex2 + / = 0如果我们希望采用广义线性方程的方法,我们可以定义作为映射后的特征向量，而相应的广义权向量，则一个线性方程就可写成，其中 w0=f。这样一来，线性分类方法就可以直接采用。这条路子在传统的模式识别技术中并没有持 续研究下去，因为一个突出的问题是维数会急剧增加，在高维的空间中进行计算是传统方法 所忌讳的。但支持向量机方法的提出者们对这个问题进行了更深入一步的研究，他们坚持了 利用特征映射的方法，从而保留了线性划分的计算框架。支持向量机利用特征映射的思想，可以回顾一下支持向量机中的以下两
4、个式子：其中是以下式子求极大值的解Ld =工d 一土工尬宀”儿 (2)(1)从这个式子可以看到，计算上式的极大值只用到训练样本数据间的点积,而使用 ij的分类器判别函数中权向量的作用也是通过权向量与样本的点积体现出来的，而从(2)式中看出来，权向量是训练样本中的支持向量的线性组合，因此WX值的计算可写成X =工&” 它表明在计算判别函数值时，仍然只需通过计算相应数据的点积即可。由此可以设想，如果我们将原特征向量用映射的方式转换成W竝，贝y相应的式子只需改变成ld = &(4)分类界面方程工务$ + w； =0(5)其中w0*为相应的常数项。由于特征进行了映射，从x变成了 f(x)，因此问题是在
5、另一个映射后的空间讨论的。设原空间维数为d即X已R，而新空间为m维，即，则一般m维要比d维大得多。权向量的维数也是 m 维， 它是在映射后空间中的支持向量的线性求和。但是支持向量机的提出者进一步发现，并不一定要求出这个权向量，因为分类判别函数中只关心权向量与样本向量之间的点积。因此，又引出了所谓核函数K(x., x)。如果能确定某种函数k(x：x)的确是x.与x这两个样本数据某种映射的内积，就可用它来 设计支持向量机，而不必知道对应哪一个函数f(*)。因此支持向量机采用了巧妙的特征映射 方法, 将线性分类计算框架，扩展到非线性分类的领域。相应的式子可写成 Ld =工他一2工旳卩片肌吗込J分类界
6、面方程三心如用+= 0 这样一来，如果我们选择了一种函数k(a,b),其中a和b是原特征空间的两个数据点， 那么只要这种函数是反映了特征映射后数据的内积，线性分类器的框架就都可以用了。因此 选择合适的取丁)函数就成为设计中的重要问题。对(7)式可以用一种图2 所示的结构来表示图 2 支持向量机计算示意图K(xi,x)K(X2,X)K(xn,x)的非线性变换我们把具备这种条件的函数称为核函数。理论上的研究对核函数的充分必要条件进行了 研究，并已得出一些主要结论(如Mercer条件)，但由于这些成果还不能具体地确定哪些函 数具备这种条件，因此目前常用的核函数还局限于以下三种函数形式。多项式类型的函
7、数比（E 珂核函数型式的函数疋(兀兀)=tanhfv +c),S形函数二、近邻法模式识别或者通俗一点讲自动分类的基本方法有两大类，一类是将特征空间划分成决策 域，这就要确定判别函数或确定分界面方程。而另一种方法则称为模板匹配，即将待分类样 本与标准模板进行比较，看跟哪个模板匹配度更好些，从而确定待测试样本的分类。近邻法 在原理上属于模板匹配，它将训练样本集中的每个样本都作为模板，用测试样本与每个模板 做比较，看与哪个模板最相似（即为近邻），就按最近似的模板的类别作为自己的类别。譬如 A 类有10个训练样本，因此有10个模板， B 类有8个训练样本，就有8个模板。任何一个 待测试样本在分类时与这
8、18个模板都算一算相似度，如最相似的那个近邻是B类中的一个， 就确定待测试样本为B类，否则为A类。因此原理上说近邻法是最简单的。但是近邻法有一个明显的缺点就是计算量大，存储量大，要存储的模板很多，每个测试 样本要对每个模板计算一次相似度，因此在模板数量很大时，计算量也很大的。在模板数量 很大时其错误率指标还是相当不错的。这就是说近邻法有存在的必要。最小距离分类器将各类训练样本划分成若干子类，并在每个子类中确定代表点，一般用 子类的质心或邻近质心的某一样本为代表点。测试样本的类别则以其与这些代表点距离最近 作决策。该法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。 一种极
9、端的情况是以全部训练样本作为“代表点”，计算测试样本与这些“代表点”，即所有样 本的距离，并以最近邻者的类别作为决策。这种方法就是近邻法的基本思想。最初的近邻法 是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最 重要的方法之一。将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。对一个C类别问题， 每类有N个样本，片1,，C,则第i类q的判别函数，k=1,，NiiiSi （X）k=l, Ni其中X.k表示是叫类的第k个样本。以(8)式为判别函数的决策规则为：g;-(= min gj(X), i=l,，C,如果则决策XW叫(9)由此可见最近邻法在原理
10、上最直观，方法上也十分简单，只要对所有样本(共N= IN.) 进行N次距离运算，然后以最小距离者的类别作决策。最近邻法可以扩展成找测试样本的k个最近样本作决策依据的方法。其基本规则是，在 所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成k.,i=l,，IC。则决策规划是：旳 QQ = m举氐i (X) , i=l,，c如果i，则决策XWm,(10)k近邻一般采用k为奇数，避免因两种票数相等而难以决策。三、总结从参数判别方法看，它的前提是对特征空间中的各类样本的分布清楚，因此一旦要测试 分类样本的特征向量值X已知，就可以确定X对各类的后验概率，也就可按相应的准则计 算与分类。
11、如果这种分布可以用正态分布等描述，那么决策域的判别函数与分界面方程就可 用函数的形式确定下来。所以判别函数等的确定取决于样本统计分布的有关知识。因此参数 分类判别方法一般只能用在有统计知识的场合，或能利用训练样本估计出参数的场合。而非参数分类判别方法则着眼于直接利用训练样本集，省去参数估计这一环节，这样一 来，从保证最小错误率的原则出发计算确定判别函数的方法就不适用了。因此非参数分类判 别方法只能根据一些其它准则来设计分类器。分类器的效果好坏，常指分类的错误率，一般 在理论上很难说明，主要靠实践来检验。所选择的判别函数型式，所使用的训练样本集，以 及所用的算法对结果都会有影响。使用非参数分类判别方法进行分类器设计主要包含两个步骤：一个是确定的使用的判别 函数类型或决策面方程类型，如线性分类器，分段线性分类器，非线性分类器等或近邻法等。 如果使用人工神经元网络，则怎样的网络结构也隐含了所使用的函数形式。另一个步骤是在 选定的函数类型网络结构等条件下，确定相应的参数，从而完成整个分类器设计。
