模式识别_第三章_判别函数PPT课件

《模式识别_第三章_判别函数PPT课件》由会员分享，可在线阅读，更多相关《模式识别_第三章_判别函数PPT课件（134页珍藏版）》请在金锄头文库上搜索。

1、第三章第三章 判别函数及几何分类法判别函数及几何分类法第三章第三章 判别函数判别函数3.1判别函数判别函数3.2 线性判别函数线性判别函数3.3 广义线性判别函数广义线性判别函数3.4 线性判别函数的几何性质线性判别函数的几何性质3.5 感知器算法感知器算法3.6 梯度法梯度法3.7 最小平方误差算法最小平方误差算法3.8 非线性判别函数非线性判别函数3.1 判别函数判别函数聚类分析法（第二章）聚类分析法（第二章）判决函数法判决函数法几何分类法几何分类法确定性事件分类确定性事件分类（第三章）（第三章）概率分类法概率分类法随机事件分类随机事件分类（第四章）（第四章）线性判决函数法线性判决函数法统

2、统 计计 决决 策策 方方 法法非线性判决函数法非线性判决函数法复习与引申：复习与引申：模模式式识识别别统统计计3.1 判别函数判别函数1、判别函数定义、判别函数定义用判别函数分类的用判别函数分类的概念概念模式识别系统的主要作用模式识别系统的主要作用判别各个模式所属的类别判别各个模式所属的类别对一个两类问题的判别，就是将模式对一个两类问题的判别，就是将模式x划分成划分成1和和2两类。两类。3.1 判别函数判别函数1、定义：用判别函数分类的概念、定义：用判别函数分类的概念描述：两类问题的判别函数描述：两类问题的判别函数若分属于若分属于1，2的两类模式可用一方程的两类模式可用一方程d(X) =0来

3、来划分，那么称划分，那么称d(X) 为判别函数，或称判决函数、为判别函数，或称判决函数、决策函数。决策函数。3.1 判别函数判别函数(discriminant function) 直接用来对模式进行分类的准则函数。直接用来对模式进行分类的准则函数。例：一个二维的两类判别问题，模例：一个二维的两类判别问题，模式分布如图示，这些分属于式分布如图示，这些分属于1，2两类的模式可用一直线方程两类的模式可用一直线方程 d(X)=0来划分。来划分。为坐标变量，为坐标变量，为方程参数。为方程参数。式中：式中：图图3.2 两类二维模式的分布两类二维模式的分布1判别函数的定义（具体描述）判别函数的定义（具体描述

4、）若若 ，则，则若若 ，则，则 类；类；若若 ，则，则 类；类； 或拒绝或拒绝将某一未知模式将某一未知模式 X 代入：代入：维数维数=3时：判别边界为一平面。时：判别边界为一平面。维数维数3时：判别边界为一超平面。时：判别边界为一超平面。 d(X) 表示的是一种分类的标准，它可以是表示的是一种分类的标准，它可以是1、2、3维的，维的，也可以是更高维的。也可以是更高维的。 判别界面的正负侧，是在训练判别函数的权值时确定的。判别界面的正负侧，是在训练判别函数的权值时确定的。2判别函数正负值的确定判别函数正负值的确定图图3.3 判别函数正负的确定判别函数正负的确定1）判决函数）判决函数d(X)的几何

5、性质。它可以是线性的或非线性的函的几何性质。它可以是线性的或非线性的函 数，维数在特征提取时已经确定。数，维数在特征提取时已经确定。如：已知如：已知三维线性三维线性分类分类 判决函数的性质就确定了判决判决函数的性质就确定了判决函数的形式：函数的形式：3. 确定判别函数的两个因素确定判别函数的两个因素例：非线性判决函数例：非线性判决函数2）判决函数）判决函数d(X)的系数。用所给的模式样本确定。的系数。用所给的模式样本确定。3.2 线性判别函数线性判别函数3.2.1 线性判别函数的一般形式线性判别函数的一般形式将二维模式推广到将二维模式推广到n维，线性判别函数的一般形式为：维，线性判别函数的一般

6、形式为： (3-2)式中：式中：权向量，即参数向量。：权向量，即参数向量。增广向量的形式：增广向量的形式：式中：式中：为增广权向量，为增广权向量，为增广模式向量。为增广模式向量。3.2.2 线性判别函数的性质线性判别函数的性质1. 两类情况两类情况d(X) = 0：不可判别情况，可以：不可判别情况，可以） 对对M个线性可分模式类，个线性可分模式类，1， 2， M，有三种，有三种划分方式：划分方式：2. 多类情况多类情况 两分法两分法两分法两分法两分法特例两分法特例3.2 线性判别函数线性判别函数3.2.2 线性判别函数的性质线性判别函数的性质分类问题分类问题多类情况多类情况1判别函数判别函数图

7、例图例例子例子两分法两分法(1)多类情况多类情况1： 用线性判别函数将属于用线性判别函数将属于i类的模式与其余不属于类的模式与其余不属于i类的类的模式分开。模式分开。将某个待分类模式将某个待分类模式 X 分别代入分别代入 M 个类的个类的d (X)中，中，若只有若只有di(X)0，其他，其他d(X)均均0，则判为，则判为i类。类。识别分类时：识别分类时： 全部不属任何类 IR，可能 属于1w或3w 1w2w3w0)(2=Xd0)(3=Xd+IR，可能 属于3w或2w +-0)(1=Xd0, 0312ddd0, 0321ddd0, 0,321dddIR，可能属于1w或2w 0, 0213ddd2

8、x1x+对某一模式区，对某一模式区，di(X)0的条件超过一个，或全部的条件超过一个，或全部的的di(X)dd001312dd002321dd3w+- d23(X)=0d12(X)=0d13(X)=0IR000231312dd001312dd002321dd3w+- d23(X)=0d12(X)=0d13(X)=0IR000231312dj(X)就相当于多类情况就相当于多类情况2中的中的dij(X) 0。两分法特例两分法特例(3)多类情况多类情况3： 因此对具有判别函数因此对具有判别函数 的的M类情况，判别函数性质为：类情况，判别函数性质为：或：或： 识别分类时： 判别界面需判别界面需要做差值

9、。对要做差值。对i类，应满足：类，应满足： di其他所有其他所有d2313dddd01w2w2x1x( )0)(21=-XdXd+-( )0)(31=-XdXd( )0)(32=-XdXd3212dddd3121dddd3w 除边界区外，没有不确定区域。除边界区外，没有不确定区域。特点：特点： 是第二种情况的特例。由于是第二种情况的特例。由于dij(X)= di (X) dj(X) ，若在第，若在第三种情况下可分，则在第二种情况下也可分，但反过来不一三种情况下可分，则在第二种情况下也可分，但反过来不一定。定。2313dddd01w2w2x1x( )0)(21=-XdXd+-( )0)(31=-

10、XdXd( )0)(32=-XdXd3212dddd3121dddd3w 把把 M 类情况分类情况分成了成了(M -1)个两类个两类问题。并且问题。并且 类类的判别界面全部与的判别界面全部与 类的判别类的判别界面相邻（向无穷界面相邻（向无穷远处延伸的区域除远处延伸的区域除外）。外）。例例3.5 一个三类模式（一个三类模式（M=3）分类器，其判决函数为：）分类器，其判决函数为： 试判断试判断X0=1,1T属于哪一类，且分别给出三类的判决界面。属于哪一类，且分别给出三类的判决界面。解：解： 类的判决函数：类的判决函数：判决界面如图所示。判决界面如图所示。类的判决函数：类的判决函数：类的判决函数：类

11、的判决函数：-( )0)(21=-XdXd2313dddd0.5x2+-( )0)(31=-XdXd( )0)(32=-XdXd3212dddd3121dddd110.5w1w2w3x1+-O2x1x( )0)(21=-XXdd+-( )0)(31=-XXdd( )0)(32=-XXdd例例3.6 已知判决界面的位置和正负侧，分析三类模式的分布已知判决界面的位置和正负侧，分析三类模式的分布 区域区域 。3.2 线性判别函数线性判别函数3.2.2 线性判别函数的性质及分类方法线性判别函数的性质及分类方法3、小结、小结u明确概念：线性可分明确概念：线性可分模式分类若可用任一个线性函数来划分，模式分

12、类若可用任一个线性函数来划分，则这些模式就称为线性可分的，否则就是则这些模式就称为线性可分的，否则就是非线性可分的。非线性可分的。一旦线性函数的系数一旦线性函数的系数wk被确定，这些函数被确定，这些函数就可用作模式分类的基础。就可用作模式分类的基础。3.2 线性判别函数线性判别函数3.2.2 线性判别函数的性质及分类方法线性判别函数的性质及分类方法多类情况多类情况1和多类情况和多类情况2（ ）的比较）的比较对于对于M类模式的分类，多类情类模式的分类，多类情 况况1需要需要M个判别函个判别函数，而多类情况数，而多类情况2需要需要M*(M-1)/2个判别函数，当个判别函数，当M3时，后者需要更多个

13、判别式（缺点）。时，后者需要更多个判别式（缺点）。 采用多类情况采用多类情况1时，每一个判别函数都要把一种类时，每一个判别函数都要把一种类别的模式与其余别的模式与其余M-1种类别的模式分开，而不是将种类别的模式分开，而不是将一种类别的模式仅于另一种类别的模式分开。一种类别的模式仅于另一种类别的模式分开。由于一种模式的分布要比由于一种模式的分布要比M-1种模式的分布更为聚种模式的分布更为聚集，因此多类情况集，因此多类情况2受到的限制条件少，对模式的受到的限制条件少，对模式的线性可分的可能性比多类情况线性可分的可能性比多类情况1更大一些（这是多更大一些（这是多类情况类情况2的一个优点）。的一个优点

14、）。3.3 广义线性判别函数广义线性判别函数出发点出发点线性判别函数简单，容易实现；线性判别函数简单，容易实现；非线性判别函数复杂，不容易实现；非线性判别函数复杂，不容易实现；若能将非线性判别函数转换为线性判别函若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。数，则有利于模式分类的实现。3.3 广义线性判别函数广义线性判别函数基本思想基本思想设有一个训练用的模式集设有一个训练用的模式集x，在模式空间，在模式空间x中线性不可分，但在模式空间中线性不可分，但在模式空间x*中线性可分，中线性可分，其中其中x*的各个分量是的各个分量是x的单值实函数，的单值实函数，x*的维的维数数k高于

15、高于x的维数的维数n，即若取，即若取x* = (f1(x), f2(x), ., fk(x), kn则分类界面在则分类界面在x*中是线性的，在中是线性的，在x中是非线性中是非线性的，此时只要将模式的，此时只要将模式x进行非线性变换，使之进行非线性变换，使之变换后得到维数更高的模式变换后得到维数更高的模式x*，就可以用线，就可以用线性判别函数来进行分类。性判别函数来进行分类。描述描述1非线性多项式函数非线性多项式函数 非线性判别函数的形式之一是非线性多项式函数。非线性判别函数的形式之一是非线性多项式函数。 3.3 广义线性判别函数广义线性判别函数目的：目的： 对对非非线线性性边边界界：通通过过某

16、某映映射射，把把模模式式空空间间X变变成成X*，以以便便将将X空空间间中中非非线线性性可可分分的的模模式式集集，变变成成在在X*空空间间中中线线性性可可分分的模式集。的模式集。设一训练用模式集，设一训练用模式集，X在模式空间在模式空间X中线性不可分，非线中线性不可分，非线性判别函数形式如下：性判别函数形式如下： (3-9)式中式中 是模式是模式X的单值实函数，的单值实函数， 。fi(X)取什么形式及取什么形式及d(X)取多少项，取决于非线性边界的复杂取多少项，取决于非线性边界的复杂程度。程度。 广义形式的模式向量定义为：广义形式的模式向量定义为： (3-10)这里这里X*空间的维数空间的维数k

17、高于高于X空间的维数空间的维数n，(3-9)式可写为式可写为上式是线性的。讨论线性判别函数并不会失去一般性的意义。上式是线性的。讨论线性判别函数并不会失去一般性的意义。 (3-11) 随着小样本学习理论和支持向量机的迅速发展，广义线随着小样本学习理论和支持向量机的迅速发展，广义线性判别函数的性判别函数的 “维数灾难维数灾难”问题在一定程度上找到了解决问题在一定程度上找到了解决的办法。的办法。非线性变换可能非常复杂非线性变换可能非常复杂 。问题：问题：维数大大增加：维数大大增加： 维数灾难。维数灾难。 例例3.7 假设假设X为二维模式向量，为二维模式向量， fi(X)选用二次多项式函数，选用二次

18、多项式函数，原判别函数为原判别函数为定义：定义：d(X)线性化为：线性化为：即：即：广义线性判别函数：广义线性判别函数：3.4 线性判别函数的几何性质线性判别函数的几何性质3.4.1 模式空间与超平面模式空间与超平面模式空间：模式空间：以以n维模式向量维模式向量X的的n个分量为坐标变量的欧氏空个分量为坐标变量的欧氏空间。间。 模式向量的表示：点、有向线段。模式向量的表示：点、有向线段。 线性分类：用线性分类：用d(X)进行分类，相当于用超平面进行分类，相当于用超平面d(X)=0把模把模式空间分成不同的决策区域。式空间分成不同的决策区域。 2. 讨论讨论1. 概念概念式中，式中， ， 。设判别函

19、数：设判别函数：超平面：超平面：(1) 模式向量模式向量X1和和X2在超平面上在超平面上 W0是超平面的法向量，是超平面的法向量，方向由超平面的负侧指向正侧。方向由超平面的负侧指向正侧。 设超平面的单位法线向量为设超平面的单位法线向量为U： (2) X不在超平面上不在超平面上 将将X向超平面投影得向量向超平面投影得向量Xp，构造向量构造向量R：r：X到超平面的垂直距离。有到超平面的垂直距离。有 (r) 判别函数判别函数d(X) 正比于点正比于点X到超平面的代数距离。到超平面的代数距离。X到超平面的距离：到超平面的距离： 点点X到超平面的代数距离（带正负号）正比于到超平面的代数距离（带正负号）正

20、比于d(X)函数值。函数值。(3) X在原点在原点得得 超平面的位置由超平面的位置由阈值权wn+1决定：决定：wn+1 0时，原点在超平面的正侧；时，原点在超平面的正侧；wn+1 0时。时。 用负梯度向量的值对权向量用负梯度向量的值对权向量W进行修正，实现使准则函进行修正，实现使准则函数达到极小值的目的。数达到极小值的目的。 基本思路：基本思路：定定义义一一个个对对错错误误分分类类敏敏感感的的准准则则函函数数J(W, X)，在在J的的梯梯度度方方向向上上对对权权向向量量进进行行修修改改。一一般般关关系系表表示示成成从从W(k)导导出出W(k+1)：其中其中c是正的比例因子。是正的比例因子。 梯

21、度法求解步骤：梯度法求解步骤：（1）将）将样本写成规范化增广向量形式，选择准则函数，设置样本写成规范化增广向量形式，选择准则函数，设置初始权向量初始权向量W(1)，括号内为迭代次数，括号内为迭代次数k=1。 权向量修正为：权向量修正为：迭代次数迭代次数k加加1，输入下一个训练样本，计算新的权向量，输入下一个训练样本，计算新的权向量，直至对全部训练样本完成一轮迭代。直至对全部训练样本完成一轮迭代。 （3）在一轮迭代中，如果有一个样本使）在一轮迭代中，如果有一个样本使 ，回到，回到(2)进进行下一轮迭代。否则，行下一轮迭代。否则， W不再变化，算法收敛。不再变化，算法收敛。（2）依次输入训练样本）

22、依次输入训练样本X。设第。设第k次迭代时输入样本为次迭代时输入样本为Xi，此时已有权向量此时已有权向量W(k)，求，求 ：3.6 梯度法梯度法采用梯度法求解的基本思想采用梯度法求解的基本思想对感知器算法对感知器算法式中的式中的w(k)、xk随迭代次数随迭代次数k而变，是变量。而变，是变量。定义一个对错误分类敏感的准则函数定义一个对错误分类敏感的准则函数J(w, x)。先任。先任选一个初始权向量选一个初始权向量w(1)，计算准则函数，计算准则函数J的梯度，的梯度，然后从然后从w(1)出发，在最陡方向（梯度方向）上移动出发，在最陡方向（梯度方向）上移动某一距离得到下一个权向量某一距离得到下一个权向

23、量w(2) 。从从w(k)导出导出w(k+1)的一般关系式的一般关系式3.6 梯度法梯度法讨论讨论若正确地选择了准则函数若正确地选择了准则函数J(w,x)，则当权向量，则当权向量w是是一个解时，一个解时，J达到极小值（达到极小值（J的梯度为零）。由于的梯度为零）。由于权向量是按权向量是按J的梯度值减小，因此这种方法称为的梯度值减小，因此这种方法称为梯度法（最速下降法）。梯度法（最速下降法）。为了使权向量能较快地收敛于一个使函数为了使权向量能较快地收敛于一个使函数J极小极小的解，的解，C值的选择是很重要的。值的选择是很重要的。若若C值太小，则收敛太慢；值太小，则收敛太慢；若若C值太大，则搜索可能

24、过头，引起发散。值太大，则搜索可能过头，引起发散。例例3.10 选择准准则函数函数 ， ，简单地考虑，简单地考虑X为一维增广模式的情况为一维增广模式的情况X=1，此时，此时W=w，两者均为标量，两者均为标量，错误分类时：错误分类时： ， 对权向量校正。正确分类时：正确分类时：， 对权向量不做修正。对权向量不做修正。说明：说明：随着权向量随着权向量W向理想值接近，准则函数关于向理想值接近，准则函数关于W的导数的导数 ( )越来越趋近于零，这意味着准则函数越来越趋近于零，这意味着准则函数J 越来越接近最小值。越来越接近最小值。当当 最终最终 时，时，J达到最小值，此时达到最小值，此时W不再改变，算

25、法收不再改变，算法收敛。敛。 将感知器算法中联立不等式求解将感知器算法中联立不等式求解W的问题，转换为的问题，转换为求函数求函数J极小值的问题。极小值的问题。 c) 梯度算法是求解权向量的一般解法，算法的具体计算梯度算法是求解权向量的一般解法，算法的具体计算形式取决于准则函数形式取决于准则函数J(W, X)的选择，的选择，J(W, X)的形式不同，得的形式不同，得到的具体算法不同。到的具体算法不同。a) b) c值的选择很重要，如值的选择很重要，如c值太小，收敛太慢；但若太大，值太小，收敛太慢；但若太大，搜索又可能过头，甚至引起发散。搜索又可能过头，甚至引起发散。3.6.2 固定增量法固定增量

26、法准则函数：准则函数：求求W(k)的递推公式：的递推公式：1. 求求J的梯度的梯度方法：函数对向量求导方法：函数对向量求导=函数对向量的分量求导，即函数对向量的分量求导，即该准准则函数有唯一最小函数有唯一最小值“0”，且，且发生在生在 的时候。的时候。 设设 ，部分：部分：首先求首先求另：矩阵论中有另：矩阵论中有其中其中 由由的结论的结论 有：有： 2. 求W(k+1)将将 代入代入得：得： 由此可以看出，由此可以看出，感知器算法是梯度法的特例。感知器算法是梯度法的特例。即：梯度法即：梯度法是将感知器算法中联立不等式求解是将感知器算法中联立不等式求解W的问题，转换为求函数的问题，转换为求函数J

27、极小值的问题，将原来有多个解的情况，变成求最优解的情况。极小值的问题，将原来有多个解的情况，变成求最优解的情况。上式即为固定增量算法，与感知器算法形式完全相同上式即为固定增量算法，与感知器算法形式完全相同 。即：即：只要模式类是线性可分的，算法就会给出解。只要模式类是线性可分的，算法就会给出解。3.6.2 固定增量法固定增量法过程说明：过程说明：设已由前一步迭代得到设已由前一步迭代得到w(k)的值。的值。读入模式样本读入模式样本xk，判别，判别wT(k)xk是否大于是否大于0。xk界定的判界定的判别界面为别界面为wT(k)xk=0。当。当w(k)在判别界面的负区域时，在判别界面的负区域时， w

28、T(k)xk 0 的求解，改为满足的求解，改为满足 在方程组中当行数在方程组中当行数列数时，通常无解，称为矛盾方程组，列数时，通常无解，称为矛盾方程组，一般求近似解。在模式识别中，通常训练样本数一般求近似解。在模式识别中，通常训练样本数N总是大于模总是大于模式的维数式的维数n，因此方程的个数，因此方程的个数(行数行数)模式向量的维数模式向量的维数(列数列数)，是矛盾方程组，只能求近似解是矛盾方程组，只能求近似解W*，即，即说明：说明： LMSE算法的出发点：选择一个准则函数，使得当算法的出发点：选择一个准则函数，使得当J达到最达到最小值时，小值时，XW=B 可得到可得到近似解（最小二乘近似解）

29、近似解（最小二乘近似解）。 LMSE算法的思路：算法的思路：转化为转化为准则函数定义为：准则函数定义为： “最小二乘最小二乘”： 最小：使方程组两边误差最小，最小：使方程组两边误差最小， 也即使也即使J最小。最小。 二乘：次数为二乘：次数为2，乘了两次，乘了两次最小平方（误差算法）最小平方（误差算法）考察向量考察向量(XWB) 有：有：可以看出：可以看出： 当函数当函数J达到最小值，等式达到最小值，等式XW=B有最优解。即又将有最优解。即又将问题转化为求准则函数极小值的问题。问题转化为求准则函数极小值的问题。 因为因为J有两个变量有两个变量W和和B，有更多的自由度供选择求解，有更多的自由度供选

30、择求解，故可望改善算法的收敛速率。故可望改善算法的收敛速率。XW=B 的近似解也称的近似解也称“最优近似解最优近似解”： 使方程组两边所有误差之和最小（即最优）的解。使方程组两边所有误差之和最小（即最优）的解。准则函数：准则函数：使使J 对对W求最小，令求最小，令 ，得：，得：2) 推导推导LMSE算法递推公式算法递推公式与问题相关的两个梯度：与问题相关的两个梯度： (3-46)(3-47)由由(3-47)式可知：只要求出式可知：只要求出B，就可求出就可求出W。求递推公式：求递推公式：(1) 求求W 的递推关系的递推关系X为为N(n+1)长方阵，长方阵，X#为为(n+1) N 长方阵长方阵。称

31、为称为X的伪逆，的伪逆，式中：式中： (3-45)(2) 求求B(k+1)的迭代式的迭代式(3-46)代入，得代入，得 令令，定义，定义(3-49)(3-50)(3-46)利用梯度算法公式利用梯度算法公式有：有：(3) 求求W(k+1)的迭代式的迭代式将将(3-50)代入代入(3-47)式式W=X#B 有：有：=0(3-49)(3-50)总结：设初值总结：设初值B(1)，各分量均为正值，括号中数字代表迭代，各分量均为正值，括号中数字代表迭代次数次数 。W(k+1)、B(k+1)互相独立，先后次序无关。互相独立，先后次序无关。求出求出B，W后，再迭代出下一个后，再迭代出下一个e，从而计算出新的，

32、从而计算出新的B， W。或另一算法：先算或另一算法：先算B(k+1)，再算，再算W(k+1)。3）模式类别可分性判别）模式类别可分性判别 如果如果e(k)0 ，表明，表明XW(k)B(k) 0， 隐含有解。继续迭代，隐含有解。继续迭代， 可使可使e(k) 0 。 如果如果e(k)0，有解。分以下几种情况：分以下几种情况：情况情况分析：分析：e(k)0，线线性性可可分分，若若进进入入(5)可可使使e(k) 0 ，得得最最优解。优解。如果如果e(k)0；当；当xk+1属于属于2时，时，Kk(xk+1)0，则积累位势不做任何修改就可用作判别，则积累位势不做任何修改就可用作判别函数。函数。由于一个模式

33、样本的错误分类可造成积累位由于一个模式样本的错误分类可造成积累位势在训练时的变化，因此势函数算法提供了势在训练时的变化，因此势函数算法提供了确定确定1和和2两类判别函数的迭代过程。两类判别函数的迭代过程。判别函数表达式判别函数表达式取取d(x)=K(x)，则有：，则有：dk+1(x)= dk(x)+rk+1K(x, xk+1 ) 两个两个n维向量维向量 X 和和 Xk 的函数的函数K(X, Xk) ，如同时满足下列，如同时满足下列三个条件，都可做为势函数：三个条件，都可做为势函数：3. 势函数的选择势函数的选择，当且仅当，当且仅当 X = Xk 时达到最大值。时达到最大值。 当向量当向量 X

34、与与 Xk 的距离趋于无穷时，的距离趋于无穷时，K(X, Xk) 趋于零。趋于零。 K(X, Xk) 是光滑函数，且是是光滑函数，且是X与与Xk之间距离的单调下降函数。之间距离的单调下降函数。1）势函数应具备的条件）势函数应具备的条件2）构成势函数的两种方法）构成势函数的两种方法式中式中 ，在模式定义域内应为，在模式定义域内应为正交正交函数集。函数集。 型势函数：用对称的有限项多项式展开，即：型势函数：用对称的有限项多项式展开，即：a) 内积：定义为内积：定义为 ，是一个实数。，是一个实数。“正交函数正交函数”概念：已知函数概念：已知函数y(x)和和z(x)，b) 正交：满足正交：满足(y,

35、z)=0。例：例：将这类势函数代入将这类势函数代入(3-61)式，有判别函数：式，有判别函数： 型势函数：直接选择双变量型势函数：直接选择双变量 X 和和 Xk 的对称函数作为的对称函数作为势函数，即势函数，即 ，如：，如：(3-67)(3-68)曲曲线线 c 含含有有正正弦弦函函数数，具具有有振振荡荡特特点点，只只有有第第一一个个振振荡荡周周期可用。期可用。式中 为正常数。(3-66)图3.25 一维型势函数举例曲线曲线a (3-66)曲线曲线b (3-67)曲线曲线c (3-68)例例3.14 设两类训练样本集设两类训练样本集样本分布如图所示。用型势函数进行分类，求判别函数。解：两类模式不

36、是线性可分的，这里选择指数型的势函， 。二维情况下势函数为：开始迭代：w1 w 2 式中， ， 第一步：第二步：分类正确,不修正。第三步：，分类错误，修正。第四步：分类错误，修正。第五步：，不修正。第六步：，修正。第七步：不修正。第八步：不修正。 第九步：不修正。第十步：不修正。 从X7至X10的四次迭代中，所有训练样本皆被正确分类，故算法已收敛于判别函数，分类器设计完毕。 判别函数：判别界面：d(X)=0第七步：第八步：3、势函数的选择、势函数的选择讨论讨论用第二类势函数，当训练样本维数和数用第二类势函数，当训练样本维数和数目都较高时，需要计算和存储的指数项目都较高时，需要计算和存储的指数项较多。较多。正因为势函数由许多新项组成，因此有正因为势函数由许多新项组成，因此有很强的分类能力。很强的分类能力。结束结束同学们来学校和回家的路上要注意安全同学们来学校和回家的路上要注意安全