《机器学习与模式识别-第5章_非线性判别函数》由会员分享，可在线阅读，更多相关《机器学习与模式识别-第5章_非线性判别函数（21页珍藏版）》请在金锄头文库上搜索。
1、第五章第五章 非线性判别函数非线性判别函数 1 5.1 分段线性判别函数的概念分段线性判别函数的概念 5.2 用凹函数的并表示分段线性判别函数用凹函数的并表示分段线性判别函数 5.3 用交遇区的样本设计分段线性分类器用交遇区的样本设计分段线性分类器 5.4 二次判别函数二次判别函数 2 5.1 分段线性判别函数的基本概念分段线性判别函数的基本概念 3 1 1 2 二次判别函数二次判别函数 分段线性判别函数分段线性判别函数 线性判别函数线性判别函数 5.1 分段线性判别函数的基本概念分段线性判别函数的基本概念 分段线性判别函数：一种分段线性判别函数：一种特殊的特殊的非线性判非线性判 别函数别函数
2、，它的决策面是若干超平面，它的决策面是若干超平面 有些复杂模式识别问题不是线性可分的，有些复杂模式识别问题不是线性可分的， 需使用非线性的分类方法需使用非线性的分类方法 树分类器树分类器的各节点上采用线性判别规则，的各节点上采用线性判别规则， 即构成分段线性分类器即构成分段线性分类器 4 5.1.1 基于距离的分段线性判别函数基于距离的分段线性判别函数 最小距离分类器最小距离分类器：把各类别样本特征的：把各类别样本特征的均值向量均值向量作为各作为各 类的类的代表点代表点(prototype) ，根据待识样本到各类别代表点，根据待识样本到各类别代表点 的最小距离判别其类别。决策面是两类别均值连线
3、的垂的最小距离判别其类别。决策面是两类别均值连线的垂 直平分面直平分面 分段线性距离分类器：将各类别分段线性距离分类器：将各类别划分成相对密集的子类划分成相对密集的子类， 每个子类以它们的均值作为代表点，然后按最小距离分每个子类以它们的均值作为代表点，然后按最小距离分 类类 判别函数定义：判别函数定义：i有有li个子类，即属于个子类，即属于i 的决策域的决策域Ri分分 成成li个子域个子域Ri1, Ri2, Rili)，每个子区域用均值，每个子区域用均值mik代代 表点表点 5 1,.,( )minik iiklg xxm判别规则：判别规则： 1,.,argmin( )i icjg x1,.,
4、if ( )min( ) then jijicgg xxx判别函数判别函数 6 分段线性距离分类器图例分段线性距离分类器图例 m1 m2 x g(x)=0 x 7 5.1.2 分段线性判别函数分段线性判别函数 如前图如前图: 各类样本服从正态分布但非等协方差分布各类样本服从正态分布但非等协方差分布, 等概率密度面为超椭球面等概率密度面为超椭球面.利用贝叶斯决策利用贝叶斯决策, 属于哪一类属于哪一类? 利用最小距离决策属于哪一类利用最小距离决策属于哪一类? 8 解决方法解决方法: 将每个大类分成若干子类将每个大类分成若干子类,针对每个子类定义一个针对每个子类定义一个 线性判别函数线性判别函数.
5、9 思考：其他方法？思考：其他方法？ x 分段线性判别函数的一般形式分段线性判别函数的一般形式: gik(x)表示第表示第i类第类第k段线性判别函数，段线性判别函数，li为为i类所具有的判别类所具有的判别 函数个数，函数个数，wik与与wi0k分别是第分别是第k段的权向量与阈值权段的权向量与阈值权 ( ) 0( ),1,2,., ;1,.,kk Tk iiiigwkl icxwx 第第i类的判别函数类的判别函数: 1,.,( )max( )ik iiklgg xx 判别规则判别规则: 1,.,if ( )max( ) then jijicgg xxx 决策面取决于相邻的决策域，如第决策面取决于
6、相邻的决策域，如第i类的第类的第n个子类与第个子类与第j 类的第类的第m个子类相邻，则由它们共同决定的决策面方程个子类相邻，则由它们共同决定的决策面方程 为为 ( )( )nm ijggxx10 5.1.3 分段线性分类器设计的一般考虑分段线性分类器设计的一般考虑 1. 利用利用多类线性判别函数算法多类线性判别函数算法设计分段线性分类器设计分段线性分类器 针对每个子类设计分类器针对每个子类设计分类器 前提条件：已知子类划分前提条件：已知子类划分 11 5.1.3 分段线性分类器设计的一般考虑分段线性分类器设计的一般考虑 2. 已知已知子类数目子类数目时的分段线性判别函数时的分段线性判别函数 基
7、于优化的方法基于优化的方法 (Ref. P85) 步骤一：任意给定各个子类的初始权向量步骤一：任意给定各个子类的初始权向量 步骤二：利用训练样本集进行迭代（依次验证当前权向量是否可步骤二：利用训练样本集进行迭代（依次验证当前权向量是否可 以正确分类各个样本），如果出现分类错误，则修改出现错误以正确分类各个样本），如果出现分类错误，则修改出现错误 的权向量的权向量 步骤三：重复上面迭代过程直至算法收敛步骤三：重复上面迭代过程直至算法收敛 （有不收敛情况，可逐渐缩小修正步长办法强制收敛）（有不收敛情况，可逐渐缩小修正步长办法强制收敛） 12 1,.,( )max( )ik iiklgg xx1,.
8、,if ( )max( ) then jijicgg xxx5.1.3 分段线性分类器设计的一般考虑分段线性分类器设计的一般考虑 3. 未知子类数目的分段线性判别函数未知子类数目的分段线性判别函数 利用利用树状树状分段线性分类器分段线性分类器 (Ref. P86图图) 不断地用两类线性判别函数算法找一个权向量（可选不断地用两类线性判别函数算法找一个权向量（可选 择两类样本中欧式距离最近的择两类样本中欧式距离最近的2样本连线的垂直平样本连线的垂直平 分面的法向量为初始值，然后求得局部最优解），分面的法向量为初始值，然后求得局部最优解）， 划分样本集，直到最后一个权向量把两类样本完全划分样本集，直
9、到最后一个权向量把两类样本完全 分开为止。分开为止。 13 5.2 用凹函数的并表示分段线性判别函数用凹函数的并表示分段线性判别函数 5.2.1 分段线性判别函数的表示分段线性判别函数的表示 14 L11 L12 L13 L14 L15 L21 L22 L23 L24 L31 L32 L33 L34 5.2 用凹函数的并表示分段线性判别函数用凹函数的并表示分段线性判别函数 5.2.1 分段线性判别函数的表示分段线性判别函数的表示 15 P=maxminL11, L12, L13, L14, L15, minL21, L22, L23, L24, minL31, L32, L33, L34 5.
10、2 用凹函数的并表示分段线性判别函数用凹函数的并表示分段线性判别函数 5.2.1 分段线性判别函数的表示分段线性判别函数的表示 16 算法：算法： 步骤一：任意给定初始权向量步骤一：任意给定初始权向量 步骤二：迭代验证权向量是否能正确分类，步骤二：迭代验证权向量是否能正确分类， 不能，则修正权向量。不能，则修正权向量。 步骤三：重复上述过程，直至收敛（或设定步骤三：重复上述过程，直至收敛（或设定 迭代次数，到达次数停止）迭代次数，到达次数停止） 初始权向量不同，结果不同。在有限步骤内初始权向量不同，结果不同。在有限步骤内 没有收敛时，可以尝试不同的初始值没有收敛时，可以尝试不同的初始值 5.3 用用交遇区交遇区的样本设计分段线性分类器的样本设计分段线性分类器 17 5.4 二次判别函数二次判别函数 18 思考：其他方法？思考：其他方法？ x 5.4 二次判别函数二次判别函数 19 g(x)=xTWx+wTx+w0 = 计算复杂，需要确定计算复杂，需要确定 1+d*(d+3)/2 个系数个系数 5.4 二次判别函数二次判别函数 20 二次判别函数二次判别函数 其中，其中， 对于分布成比较成团的类对于分布成比较成团的类 iiNjTijij iiNjjimxmxNxNm11)(1115.4 二次判别函数二次判别函数 21 x
