《模糊支持张量机在模式识别中的应用》由会员分享，可在线阅读，更多相关《模糊支持张量机在模式识别中的应用（4页珍藏版）》请在金锄头文库上搜索。
1、模糊支持张量机在模式识别中的应用摘要：支持张量机是一种新的机器学习技术，它是在支持向量机的基础上发展而来，两类 的模糊支持张量机则是在支持张量机的基础上加上模糊隶属度函数。多类的则采用一对一 和一对多的方法构建多分类的模糊支持向量机和模糊支持张量机，本文采用支持向量机、 模糊支持向量机、支持张量机和模糊支持张量机四种方法对 UCI 数据集和 ORL 人脸库的 数据进行分类，并取得了较好的分类效果。 关键词：支持向量机 模糊支持向量机 张量 模糊支持张量机 模糊支持张量机 Multi-Class SVM，Pattern Recognition 1 introductionSupport tens
2、or machine is a new machine learning technology, which is based on support vector machines, two types of fuzzy support tensor machine is in support of the tensor on the basis of machine with fuzzy membership function. multi-class recognition, used multiple classifiers of the method of fuzzy support
3、vector machines and fuzzy support tensor machine constructed by one to one and one to many methods, this paper uses support vector machines, fuzzy support vector machine, support tensor machine and fuzzy support tensor machine to classify UCI data sets and ORL face database, and achieved good result
4、s of classification.1支持张量机原理 支持向量机(Support Vector Machine)是 Cortes 和 Vapnik 于 1995 年首先提出的，它在解 决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合 等其他机器学习问题中。 支持向量机方法是建立在统计学习理论的 VC 维理论和结构风险最小原理基础 上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度 Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获 得最好的推广能力(GeneralizatinAbility)。SVM是从线性可分
5、情况下的最优分类面发展而来的，对线性可分的样本集，i )(,yxji= 1, n，xRd，yi+1,-1，满足：i=1,n, 01)(bxwyii此时分类间隔等于，使间隔最大等价于使最小。满足以上条件且使最w2 2w2w小的分类面就叫做最优分类面。利用 Lagrange 优化方法可以把上述最优分类面问 题转化为其对偶问题，即：在约束条件 niiniiiy 10下对求解下列函数的最大值：i)(21)(1xxyyijijiniiQ 为原问题中与每个约束条件对应的Lagrange乘子。这是一个不等式约束下二次i函数寻优的问题，存在唯一解。容易证明，解中将只有一部分（通常是少部分）不为零，对应的样本就
6、是支持向量。解上述问题后得到的最优分类函数是i bxxyiiniibxwxf)(sgn)(sgn)(1式中的求和实际上只对支持向量进行。是分类阈值，可以用任一个支持向量求b得，或通过两类中任意一对支持向量取中值求得。 1.2 二分类模糊隶属度 支持向量机是一个很好的解决分类问题的工具，尤其是其泛化能力很好，而且求得的 结果是全局最优解，在实际应用中，训练集中的不同的样本的影响力是不同的，而我们需 要把那些重要的样本正确的分类，而将不重样的样本忽略。 这就引入了训练样本的模糊属性，取值范围是(0,1,值越大说明越属于这一类，加入了 这个模糊属性之后支持向量机就成为了模糊支持向量机。iniisCw
7、wMinimiz 121约束条件为不等式类型：i=1,n， 0,1)(bxwyii其中 C 为常数。 1.3 多类分类 1.3.1 投票 对于一个样本，测试时，如果一共有 N 类，使用第一类与任意一类的训练 数据，1v1 的识别如果结果是 1，则投给第一类一票，否则投给第一类一个反对 票，最后得到此测试数据属于第一类的票数，然后开始统计这个样本属于第二 类的票数，最终得到这个样本属于 1-N 类的票数选择靠前的最大的票数的类别 作为这一个样本的类别。 1.3.2 FSVM 1v 多一对多多类分类方法：在垂直于分类超平面 的方向上设置一维成员函数0)(xDjmij(x)：.i=j 时 elsex
8、DxDx iiijm),(1)(, 1)(.ij 时 elsexDxDx iiijm),(1)(, 1)(其中 i,j=1,n。利用 mij(x)，定义第 i 类的隶属度函数：)(min)( , 1xxmmijnji 最终，一个测试样本的 x 的隶属于类别：)(maxarg , 1xmini 1.3.3 FSVM 1v1 再看在“一对一”分类模式下，假设最优决策面方程为 Dij(x) = 0( j i, i,j=1,n) ，在垂直于 Dij(x)=0 方向上定义了一维成员函数(或称模糊因子)： elsexDxDx ijijijm),(1)(, 1)(其中，ji，i,j=1,n。利用，定义第 i
9、 类隶属函数为：)(xmij)(min)( , 1,xxmmijnjiji 最终，一个测试样本 x 隶属于类别：)(maxarg , 1xmini 1.4 用张量表示数据 一般情况下，我们将一个样本用一个向量来表示，就像将一个 ORL 人脸图片转换成一 个 10034 维的向量，然后再利用分类算法进行分类，这里的支持张量机使用的是用一个 92*112 的二维张量来表示一幅图片。 1.5 多类支持张量机算法 例如：分类训练样本是 ORL 人脸库 Xi，Xi为 112*92 的矩阵。. 初始化: 令u=ones(112,1)维数与每个训练样本的行数相同。 . 计算v 令 xi=(XTu)，每一个X
10、i对应的xi组成一个n*92的矩阵x（n为训练样本数），作为 新的训练样本集，得到得到需要求解的二次规划问题：f(X) = uTXv + b = vTxT+ b 因此, 根据支持向量机原理求出向量v。. 计算 u v 确定了以后，令 xi =( X*v)每一个Xi对应的xi组成一个 n*92 的矩阵 x（n 为训练 样本数），得到需要求解的另一个二次规划问题：f(X)=uTXv + b = uTx + b 同样利用支持向量机原理计算出u。 根据（3）确定的u，再回到（2）和（3）步迭代一定的次数得到新的u和v， 阈值b则取最后一步计算u得到的值。 根据 u，v，b 对任意样本进行测试。如果测试
11、的过程中，对每个样本采用多 类模糊支持向量机一对一和一对多的分类方法，进行分类。 2实验资料：四种算法识别率的比较1)wine 数据集机器训练方法机器识别方法参数 C正确识别数识别率SVMVote158+49+47=15486.52%FSVM1v1159+36+48=14380.34%FSVM1v 多1054+42+43=13978.09%FSTMVote10058+55+47=16089.89%FSTM1v110058+17+47=12268.54%FSTM1v 多100058+65+48=17196.07%2)iris 数据集机器训练方法机器识别方法参数 C正确识别数识别率SVMVote1
12、050+50+46=14697.33%FSVM1v110050+37+50=13791.33%FSVM1v 多100049+33+40=12281.33%STMVote1050+50+43=14395.33%FSTM1v110050+44+50=14496.00%FSTM1v 多100050+42+36=12885.33%3)ORL 数据集机器训练10 样本8 样本6 样本4 样本2 样本FSVM1v188.5%86%81.5%80.5%69%FSVM1v 多89%87%82%79.8%68%FSTM1v186%83%74%71.5%62%FSTM1v 多71.5%61.5%71.5%64%5
13、6.5%4总结与展望 通过对 wine 数据集和 iris 数据集进行相同的几种方法的实验，可以无论是投票的识别 方法还是模糊支持向量机中一对一和一对多的识别方法都模糊支持张量机都较模糊支持向 量机取得了更好的效果。5参考文献 1 Nello Cristianini, John Shawe Taylor. An Introduction to Support Vector Machines and Other Kernel-based Learning MethodsM. Cambridge University Press ,2000 2 M. Tim Jones. Al Applicati
14、on ProgrammingM. Charles River Media,2003 3 Chih-Chung Chang, Chih-Jen Lin. LIBSVM: a Library for Support Vector MachinesM. Software available at http:/www.csie.ntu.edu.tw/cjlin/libsvm,February 27, 2009 4 张翔,肖小玲,徐光祐.模糊支持向量机中隶属度的确定与分析J.中国图像图形学报. 2008.11 5 Deng Cai, Xiaofei He, Jiawei Han.Learning with Tensor RepresentationJ. April 2006
