《硕士研究生毕业预答辩》由会员分享，可在线阅读，更多相关《硕士研究生毕业预答辩（16页珍藏版）》请在金锄头文库上搜索。
1、总体错误率总体错误率与孪生极端学习机与孪生极端学习机 答 辩 人：XXX导 师：XXX专 业：xxx研究方向：xxx主要内容研究现状本文工作总结展望参考文献研究背景研究背景极端学习机极端学习机孪生支持向量机孪生支持向量机2004年，黄广斌等提出了一种新的单隐藏层前馈型神经网络ELM，其连接输入层与隐藏层的权值及偏置是随机生成的，求解神经网络的输出层权重；孪生支持向量机 （Twin svm）是2007年由Jayadeva等提出的关于二类分类问题的一种新的方法，拟合两条隶属于各自类别的不平行的超平面随机生成求伪逆正类样例点到正类超平面的距离负类样例点到正类超平面距离大于1研究背景 极端学习机ELM
2、在结构选择中的应用ELM在最优化问题的应用ELM在逆矩阵运算中的应用ELM的SLFN结构中隐含节点个数未知，但隐含节点个数对SLFN结构的稳定性，和算法精度有很大影响，如何选择适当的网络结构至关重要ELM的训练时间和误差主要消耗在广义逆的计算上，广义逆计算误差大时间长，需要有更好的方法优化改进ELM算法可以拓展到数据的分类和回归问题中，采用ELM核函数研究背景支持向量机（SVM）孪生支持向量机(TWSVM)优点：理论基础高、泛化能力强、结构风险极小化、能解决过学习、非线性、小样本问题优点：把数据集划分成两个部分，时间复杂度降为原来的四分之一；对特殊交叉数据有很好精度体现。得到大量研究和发展。缺
3、点：求解过程复杂、不能很好解决大样本问题、对特殊数据集误差较大孪生参数间隔支持向量机 分类问题中应用SVM成熟算法回归问题中应用SVM成熟算法研究现状机器机器学习学习2011年年Yubo Yuan等人等人13提出基于提出基于ELM的关于回归问的关于回归问题的最优解有很强的鲁棒性。题的最优解有很强的鲁棒性。Qiuge Liu等人等人11提出极端支持向提出极端支持向量机（量机（ESVM）。用随机）。用随机ELM核代核代替传统的替传统的SVM核，简化了计算步骤。核，简化了计算步骤。2010年黄广斌等人年黄广斌等人17提出了基于极端学习机提出了基于极端学习机的最优化方法，来解决的最优化方法，来解决分类
4、问题，从而推广了分类问题，从而推广了ELM的应用范围。的应用范围。Benot Frnay在在2011年年把把ELM中的参数不敏感核中的参数不敏感核思想运用到非线性支持向思想运用到非线性支持向量回归机中量回归机中15，把，把ELM核成功运用到支持向量回核成功运用到支持向量回归机中。归机中。2008年年Kar-Ann等人等人12提出了总体错误率算法，通提出了总体错误率算法，通过整体考虑数据中分错样本在其各自类别个数中所占过整体考虑数据中分错样本在其各自类别个数中所占的比例，进而极小化分错样本点的整体错误率来建立的比例，进而极小化分错样本点的整体错误率来建立最优化模型，最优化模型， 研究现状孪生支持
5、向量机孪生支持向量机M.ArunKumar等在等在2009年提出年提出的最小二乘孪生支持向量机的最小二乘孪生支持向量机(TWSVM) 23把把SVM中的经典中的经典最小二乘算法应用到最小二乘算法应用到TWSVM中中Peng Xinjun在在2010年提出了年提出了v-孪生孪生支持向量机（支持向量机（v-TWSVM） 25，同，同样把样把SVM中比较成熟的中比较成熟的v-SVM算法算法运用到孪生支持向量机的求解中运用到孪生支持向量机的求解中 Peng Xinjun在在2010年还提年还提出了最小二乘孪生支持向量出了最小二乘孪生支持向量超球面（超球面（LS-TWSVH） 26结合一类支持向量机超结
6、合一类支持向量机超球的思想，分别正负两类数球的思想，分别正负两类数据集用超球的方法进行分类据集用超球的方法进行分类 MittulSingh等人在等人在2011年年提出的退化的孪生支持向量提出的退化的孪生支持向量回归机回归机29应用矩阵的内核应用矩阵的内核函数得到不同于原始的函数得到不同于原始的TWSVR的新的退化的孪生的新的退化的孪生支持向量回归机支持向量回归机 Xinjun Peng在在2011年提出年提出的孪生参数间隔支持向量机的孪生参数间隔支持向量机30，是在参数间隔，是在参数间隔v-支持支持向量机向量机Jayadeva等人等人7在在2007年年提出的一种改进的支持向量提出的一种改进的支
7、持向量机的方法机的方法 本文工作一、总体错误率两类分类总体错误率两类分类总体错误率负类样例分错个数负类样例分错个数正类样例分错个数一对余多类总体错误率一对余多类总体错误率基于ELM算法多次训练浪费时间多次训练浪费时间1一类样例对其他样例，个数不平衡一类样例对其他样例，个数不平衡2阈值正则化系数改进多类分类总体错误率（MTER）ELM一致逼近性如果第k类样例正确分类，有：本文工作一、多类总体错误率(MTER)如果第k类样例错误分类，有：第k类样例错分个数为：MTER的最优化模型为：相同机制下，只需要训练一次每一类的样例分开训练，而不是一类对其余类，避免不平衡数据集本文工作二、孪生参数间隔极端支持
8、向量机(TPMESVM)负类样例点与正类参数间隔超平面的距离和，值越小则负类点离正类超平面越远运用ELM核函数，明确核函数的选取1 1优点优点优点优点2 2优点优点优点优点选用ELM核函数，使得核函数的选取更加明确有效利用等式约束，简化运算过程，提高运算效率采用等式约束，减少运算时间TPMESVM实验结果数 据 集LS-SVMTPMSVMTPMESVM训练 测试时间(s) 时间(s)训练 测试时间(s) 时间(s)训练 测试时间(s) 时间(s)Cancer1.8352 0.00490.5012 0.00130.4501 0.0012Sonar0.9346 0.00130.3052 0.000
9、80.2185 0.0000Ionosphere05342 0.02040.0250 0.00130.1504 0.0000Wave5.8467 0.34253.4254 0.07451.4872 0.0024statlog1.6578 0.15770.5444 0.02120.4065 0.0127mushroom9.8557 0.12445.8624 0.07453.6548 0.0567credit1.6875 0.00250.6251 0.00630.4198 0.0044spambase4.3651 0.98022.9187 0.10351.6436 0.0893TPMESVM实验结
10、果数 据 集LS-SVMTPMSVMTPMESVM训练 测试精度% 精度%训练 测试精度% 精度%训练 测试精度% 精度%Cancer0.9867 0.97740.9889 0.98930.9878 0.9659Sonar0.8955 0.83590.9105 0.89880.9013 0.9004Ionosphere0.9432 0.94650.9568 0.96120.9574 0.9607Wave0.8651 0.84230.8760 0.88040.8767 0.8853statlog0.9012 0.87680.9102 0.88480.8915 0.8908mushroom0.97
11、62 0.96530.9789 0.98580.9656 0.9865credit0.8872 0.87530.9052 0.89380.9053 0.8758spambase0.9105 0.91520.9244 0.92570.9303 0.9322总结一、提出了针对多类分类问题的快速学习算法 二、提出了快速的等式约束的孪生参数间隔极端支持向量机（TPMESVM） 既可以避免多次计算过程时不必要的计算过程从而节约时间，同时把每一类都各自分别计算从而避免产生不平衡的数据。 用ELM核替换原始的孪生参数间隔支持向量机的SVM核，使得核函数的选取能够更加明确、稳定 ；进而把最优化问题转化成了等式
12、约束，从而仅需求解方程组就能得到优化问题的解，简化了运算步骤 。参考文献v1 G. B. Huang, Q. Y. Zhu, and C. K. Siew. Extreme learning machine: Theory and applications. Neurocomputing, 2006(70) : 489501.v2T. M.Mitchell. 机器学习. 北京:机械工程出版社, 2003.v3G.B. Huang, L. Chen, and C.K. Siew. Universal approximation using incremental constructive fee
13、dforward networks with random hidden nodes. IEEE Transactions on Neural Networks, 2006, 17(4) : 879892.v4G.B. Huang, H. M. Zhou and X. J. Ding et al. Extreme learning Machine for Regression and Multi-Class Classification. IEEE, 2011: 1083-4419.v5H. J. Rong, Y. S. Ong and A. H. Tan et al. A Fast Prun
14、ed-extreme Learning Machine for Classification Problem. Neurocomputing , 2008, 72(1-3) : 359-366.v7 Y. Miche, A. Sorjamaa and P. Bas et al. OP-ELM: Optimally pruned extreme learning machine. IEEE Trans Neural Networks , 2010, 21(1): 158162. v8 G. B. Huang and L. Chen. Enhanced random search based in
15、cremental extreme learning machine. Neurocomputing, 2008, (71): 30603068.v9 S. X. Lu, G. Q. Zhang, and X. Z. Wang. Rank Reduced Matrix Method in Extreme Learning Machine. 9th Intehnational Symposium on Neural Networks Shenyang, 2012: 11-14.v10P. Horata, S. Chiewchanwattana and K. Sunat. Robust extre
16、me learning machine. Neurocomputing, 2013, 102(15): 31-44.v11Q. Liu, Q. He, and Z. Shi. Extreme support vector machine classifier. Lecture Notes in Computer Science，2008, 50(12): 222233. v12K. Ann, and T. Deterministic Neural Classification. Neural Computation, 2008(20): 1565-1595.v13Y. B. Yuan, Y.
17、G. Wang and F. L. Cao. Optimization approximation solution for regression problem based on extreme learning machine. Neurocomputing, 2011, doi:10.1016/j.neucom, 2010.12.037.v14B. Frnay and M. Verleysen. Using SVMs with randomized feature spaces: an extreme learning approach. ESANN 2010 proceedings,
18、European Symposium on Artificial Neural Networks-Computational Intelligence and Machine Learning. Bruges(Belglum), 2010: 28-30.v15 B. Frnay and M. Verleysen. Parameter-insensitive kernel in extreme learning for non-linear support vector regression. Neurocomputing, 2011 doi:10.1016/j.neucom, 2010.11.
19、037.v16Q. He, C.Y. Du and Q. Wang et al. A parallel incremental extreme SVM classifier. Neurocomputing, 2011, doi:10.1016/j.neucom, 2010.11.036.v17 G. B. Huang, X.J. Ding and H.M. Zhou. Optimization method based extreme learning machine for classification. Neurocomputing, 2010 (74): 155-163.v18邓乃扬,
20、田英杰. 数据挖掘中的新方法-支持向量机M. 北京: 科学出版社, 2004.v19 Lin, C. Fu. Fuzzy support vector machine. Neural Netmorks, 2002: 464-471.v20 I. Guyon, J. Weston and S. Barnhill et al. Gene selection for cancer classification using support vector machines. Machine Learning, 2002, (46): 389-422.参考文献v21Jayadeva, R. Khemcha
21、ndani and S. Chandra. Twin support vector machine for pattern classification. IEEE transaction on pattern analysis and machine intelligence, 2007, 29(5): 905-910.v22 Lee, Y. J. and Mangasarian. RSVM: Reduced support vector machines. In Proceedings of the 1st SIAM International Conference on Data Min
22、ing , 2001.v23 M. A. Kumar and M. Gopal. Least squares twin support vector machines for pattern classification. Expert Systems with Application, 2009, 36: 7535-7543.v24J. Chen and G. G. Ji. Weighted least squares twin support vector machines for pattern classification. IEEE, 2010: 978-1-4244-5586-7/
23、10.v25X. J. Peng. A v-twin support vector machine (v-TWSVM) classifier and its geometric algorithms. Information Sciences, 2010, (180): 3863-3875.v26 X. J. Peng. Least squares twin support vector hypersphere (LS-TSVH) for pattern recognition. Expert Systems with Application，2010, 37: 8371-8378.v27X.
24、 J. Peng. TSVR: An efficient twin support vector machine for regression. NeuralNetworks，2010: 365-372.v28X. J. Peng. Efficient twin parametric insensitive support vector regression model. Neurocomputing, 2012, 79(1): 26-38.v29 M. Singh, J. Chadha and P. Ahuja et al. Reduced twin support vector regre
25、ssion. Neurocomputing, 2011 (74): 1474-1477.v30X. J. Peng. TPMSVM: A novel twin parametric-margin support vector machine for pattern recognition. Pattern Recognition, 2011 (44): 2678-2692.v31P. Y. Hao. New support vector algrithms with parameteric insensitive/margin model. Neural Networks, 2010, 23(
26、1): 60-73.v32 C. W. Hsu . A comparison of method for multiclass suuport vector machines. IEEE Trans, 2002: 415-425.v33黄勇，郑春颖，宋忠虎. 多类支持向量机算法综述. 计算技术与自动化，2005, 24(4): 61-63.v34Gordon, G. J. Generalized linear models. Advances un neural information processing systems, 2002: 577-584.v35丁世飞, 齐丙娟, 谭红艳. 支持向量机理论与算法研究综述. 电子科技大学学报, 2011, 40(1).v36 C. L. Blake, C. J. Merz. UCI repository of machine learning databases, http:/archive. ics.uci.edu/ml/.谢谢！
