《基于遗传算法和支持向量机的特征子集选择方法》由会员分享，可在线阅读，更多相关《基于遗传算法和支持向量机的特征子集选择方法（5页珍藏版）》请在金锄头文库上搜索。
1、本文于 !“# 年 $ 月收到。乔立岩： 副教授， 博士研究生； 彭喜元： 教授， 博导； 马云彤： 讲师， 博士研究生。基于遗传算法和支持向量机的特征子集选择方法乔立岩彭喜元马云彤（哈尔滨工业大学电气工程及自动化学院自动化测试与控制系， 哈尔滨 %#“%）摘要： 在模式分类系统中， 往往需要从大量的特征中选择最优的特征子集， 人工选择特征的方法往往费时费力， 本文采用遗传算法 （4010*1 ?/04 /C D4EF0/3/24 .434E8/0 8. /C40 .45 / G204 822434H10 105 0/8.: C4124. 1. I4331. G2/5E8024.J *1013
2、3: 54H43/G8024 .4 E10 B4 1 H42: 8K4 E/0.K80/K14 F8. G2/E4. B: F1H8024 .434E/2. B: K410. /C 4H/368/0J DF8. G1G42 58.E.45 1 I21GG42 1GG2/1EF C/2 C4124 .434E8/0J L4124 .434E8/0 8. G42C/2K45 B: 24.，105 F40 24C808024. .808/012: E/KG18/0J .GG/2 H4E/2 K16EF804（()*）8. .45 1. 1 E31.8C842 C/2 58CC4240 C4124 .
3、B.4. 528024 .434E8/0 .121E:ME/KG34N8: 21546/CC，1 E/KB8018/0 C0E8/0 I8F #6C/35 E2/.6H138518/0 1EE21E: 105 F4 0KB42 /C C4124. 8.45 / 5428H4 C804. .E/24.J ,/KG24F40.8H4 4NG428K40. /0 I/ 511 .4（./012 105 345）80 F4 +,- K1EF804 3412080045 822434H10 C4124. B 13./ 8KG2/H45 F4 1EE21E: /C E31.8C842.J8)9:3.*(：
4、GG/2 H4E/2 K1EF804，C4124 .B.4 .434E8/0J在一些模式分类系统中， 输入的数据往往含有大量的特征， 但是只有其中的很少一部分特征对分类有关。即使一些非常优秀的分类器， 如支持向量机， 也不能克服大量无关或冗余特征对分类结果的影响， 大量无关的特征还会造成 “维数灾难” 并降低信噪比。有一些算法对于维数过高的情况会变得计算能力迅速下降， 但是如果从中选择少量非常有用的特征作为特征子集， 一些非常简单的分类器， 如 %O 最近邻 （% O PP） ， 也可能获得很好的效果。因此， 特征选择对于提高分类效率是至关重要的%。特征选择就是选择一个小的特征子集， 这个子集
5、可以很好的用于预测目标的类别。特征选择和维数约减密切相关， 许多维数约减的方法， 如主成分分析 （;,） ， 实际上是非监督型的特征提取算法， 用它获得的低维数据和原始数据并不一定等同。而监督型特征选择的方法， 并不需要用来评估无关特征的复杂函数， 因此提供了一个更加简便的方法!。;监督型的特征选择;.1? 创立的遗传算法 （+1+)0, A;(0)/B2， A2） 是模仿自然界生物进化过程中 “适者生存” 的原理而进行的一种多参数、多群体同时优化方法。经过几十年的发展， 遗传算法已经在货郎担问题 （C$D） 的求解、 生产调度、 函数优化、 机器学习等领域得到成功的应用， 并显示出其良好的性
6、能EF。遗传算法通过对种群结构的迭代操作， 每一次产生问题的一组解 （基因串， 如二进制编码） 。在开始搜索时随机产生一组解， 求解过程中使群体不断优化， 进而找到最优解或次优解。遗传算法有三个基本操作： 选择、 交叉和变异。搜索是一个迭代的过程， 在每一次迭代过程中都对种群进行评价、 选择和重新组合基因串， 直到达到终止条件。对每个基因串的评价基于和问题相关的适应度函数， 用它来确定哪一个候选解是最优的。选择是从当前一代生成一组新的种群， 通常使用与个体适应度值成正比的选择概率来选择作为父代的个体。交叉操作的概率可以很高， 它是按一定的概率随机地选择匹配对， 然后随机地交换匹配对中两个个体地
7、一部分形成新的个体， 其目的是保存高适应度的个体的信息。变异 5 电 子 测 量 与 仪 器 学 报5GG: # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #年更多技术文章，论文请登录内容版权归作者所有操作和自然系统的生物变异相类似， 是一个概率非常低的操作， 仅仅是改变基因串的一位， 变异起到了恢复已经消失的遗传物质的作用。!基于遗传算法和支持向量机的 特征选择支持向量机是基于结构风险最小化原理，
8、 把数据映射到高维空间， 通过使分类间隔最大化的方式来进行分类， 具有良好的泛化能力， 可以避免 “过拟合” 的现象发生， 并且具有和数据的维数无关的特点， 避免了 “维数灾难” ， 特别在处理高维数据的方面具有好的性能!。支持向量机既然可以有效地处理高维数据， 那么在使用支持向量机之前还有必要进行特征选择吗？“#$% ()*+(, ，经过交叉操作， 子代的种群数量为 7， 我们从中选择 个个体组成新的一代， 选择的方法既要保证适应度高的个体被选中， 又要照顾到种群的多样性， 避免 “早熟” ， 这里采用经典的 “轮盘赌” 方式进行选择操作。实验中我们设定 23 种群规模为 71， 最大代数为
9、 !1。“实验结果为了验证 23 封装的 456 分类器的性能， 我们在 ?. 机器学习数据库00中选择了声纳 （+)A#$） 和 B段数码管显示 （CD） 两个数据集做测试。使用基于E“456软件包07的 . 4B;C4） 等方法结合起来用于分类器的设计。参考文献：% *6D2E，F6 G=H， “I42AH14 4C4JA=? K?1 JC2=K=J2A=?” ，LMA4CC=A D2A2 .2CN=， ：336%:% / %4A (4MC4JA=?” ，.1A=K=J=2C LA4CC=J4 !“，3368“: / :85，%!“65 *4 X6 *=CC41，.2 V6 W414;Y?
10、，W2B4 D6 *2CC4N，U?M2CQ *6 (HBB416“I42AH14 (4C4JA=? K?1 9?B3HA41 / .=Q4QS?CN3 D4A4JA=? H=4A=J .C (H33?1A )4JA?1 *2JE=4 K?1 S2AA41U4J?” ，D2A2 *=Q V?C4Q=，W6 (E24 / X2NC?16“(H33?1A )4JA?1 *2MJE=4，2Q ?AE41 V414C/ Z24Q G421=P41=AN S14，8$6“ 王凌， 智能优化算法及其应用， 清华大学出版社， 8$%6 D6 -?CQ;414A=J .C (421JE，3A=B=2A=?，2
11、Q *2JE=4 G421= 04C4N，%!6! 6 Z21=C2N，)6 G6 Z12=C?PYN6“ Q?B2= Y?C4QQK42AH14 4C4JA=? H=4” ，S2AA41U4J? G4AA41，)?68$，T?6 121N K?1 H33?1A P4JA?1 B2JE=4，8$%6 (?KA214 2P2=C2;C42A EAA3： 6J=46AH64QH6A 7 J_C=C=;PB6 5 电 子 测 量 与 仪 器 学 报8$# ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! !
12、 ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! !年更多技术文章，论文请登录内容版权归作者所有作者简介：乔立岩彭喜元乔立岩： !“#$ 年生于黑龙江省哈尔滨市。哈尔滨工业大学自动化测试与控制系副教授， 主要研究领域为进化算法和模式识别彭喜元： !“%! 年出生于内蒙古四子王旗。哈尔滨工业大学自动化测试与控制系教授， 博士， 博士生导师。主要研究方向为自动测试技术和智能故障诊断， 已经发表 ! 通过内部开发、 伙伴合作及收购相结合从而扩展高频)(. 产品线的宏大战略计划的组成部分。.07126; ) )(. 事业部总经理 ?7 *AB7117C/
13、4D 说：“今天的许多电路仿真用户需要把预算的相当部分投资到并非设计流部分的 $( )* 工具上。同时，我们 ) 软件的客户要求我们投资于能紧密集成到他们现有电路仿真设计流中的 $( )* 仿真器， 这正是我们确定要做的事情。我相信我们能以适宜的价格为我们客户提供能完全重新定义这一市场的强大技术。 ”.07126; 计划于 E 已持有的 )/0123/42 产品线。此外， 研制组正 继续瞄准该技术与 .07126; 电路仿真软件设计平台的集成， 该平台目前由全球 $G 嵌入 .(- 设计流的成功。它为我们客户 带来明显的利益。我们相信这项全 $( 技术会重现同样的市场成功。 ”合作伙伴继续是
14、.07126; 战略的核心部份。近年来， .07126; ) )(. 事业部已集结了 ! 计划在公司进行内部技术开发的同时， 继续采用开放的方式。.07126; ) )(. 产品规划和战略合作部门经 理 :H/412 91=; 说：“我们愿意继续向其它对于产品集成感兴趣的 $( )* 厂商开放我们核心平台.(-和 B)+)-,-， 其中一个例子是我们继续与 :-I 结盟。:-I 掌握重要的技术， 我们也认识到我们的用户能从其他选择中受益。 ”要了解 .07126; )(. 解决方案的详情， 请访问：&J()*+,-J./0K1),2K+3/1。第 ! 期基于遗传算法和支持向量机的特征子集选择方法 ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! !更多技术文章，论文请登录内容版权归作者所有
