《机器学习及其挑战》由会员分享，可在线阅读，更多相关《机器学习及其挑战（23页珍藏版）》请在金锄头文库上搜索。
1、机器学习及其挑战周志华http:/ 2003 年 12 月 27 日机器学习及其重要性机器学习角色的转变五个挑战问题汇报内容机器学习经典定义：利用经验改善系统自身的性能T.Mitchell, Book 97随着该领域的发展，主要做智能数据分析典型任务：预测例如：天气预报机器学习（续）数据挖掘数据库机器学习数据分析技术数据管理技术美国航空航天局JPL实验室的科学家在Science （2001年9月）上撰文指出：机器学习对科学研究 的整个过程正起到越来越大的支持作用，该领域 在今后的若干年内将取得稳定而快速的发展重要性生物 信息学计算 金融学分子 生物学行星 地质学工业过 程控制机器人遥感信 息处
2、理信息 安全机 器 学 习重要性：例子网络安全入侵检测：是否是入侵？是何种入侵？如何检测？历史数据：以往的正常 访问模式及其表现、以往 的入侵模式及其表现对当前访问模式分类这是一个典型的预测 型机器学习问题常用技术：神经网络 决策树 支持向量机 k近邻序列分析 聚类 重要性：例子生物信息学常用技术：神经网络 支持向量机隐马尔可夫模型 k近邻 决策树序列分析 聚类 重要性（续）计算机科学在过去十年中发展极为迅速，今后会快 速稳定地发展、对科学做出更大贡献的领域E.Mjolsness & D. DesCoste, Science 01人工智能中最活跃、应用潜力最明显的领域（之一 ）T.G. Die
3、tterich, AIMag 97美国、欧洲各国都投入了大量人力物力大型公司如波音、微软、通用电器等都有研究课题 已有一些研究成果进入产品机器学习角色的转变如果我们想做出重要的贡献，首先需要把握住该 领域发展的脉搏机器学习现在似乎已经发展到一个新阶段w机器学习起源于人工智能对人类学习能力 的追求，上一阶段的研究几乎完全局限在 人工智能这一领域中（学习本身是目的）w而现在，机器学习已经开始进入了计算机 科学的不同领域，甚至其他学科，成为一 种支持技术、服务技术（学习本身是手段）机器学习角色的转变（续）现阶段对机器学习的研究可能不应再过多地 强调模拟人的学习能力可能应该把机器学习真正当成一种支持技
4、术 （手段而非目的），考虑不同领域甚至不同 学科对机器学习的需求，找出其中具有共 性的、必须解决的问题，并进而着手研究我们暂且把这种视角下的机器学习称为： “普 适机器学习”（Pervasive ML）挑战问题(1)：泛化能力共性问题： 几乎所有的领域，都希望越准越好w提高泛化能力是永远的追求目前泛化能力最强的技术： 支持向量机（SVM）产生途径：理论-实践 集成学习（ensemble learning）产生途径：实践-理论挑战问题(1)：泛化能力（续）第一个挑战问题： 今后10年 能否更“准”？如果能，会从哪儿来？挑战问题(2)：速度共性问题： 几乎所有的领域，都希望越快越好w加快速度也是永
5、远的追求“训练速度” vs. “测试速度训练速度快的往往测试速度慢：k近邻测试速度快的往往训练速度慢：神经网络挑战问题(2)：速度（续）第二个挑战问题： 今后10年 能否更“快”？能做到“训练快”、“测试也快”吗？如果 能，如何做？挑战问题(3)：可理解性共性问题： 绝大多数领域都希望有“可理解性”例子：医疗诊断地震预测目前强大的技术几乎都是（或基本上是 ）“黑盒子” 神经网络、支持向量机、集成学习w“黑盒子”能满足需要吗？挑战问题(3)：可理解性（续）第三个挑战问题： 今后10年 能否产生“白盒子”？是和“黑盒子”完全不同的东西， 还是从“黑盒子”变出来？挑战问题(4)：数据利用能力传统的机
6、器学习技术 对有标记数据进行学习 “标记” 事件所对应的结果共性问题：随着数据收集能力飞速提高、Internet 的出现，在大多数领域中都可以很容易 地获得大量未标记数据例子：医学图象分析垃圾邮件过滤 w没有标记的数据是没用的吗？挑战问题(4)：数据利用能力（续）共性问题：在绝大多数领域中都会遇到“坏”数据， 有时甚至只有“坏”数据例子：海军舰队Web“坏”数据 大量噪音、属性缺失、不一致、传统的“坏”数据处理方式 “扔掉”w“坏”数据一点用也没有吗？第四个挑战问题： 今后10年 能否“数据通吃”？如何“吃”？挑战问题(4)：数据利用能力（续）挑战问题(5)：代价敏感目前的机器学习技术 降低错误率w“错误”是没有区别的吗？把“好”当成“坏”把“坏”当成“好”共性问题： 大多数领域中的错误代价都不一样例子：入侵检测癌症诊断一样吗？第五个挑战问题： 今后10年 能否“趋利避害”？在达到较低的总错误率的基础上，如何“趋”、如何“避”？挑战问题(5)：代价敏感（续）挑战问题：More 在任何一个挑战问题上取得 突破性进展，都可能成为 对机器学习的重要贡献谢谢！恭请各位专家批评指正！
