《华工机器学习 导论课件》由会员分享，可在线阅读，更多相关《华工机器学习 导论课件（54页珍藏版）》请在金锄头文库上搜索。
1、1,机器学习概论An Introduction to Machine Learning,金连文 张鑫 Lianwen.J , ,机器学习及应用 Machine Learning & Its Application,Welcome To:,2,Outline,什么是机器学习 机器学习的研究内容及研究价值 几个典型的机器学习示例 课程安排（教材，参考书等） 相关国际著名学术会议及期刊、学术资源 机器学习的发展简史,3,一、什么是机器学习,4,学习的概念,什么是学习？ 通过观察、阅读、听讲、研究、实践等获得知识或技能的过程。-汉语词典 “学”和“习” “学”就是闻、见，是获得知识、技能。 “习”是巩
2、固知识、技能，一般有三种含义：温习、实习、练习，有时还包括行的含义在内。“学”偏重于思想意识的理论领域，“习”偏重于行动实习的实践方面。学习就是获得知识，形成技能，培养聪明才智的过程。实质上就是学、思、习、行的总称。 -百度知道,5,学习的概念,学习是一种既古老而又永恒的现象。 不同的学习观： “学习是指人和动物在生活过程中获得个体行为经验的过程。” “学习是学习者吸取信息并输出信息，通过反馈与评价得知正确与否的整体过程。” “人的学习是个体掌握人类社会经验的过程” “学习是通过由经验产生的个体行为的适应性变化而表现出来的过程。 ” 子曰：“学而时习之,不亦说(yu)乎?”,6,学习与智能,学
3、习现象 语言、文字的认知识别 图像、场景、自然物体的认知识别 规则 （eg 下雨天要带雨伞） 复杂的推理、判断能力（智能） 好人与坏人？ 好猫与坏猫？,7,什么是机器学习？,使得计算机具备和人类一样的学习能力 决策 推理 认知 识别 等智能 给定数据（样本、实例）和一定的学习规则，从数据中获取知识的能力,8,机器学习与人工智能,自然智慧的伟大与奥妙 举例：婴儿的认知能力（声音、人脸、汽车） 重要的二个特点： 容错性，推广能力（举一反三） 机器智能：希望用机器实现部分智能 基于数据的机器学习问题（引自清华张学工教授讲义） 根据已知样本估计数据之间的依赖关系，从而对未知或无法测量的数据进行预测和判
4、断 关键：推广能力 “One years research in artificial intelligenes enough for one to believe in God” - cited from ?,9,什么是机器学习,中科院王珏（ju）研究员给出的定义： 令W是给定世界的有限或无限所有观测对象的集合，由于我们的观测能力有限，我们只能获得这个世界的一个子集 ，称为样本集。机器学习就是根据这个样本集，推算这个世界W的模型，使它对这个世界（尽可能地）为真。 三个重要的理论问题： 一致：W与Q有相同的性质。eg. i.i.d 划分：设样本定义于d维空间，要寻找在这个空间上的决策分界面 泛
5、化：（推广能力）：对未知样本的判断能力,10,Whats is the Learning Problem?,Learning = Improving with experience at some task Improve over task T With respect to performance measurement P Based on experience E Example: 中国象棋 任务T：下中国象棋 性能目标P：比赛中击败对手（的百分比） 训练经验E：和自己进行对弈，或者看棋谱,Ref：机器学习（曾华军等译）,11,AAAI 给的定义,Machine learning re
6、fers to a system capable of the autonomous acquisition and integration of knowledge. This capacity to learn from experience, analytical observation, and other means, results in a system that can continuously self-improve and thereby offer increased efficiency and effectiveness. 摘自：http:/www.aaai.org
7、/AITopics/pmwiki/pmwiki.php/AITopics/MachineLearning,12,Machine Learning,引用自CMU Dr. Eric Xing的Lecture Notes,13,机器学习（ML）与模式识别（PR）,ML has origins in Computer Science PR has origins in Engineering 某种意义上看： They are different facets of the same field,14,机器学习（ML）与人工智能（AI）,任何一个没有学习能力的系统都很难被认为是一个真正的智能系统,15,
8、二、机器学习的研究意义及主要研究内容,16,机器学习的重要性！,Science2001年论文： 每个科学领域的科学过程都有它自己的特点，但是，观察、创立假设、根据决定性实验或观察的检验、可理解检验的模型或理论，是各个学科所共有的。对这个抽象的科学过程的每一个环节，机器学习都有相应的发展，我们相信它将导致科学方法中从假设生成、模型构造到决定性实验这些所有环节的合适的、部分的自动化。当前机器学习研究在一些基本论题上取得令人印象深刻的进展，我们预期机器学习研究在今后若干年中将有稳定的进展！” 在稍早前，2000年Science还发表了另外3篇ML方面的论文 “The Manifold Way of
9、Perceptron”, “A global geometric framework for nonlinear dimensionality reduction”,”Nonlinear dimensionality reduction by locally”,Mjolsness, D DeCoste, Machine Learning for Science: State of the Art and Future Prospects - Science, 2001 : 2051-2055.,受到令人惊讶的重视！,17,机器学习的重要性,摘自南京大学周志华教授PPT,18,研究意义,如果我们
10、能发现有效的机器学习方法，利用它可以将观察数据（现象）转换为模型，这将一劳永逸的解决信息有效利用的难题！ 网络数据 金融数据 生物数据 气象数据 地震观察数据 自然物体分类识别数据 从而实现真正意义上的机器智能（电脑）,19,机器学习（ML）的目的,Principled way of building high performance information processing systems search engines, adaptive user interfaces, personalized assistants, web bots, and scientific applicat
11、ions from medical records: treatments most effective How to construct computer programs that automatically improve with experience houses learn to optimize energy costs computer games Programming tasks that humans perform well but difficult to specify algorithmically Language Related Technologies IR
12、, NLP, DAR, ASR,Chris Bishop, Pattern Recognition and Machine Learning, 2007, Springer,20,ML的一种描述,Define precisely a class of problems that forms interesting forms of learning, explore algorithms/theory to solve such problems, understand fundamental structure of learning problems and processes,21,Wh
13、y Machine Learning,Important for many scientific fields,22,相关学科对ML的影响,人工智能： 学习的概念符号表示 Bayes 方法 统计学： 统计学习理论 (SLT) 计算复杂性理论 控制论 信息论：最小描述长度 哲学： “Occams Razor原则”，“没有免费午餐” 心理学和神经生物学： Neural Networks（神经网络）,23,机器学习所要解决的一些典型问题,存在什么样的算法能从特定的训练数据学习出一般的目标函数（决策规则）？ 那种训练数据是充足的？如何保证学习的泛化（推广）能力？ 如何引入先验知识？ 怎样把学习任务简化
14、为一个或多个函数逼近问题？学习过程能自动化吗？ 学习机能自动改变来提高表示和学习目标函数的能力？,24,机器学习目前主要的一些研究领域,符号机器学习 Eg. 决策树，ID3， 计算学习理论（统计学习理论） PAC，SVM 监督学习，非监督学习，半监督学习 集群机器学习 Ensemble Learning， Boosting 流行（Manifold）学习 强化学习 Ranking学习 聚类学习,25,Machine Learning Topics from Wiki,http:/en.wikipedia.org/wiki/Machine_Learning,26,三、一些典型的机器学习问题举例,2
15、7,例子(1)：网络安全,摘自南京大学周志华教授PPT,28,例子(2)：生物信息学（BioInformatics）,摘自南京大学周志华教授PPT,29,例子(3)：搜索引擎,摘自南京大学周志华教授PPT,30,例子（4）、机器人自动驾驶学习,31,Ref：机器学习（曾华军等译）,32,例子（5）：手写字符识别,手写数字样本示例,33,34,More 例子,引用自CMU Dr. Eric Xing的Lecture Notes,35,上述问题的ML解决方案,36,ML小结,37,课程安排,四、课程安排,38,教学队伍,主讲： 金连文 博士, 教授 Email: Web: http:/www.hc
16、ii- 张鑫 博士，讲师 Email: ,39,课程考核方式,小组课堂演讲：40% 平时课堂讨论：10% 期末报告：50%,40,课程目标及安排,课程目标 对机器学习的基本概念有较好的了解和理解 培养针对特定问题的学习、归纳和总结的能力 锻炼团队合作精神和口头表达能力 课程安排 教师主讲3次机器学习的基本概念及典型方法 学生分组介绍8-9个机器学习的基本模型及其应用 期末提交大作业（含文档、程序、论文）,41,建议分组题目,Linear Model for Regression and Classification （基于线性模型的拟合及分类） Neural Network （神经网络） Decision Tree （决策树） Support Vector Machine（支持向量机） Expectation-Maximization (EM) Algorithm（最大期望算法 （EM）算法） Hidden Markov Model （隐马尔科夫模型） Clustering Algorithms (k-means, Fuzzy-c, Gaussia
