深度学习与脑工程ppt

《深度学习与脑工程ppt》由会员分享，可在线阅读，更多相关《深度学习与脑工程ppt（64页珍藏版）》请在金锄头文库上搜索。

1、计算机视觉深度学习及 人脑工程 孔庆群 中国科学院自动化研究所 图像 2.特征检测 3.特征匹配 4.图像分割 5.图像配准 6.运动估计 7.目标跟踪 8-11.三维重建 12.识别 13.人脑工程 计算机视觉课程结构图 微软美国研究院院长Peter Lee：“深度学习激起了人工智能领域新的 挑战。” 美国麻省理工评论评选出2013年度10大突破性技术,深度学习 (Deep Learning)居首。 借助深度学习，人们在语音识别、图像识别领域取得了突飞猛进的进步。2012年6月， Google公司的深度学习系统在识别物体的精确度上比上一代系统提高了一倍，并且大 幅度削减了Android系统语

2、音识别系统的错误率。2012年12月，微软亚洲研究院展示了 中英即时口译系统，错误率仅为7%。 深度学习 深度学习的发展历史 浅层学习 深度学习 人工神经网络 深度学习的发展历史 浅层学习 深度学习 1943年，Mcculloch 和 Pitts提出神经元的数学 模型； 人工神经网络 深度学习的发展历史 浅层学习 深度学习 1943年，Mcculloch 和 Pitts提出神经元的数学 模型； 人工神经网络 50 年代末，Rosenblatt 提出了感知机模型； 深度学习的发展历史 浅层学习 深度学习 1943年，Mcculloch 和 Pitts提出神经元的数学 模型； 50 年代末，Ros

3、enblatt 提出了感知机模型； 1968 年，感知机中 指出线性感知机的功能是 有限的，它不能解决如异 或这样的基本问题； 人工神经网络 深度学习的发展历史 浅层学习 深度学习 1943年，Mcculloch 和 Pitts提出神经元的数学 模型； 50 年代末，Rosenblatt 提出了感知机模型； 1968 年，感知机中 指出线性感知机的功能是 有限的，它不能解决如异 或这样的基本问题； 人工神经网络 深度学习的发展历史 浅层学习 深度学习 1943年，Mcculloch 和 Pitts提出神经元的数学 模型； 50 年代末，Rosenblatt 提出了感知机模型； 1968 年，感

4、知机中 指出线性感知机的功能是 有限的，它不能解决如异 或这样的基本问题； 人工神经网络 深度学习的发展历史 浅层学习 深度学习 1943年，Mcculloch 和 Pitts提出神经元的数学 模型； 50 年代末，Rosenblatt 提出了感知机模型； 1968 年，感知机中 指出线性感知机的功能是 有限的，它不能解决如异 或这样的基本问题； 人工神经网络 深度学习的发展历史 浅层学习 深度学习 1943年，Mcculloch 和 Pitts提出神经元的数学 模型； 50 年代末，Rosenblatt 提出了感知机模型； 1968 年，感知机中 指出线性感知机的功能是 有限的，它不能解决如

5、异 或这样的基本问题； 80年代末期，BP算法 提出。 人工神经网络 深度学习的发展历史 浅层学习 深度学习 90年代，SVM、 Boosting、最大熵 方法等方法相继被提出 人工神经网络 深度学习的发展历史 浅层学习 深度学习 人工神经网络 2006年，Hinton等人提 出了深度学习的方法 主要研究人员 Yu Kai Andrew Ng Yoshua Bengio Yann LeCun Geoffrey Hinton Deng Li juergen Schmidhuber 深度学习的基本设计思想 堆叠多层网络，即将低一层的输出作为高一层的 输入。 深度学习的训练过程 逐层的无监督训练：由

6、最底层开始； fine-tune：基于第1步得到的各层参数，整体优 化整个网络的参数。 深度学习的常用模型 受限的玻尔兹曼机(RBM, Restricted Boltzmann Machine) 深度学习的常用模型 Shape Boltzmann machine Eslami et,al 2013 深度学习的常用模型 卷积神经网络(Convolutional Neural Networks) 第一个真正成功训练的多层网络结构 Lecun 1998 Sermanet,Lecun 2011 深度学习的应用 图像分类 72%， 2010 74%，2011 85%，2012 89%，2013 深度学习

7、的应用 图像分类 72%， 2010 74%，2011 85%，2012 89%，2013 深度学习的应用 语音识别 深度学习的应用 字里行间的情绪识别 准确率达到了85% Socher et,al 2013 深度学习的应用 有丝分裂监测 深度学习在工业界的应用 深度学习在工业界的应用 2012年10月，深度学习在中国天津的一次会议上得到了十分高调的展 示。当微软(Microsoft)首席科学家理查德 F 拉希德(Richard F. Rashid)在 巨大的礼堂里发表演说时，电脑程序对他的讲话内容进行了识别，还 用英语把这些内容实时显示在了他上方的大屏幕上。之后，他在讲完 每句话之后稍作停顿

8、，程序就把这些话翻译成了中文，同时还附上了 模拟他嗓音的汉语配音，尽管拉希德从来都没说过汉语。这个展示震 惊了观众，现场掌声雷动。 可提供“接近即时”的语音至文本的转换服务，比目前的语音识别技 术快两倍，同时，准确率提高了15%。 深度学习在工业界的应用 谷歌虚拟脑 16000多个处理器、10亿个内部节点，1000万帧从Youtube上随机 抓取的无标签视频剪辑图片，利用了10天时间，终于“领悟”了 什么是猫，并从接下来输入的2万张图片中准确找出了有猫的照片； Google语音识别软件就单字错误检出率而言正确率有了20%-25%的 提升； 门牌识别，识别精确率已达到 90% 以上； 深度学习在

9、工业界的应用 百度 硅谷人工智能实验室 北京深度学习实验室 北京大数据中心 深度学习对百度的影响深远，如语音，错误 率相对降低20-30%；OCR，错误率相对降低 30%；人脸识别，LFW测试世界领先，世界上 首个全网人脸搜索引擎；全网相似图像搜索 ，效果显著超越国际搜索引擎同类产品；全 流量上线广告CTR预估，提升CTR3.7%；基于 深度学习的色情图像识别准确率超过传统方 法100%，用于贴吧图搜黄反作弊。 深度学习在工业界的应用 Facebook 开启“深度学习”模式，用于社交网络，当今的人们被来自朋友、 新闻、网站等等信息来源狂哄乱炸。Facebook帮助人们来在信息 洪流中找到正确的

10、方向。这就需要Facebook能知道人们对什么感 兴趣，什么是吸引人的，什么让人快乐，什么让人们学到新东西。 （Yanne Lecun） DeepFace，自动鉴别用户上传的照片中的人脸，自动标记出正确 的姓名，并将其与用户的好友和家人即时共享。 深度学习在工业界的应用 IBM IBM 宣布将斥资 10 亿美元为 Watson 组建新的业务部门利用自然 语言能力和分析功能像人思考问题一样去处理信息，它可以迅速 分析和处理大量的数据。 Watson 已能观看并理解视频内容；用多种途径回答用户的问题， 并能通过画图去回答问题； 已与几家著名的癌症治疗中心进行合作，已经可以为癌症患者推 荐个性化治疗

11、方案，并以优先顺序提供选项以供其选择； Watson凭借“高智商”已经在华尔街花旗集团找到了一份工作， 负责证券投资组合管理。 深度学习在工业界的应用 雅虎 收购增强图像识别公司LookFlow和 IQ Engines，并成立了“深度学 习部门”，“我我们的服务集成了人工智能最近的进展、信息可视们的服务集成了人工智能最近的进展、信息可视 化和界面设化和界面设计计”。 亚马逊 Amazon在柏林创立了机器学习研究中心。 深度学习在工业界的应用 DARPA美国国防部高级研究计划局 2012年启动 理解人类语言的深度学习技术，可以自动向情报分析人员汇 报有用信息。 自动化的深度自然语言处理（NLP）

12、技术是高效处理文本信 息并理解文本之间隐含关联的有效解决途径。DARPA启动 DEFT项目的目的是为了驾驭NLP的威力。类似NLP的复杂人工 智能技术，可以大幅提高国防分析师调查和处理文档的效率， 从而发现一些隐秘的，可以指导行动的有用信息。 深度学习在工业界的应用 初创公司 AlchemyAPI ：这是科罗拉多州丹佛的一家创业公司，它通过API提 供基于深度学习的文本分析，最近还展示了最新图像识别技术。 有许多公司通过它提供的服务，提取关键词进行情感分析、内容 分类和标记。 AlchemyAPI目前致力于让它的功能更实用，以此吸 引那些对通过API实现服务不感兴趣的群体。 Cortica ：

13、 Cortica提供专业级的图像识别技术，它的原理是仿照人 类在识别图像时大脑皮质中神经网络的图像处理的方式。它的联 合创始人兼CEO Igal Raichelgauz称，这项技术源自他之前在以色列 理工学院的实验室，对于大脑组织的研究。该公司将他们的产品 出售给出版商和广告商，用以展示与页面图片内容相关的广告内 容。 http:/ 深度学习在工业界的应用 初创公司 Ersatz：Ersatz是一个深度学习的平台，它由旧金山名为Blackcloud BSG的咨询公司发展而来。不仅提供图像识别和情感分析等基础服 务，它还提供了深度学习的企业级工具，为深度学习设计了类似亚 马逊云计算这样的产品。他

14、给予用户网页交互界面、API、基于云 端资源的GPU和神经网络的执行。它能够让用户以他们需要的方式， 组建和运行模型。使用者为这些模型，支付费用给Blackcloud。 Semantria：总部位于马萨诸塞州艾摩斯特市，它是文本分析老将 Lexalytics的一款副产品，他通过API和Excel插件实现功能，而不需要 安装软件。它的创始人兼CEO Oleg Rogynskyy称，公司通过整合更多 深度学习的方法和扩展除维基百科（Lexalytics 引擎获取语义知识的 地方）之外的数据源，来提高服务的精度。 http:/ 深度学习资料 课程与资料： http:/deeplearning.sta

15、nford.edu/wiki/index.php/ UFLDL_Tutorial （Andrew Ng） Neural Networks for Machine Learning(Hinton) Deep learning methods and applications (Deng Li) http:/ 6(深度学习笔记) D, ICML、NIPS、ICLR, 迄今为止，除人脑以外，没有任何一个自然或人工系统能够具有对新 环境、新挑战的自适应能力、具有对新信息与技能的自动获取能力、 能够在复杂环境下进行有效决策并稳定工作，直至几十年的能力。没 有任何系统能够在多处损伤的情况下保持像人脑一样好的鲁棒性，此 外，与其它人工系统相比, 人脑的低能耗性相当出众。 与此同时，海量信息处理和复杂系统控制在实现人工智能系统应用时 遭遇理论与核心技术的双重瓶颈。目前看来，对人类大脑的逆向工程 研究，是解决我们所遇到难题的唯一