2020-2021年全球AI技术发展趋势报告

章节一：顶会趋势（NeurIPS）分析章节二：20202021 技术趋势总结211-1 发表论文作者相关数据情况1-2 发表论文机构相关数据情况1-3 趋势分析 1-3-1 论文热门主题 1-3-2 知名机构关注论文主题 1-3-3 报告相关热门技术 1-3-4 趋势小结2-1 背景2-2 人工智能技术总趋势2-3 人类语言技术趋势2-4 计算机视觉技术趋势2-5 机器人与自动化技术趋势2-6 机器学习技术趋势2-7 智能基础设施技术趋势2-8 数据智能技术趋势2-9 前沿智能技术趋势04081212161920222328313334363839Contents目录02前言01章节三：20202021 技术趋势分析详解413-1 人类语言技术42本章节仅于完整版报告内收录3-3 机器人与自动化技术44本章节仅于完整版报告内收录3-4 机器学习45本章节仅于完整版报告内收录3-2 计算机视觉43本章节仅于完整版报告内收录3-5 智能基础设施46本章节仅于完整版报告内收录附录 I：技术趋势分析方法、数据及局限49本章节仅于完整版报告内收录3-7 前沿智能技术48本章节仅于完整版报告内收录3-6 数据智能技术47本章节仅于完整版报告内收录附录 II：技术领域相关大事件(20152020)501 人类语言技术2 计算机视觉3 机器人与自动化技术4 机器学习5 智能基础设施6 数据智能技术7 前沿智能技术51535456596468附录 III：Synced Indicators751.人类语言技术2.计算机视觉3.机器人与自动化技术4.机器学习5.智能基础设施6.数据智能技术7.前沿智能技术76777879808182附录 IV：参考文献83结束语8601 前言 2017 年，我们发布了机器之心人工智能技术趋势报告，系统介绍了人工智能领域（AI）下不同的技术分支，并以定性分析的方法讨论了各分支技术当时所处的发展阶段、瓶颈以及未来发展方向，帮助读者理解飞速发展中的 AI 领域内各项技术的概况和层出不穷的新鲜技术内涵。在初版报告发布至今的这三年里，越来越多的 AI 技术实现了商业落地，但也有不少深度学习方法开始触碰到技术自身的天花板，亟需突破。在这个可能是 AI 技术发展的关键拐点，我们发布2020-2021 全球 AI 技术趋势发展报告，兼顾 2017 年初版报告定性分析方法的同时，重点加强了数据层面的挖掘、分析和探索，更加侧重对具体技术趋势的挖掘以及量化分析指标的形成。定量研究方面，本报告基于近五年的开源论文与专利语料，结合机器之心自有的新闻舆论以及模型最佳表现（SOTA）等相关数据库进行了探索性数据分析，并形成了用以帮助技术趋势判定的量化指标 Synced Indicator；定性研究方面，我们邀请了近 100 位专家学者通过问卷形式了解其对具体技术成熟情况的分析判断。报告分 Lite（简要版）与 Plus（完整版）两个版本。当前的 Lite 版涵盖“顶会趋势（NeurIPS）分析”、“2020-2021 技术趋势总结”两个主要部分，同时包含“参考文献”、“近年技术领域相关大事件”以及“Synced Indicator技术指标”的附录供参考。另有 Plus 版在 Lite 版的基础上增加了包含完整数据和丰富图表的各技术领域趋势分析细节，同时在附录介绍了具体的数据来源、分析方法、研究局限以及未来研究方向供参考。02 章节一 顶会趋势（NeurIPS）分析1-1 发表论文作者相关数据情况1-2 发表论文机构相关数据情况1-3 趋势分析 1-3-1 论文热门主题 1-3-2 知名机构关注论文主题 1-3-3 报告相关热门技术 1-3-4 趋势小结032020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究NeurIPS 2020 刚刚落下帷幕，今年的 NeurIPS 2020 因疫情原因而改为线上举行，一万八千人参会的 NeurIPS 2020 相比去年数量暴涨了三成。今年的最佳论文奖项（Best Paper Awards）由三篇论文共同获得，分别是 CMU 与米兰理工大学合著的No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium，利用学习的方法为通用交互寻找相关均衡（correlated equilibria，CE），UC Berkeley 学者发表的关于复杂数据的高效数据总结（data summarization）任务 相 关 论 文Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystrom Method，以及 OpenAI 今年 5 月公开的有史以来最大的预训练语言模型 GPT-3 论文Language Models are Few-Shot Learners。对于 GPT-3 未来的研究发展方向，论文作者之一的 Dario Amodei 在 NeurIPS 2020 大会上表示：“GPT-3 仍然只是预测一段文字之后的下一个字，我们还有很多事可以做，如通过强化学习来微调语言模型以改变目标函数，进而生成更复杂的文字内容。”今年的时间检验奖（Test of Time Award）则是颁给了由 UW Madison 华人学者 Feng Niu 作为一作在 NeurIPS 2011 上发表的论文HOGWILD!:A Lock-Free Approach to Parallelizing Stochastic Gradient Descent，NeurIPS 大会认为，该研究提出了首个在没有任何锁定机制情况下并行运行随机梯度下降算法的实验，且能够保证强大的性能；自提出以来至今，该论文的被引用量接近 2000 次，它不仅对机器学习领域有影响，对计算机系统和优化领域也有影响，这些都促进了对 Hogwild!方法的发展和理解。根据大会官方数据，今年的 NeurIPS 2020 共计收到 9467 篇完整的论文提交，投稿数量较 2019 年增加了 40%，与 2018年至 2019 年的增长率接近。其中，大会接收了 1899 篇论文，包含 105 篇 Oral 论文和 280 篇 Spotlight 论文，分别占录取论文数的5.53%和14.74%。尽管今年的论文投稿和录取数量都创下纪录，但论文录取率仅为20.06%，为近三年最低低于 2019 年的 21.59%和 2018 年的 20.81%。与往年相比，今年 Oral 论文和 Spotlight 论文，无论是数量还是在录取论文中的比重，都创下新高。?年年份份?投投稿稿(同同增增)?录录取取(录录取取率率)?O Or ra al l(%)?S Sp po ot tl li ig gh ht t(%)?2 20 02 20 0?9467?(40.40%)?1899?(20.06%)?105?(5.53%)?280?(14.74%)?2 20 01 19 9?6743?(38.92%)/6614*?1428?(21.59%)*?36?(2.52%)?164?(11.48%)?2 20 01 18 8?4854?1010?(20.81%)?NULL?NULL?表 1-1 NeurIPS 近三年投稿/录取论文数量表*注：根据 NeurIPS 官方数据，2019 年投稿数量有 6743（初始投稿数）和 6614（有效投稿数），计算同比增长时使用6743，计算录取率时使用 6614。042020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-1 NeurIPS 投稿/录取论文数量情况 1-1 发表论文作者相关数据情况从发布论文作者的角度切入，被NeurIPS 2020录用的1899篇论文共计覆盖6012位从业学者（经过简单的同名作者识别后），其中 1 位学者有 12 篇相关论文发布在 NeurIPS 2020，7 位学者有 9 篇相关论文，6 位学者有 8 篇相关论文，总计 77 位学者被录取的论文数量在 5 篇以上（含 5 篇），27 位学者录取论文数量在 7 篇以上，详情参见下表。录录取取论论数数量量?对对应应作作者者数数量量?1 1?4909?2 2?751?3 3?202?4 4?73?5 5?31?6 6?19?7 7?13?8 8?6?9 9?7?1 12 2?1?总总计计?6012?=5 5?77?=7 7?27?表 1-1-1 录取论文数量及对应作者数量统计052020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-1-1 每位学者发表论文数量统计NeurIPS 2020 录取论文数量最多的作者是来自 UC Berkeley EECS 学院的助理教授 Sergey Levine，该学者的研究方向是用于决策和控制的机器学习算法，主攻深度学习和强化学习算法，应用方向覆盖自动驾驶、机器人以及计算机视觉和图形相关技术领域。值得注意的是，Sergey Levine 同样是去年的 NeurIPS 2019 上被接收相关论文数量最多的学者（同样以12 篇相关论文数量排名第一），详情参见下表。?作作者者?相相关关论论数数量量?Sergey?Levine?(UC?Berkeley)?12?Csaba?Szepesvari?(DeepMind?/?University?of?Alberta)?9?Jinwoo?Shin?(KAIST)?9?Lin?Yang?(UCLA)?9?Mihaela?van?der?Schaar?(University?of?Cambridge)?9?Stefano?Ermon?(Stanford)?9?Sung?Ju?Hwang?(KAIST,?AITRICS)?9?Zhaoran?Wang?(Northwestern?University)?9?Jason?Lee?(Princeton?University)?8?Jun?Zhu?(Tsinghua?University)?8?Pieter?Abbeel?(UC?Berkeley?&?covariant.ai)?8?Russ?Salakhutdinov?(Carnegie?Mellon?University)?8?Zhangyang?Wang?(University?of?Texas?at?Austin)?8?Zhuoran?Yang?(Princeton)?8?Andreas?Krause?(ETH?Zurich)?7?062020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究表 1-1-2 录取论文数量最多作者及相应论文数量与 Sergey Levine 类似连续两年位列 NeurIPS 接收论文数量前列的还有毕业于清华大学，目前在普林斯顿大学就读博士的中国学者杨卓然（Zhuoran Yang），其研究方向主要是设计有效的学习算法以解决在强化学习和随机博弈中出现的大规模决策问题。杨卓然在 NeurIPS 2019 上有 7 篇相关论文被接收，今年更进一步有 8 篇相关论文被 NeurIPS 录取。UCLA 教授杨林（Lin Yang）和美国西北大学教授汪昭然（Zhaoran Wang）今年各有 9 篇论文被接收，是仅次于 Sergey Levine 被接收论文数量最多的学者，其目前的研究重点也均是强化学习。整体而言，今年录取论文数在 7 篇或以上的共有9 位华人学者，除了前面提到的几位，还包括清华大学教授朱军，UT Austin 教授汪张扬，悉尼大学教授陶大程，毕业于清华姚班的 CMU 在读博士 Ruosong Wang，以及创新工场合伙人张潼，华人学者占全部 27 人中的 1/3，成绩可谓不错。发表论文数量在 7 篇以上的学者中，来自 UC Berkeley 的 Pieter Abbeel 与 Micha