智慧城市解决方法——AI发展框架白皮书

AI 框架发展白皮书框架发展白皮书 中国信息通信研究院中国信息通信研究院 2022022 2年年2 2月月 No.202201（2022 年）年）加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315 前前 言言 AI 助力当前经济社会步入智能经济时代。世界正在进入以新一代信息技术驱动发展的重塑时期，人工智能（AI，Artificial Intelligence）作为其中重要的使能技术，对激活实体经济具有溢出带动性很强的“头雁效应”，对构筑国家科技影响力具有举足轻重的意义。人工智能成为了全球各国新的科技热点，人工智能基础设施建设也成为重要抓手与着力点。未来十年是全球发展数字经济、迈入智能经济社会的黄金发展期，着力发展人工智能基础设施，将为我国人工智能产业发展壮大、数字经济蓬勃发展提供强大牵引力。AI 框架是智能经济时代的操作系统。作为人工智能开发环节中的基础工具，AI 框架承担着 AI 技术生态中操作系统的角色，是 AI学术创新与产业商业化的重要载体，助力人工智能由理论走入实践，快速进入了场景化应用时代，也是发展人工智能所必需的基础设施之一。随着重要性的不断凸显，AI 框架已经成为了人工智能产业创新的焦点之一，引起了学术界、产业界的重视。在此背景下，白皮书致力于厘清 AI 框架的概念内涵、演进历程、技术体系与作用意义，通过梳理总结当前 AI 框架发展现状，研判 AI框架技术发展趋势，并对 AI 框架发展提出展望与路径建议。由于 AI框架仍处于快速发展阶段，我们对 AI 框架的认识还有待持续深化，白皮书中存在的不足之处，欢迎大家批评指正。加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315 目目 录录 一、AI 框架技术持续演进，已形成较为完整的体系.1(一)AI 框架演进步入深化阶段.1(二)AI 框架技术演化出三个层次.5(三)AI 框架重要性愈加突显.13 二、全球 AI 框架繁荣发展，多元化竞合态势渐显.14(一)供给主体方面，企校贡献最活跃.14(二)开源生态方面，全球进入活跃期.16(三)市场格局方面，双寡头持续引领.18(四)支撑应用方面，科研与产业齐驱.20(五)推广途径方面，三条路齐发并进.25 三、应对未来多样化挑战，AI 框架有六大技术趋势.27(一)泛开发：AI 框架将注重前端便捷性与后端高效性的统一.27(二)全场景：AI 框架将支持端边云全场景跨平台设备部署.28(三)超大规模：AI 框架将着力强化对超大规模 AI 的支持.29(四)科学计算：AI 框架将进一步与科学计算深度融合交叉.31(五)安全可信：AI 框架将助力提升 AI 模型可解释性与鲁棒性.32(六)工程化：AI 框架将加速 AI 应用产业规模级工程化落地.34 四、AI 框架生态远未成熟，未来发展空间可观.36(一)从硬件适配向算子接口标准化演进.36(二)强化开源社区打造与开源氛围营造.36(三)重视与高校科研院所广泛开放合作.37(四)推进融入 AI 基础设施布局落地.37(五)支持深度赋能大模型及科学计算.38 加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315 图图 目目 录录 图 1 AI 框架技术演进.2 图 2 AI 框架核心技术体系.5 表表 目目 录录 表 1 Github 社区中主流 AI 框架情况（2022.1）.16 表 2 Gitee 社区中主流 AI 框架情况（2022.1）.18 加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315AI 框架发展白皮书（2022 年）1 一、AI 框架技术持续演进，已形成较为完整的体系 AI 框架是 AI 算法模型设计、训练和验证的一套标准接口、特性库和工具包，集成了算法的封装、数据的调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是现阶段AI 算法开发的必备工具。当前，人工智能基础性算法理论研究创新日益活跃，深度神经网络日趋成熟，各大厂商纷纷投入到深度神经网络算法的工程实现并发力建设算法模型工具，进一步将其封装为软件框架供开发者使用，这个过程中 AI 框架（业界也称 AI 开发框架、深度学习框架等）应运而生。AI 框架负责给开发者提供构建神经网络模型的数学操作，把复杂的数学表达转换成计算机可识别的计算图，自动对神经网络进行训练，得到一个神经网络模型用于解决机器学习中分类、回归的问题，实现目标分类、语音识别等应用场景。(一一)AI 框架演进步入深化阶段框架演进步入深化阶段 结合人工智能的发展历程和 AI 框架的技术特性来看，AI 框架的发展大致可以分为四个阶段，分别为萌芽阶段（2000 年初期）、成长阶段（20122014 年）、稳定阶段（2015 年2019 年）、深化阶段（2020 年以后）。其发展脉络与人工智能，特别是神经网络技术的异峰突起有非常紧密的联系。加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315中国 AI 框架发展白皮书（2022 年）2 来源：中国信息通信研究院 图 1 AI 框架技术演进 萌芽阶段：受限于计算能力不足，这一阶段的神经网络技术影响力相对有限，因而出现了一些传统的机器学习工具来提供基本支持，也就是 AI 框架的雏形，但这些工具或者不是专门为神经网络模型开发定制的，或者 API 极其复杂对开发者并不友好，且这些工具并没有对 GPU 算力进行支持。这一阶段的 AI 框架并不完善，开发者不得不进行大量基础的工作，例如手写反向传播、搭建网络结构、自行设计优化器等。成长阶段：2012 年，Alex Krizhevsky 等人提出了一种深度神经网络架构，即著名的 AlexNet，在 ImageNet 数据集上达到了最佳精度，并碾压第二名，引爆了深度神经网络的热潮。自此极大地推动了 AI 框架的发展，出现了 Caffe、Chainer 和 Theano 等具有代表性的早期 AI 框架，帮助开发者方便地建立复杂的深度神经网络模型，如 CNN、RNN、LSTM 等。不仅如此，这些框架还支持多 GPU 训加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315AI 框架发展白皮书（2022 年）3 练，让开展更大、更深的模型训练成为可能。在这一阶段，AI 框架体系已经初步形成，声明式风格和命令式风格为之后的 AI 框架趟出了两条不同的发展道路。稳定阶段：2015 年，何恺明等人提出的 ResNet，再次突破了图像分类的边界，在 ImageNet 数据集上的准确率再创新高，也终于凝聚了产业界和学界的共识，那就是深度学习将成为下一个重大技术趋势。在这一到两年里，Google 开源了著名的 TensorFlow 框架，它至今仍是机器学习领域最流行的 AI 框架。Caffe 的发明者加入了Facebook（现更名为 Meta）并发布了 Caffe2；与此同时，Facebook AI 研究团队也发布了另一个流行的框架 PyTorch，该框架拓展自Torch 框架，但使用了更流行的 Python API。微软研究院开发了CNTK 框架。Amazon 采用了 MXNet，这是华盛顿大学、CMU 和其他机构的联合学术项目。国内的百度则率先布局了 PaddlePaddle 飞桨深度学习框架并于 2016 年发布。TensorFlow 和 CNTK 借鉴了 Theano 的声明式编程风格，而PyTorch 则继承了 Torch 的直观和开发者友好的命令式编程风格。Francois Chollet 几乎是独自开发了 Keras 框架，该框架提供了神经网络和构建块的更直观的高级抽象。同时各种 AI 框架不断进行迭代，为框架提供各种面向高效友好开发的核心组件，例如几乎所有AI 框架都支持的自动微分能力，TensorFlow 提供了分布式版本的AI 框架和支持 iOS 系统的能力，PyTorch 则在完全拥抱 Python 的基加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315中国 AI 框架发展白皮书（2022 年）4 础上提供了一整套包括优化器、库函数、API 工具等支持。AI 框架迎来了繁荣，而在不断发展的基础上，各种框架不断迭代，也被开发者自然选择。经过激烈的竞争后，最终形成了两大阵营，TensorFlow 和PyTorch 双头垄断。2019 年，Chainer 团队将他们的开发工作转移到PyTorch；Microsoft 停止了 CNTK 框架的积极开发，部分团队成员转而支持 PyTorch；Keras 被 TensorFlow 收编，并在 TensorFlow2.0版本中成为其高级 API 之一。深化阶段：随着人工智能的进一步发展，新的趋势不断涌现，例如超大规模模型的出现（GPT-3 等），向 AI 框架提出了更高的要求。随着人工智能应用场景的扩展以及与更多领域交叉融合进程的加快，越来越多的需求被提出，如对全场景多任务的支持、对高算力的需求等，这就要求 AI 框架最大化的实现编译优化，更好地利用算力、调动算力，充分发挥硬件资源的潜力。此外，人工智能与社会伦理的痛点问题也促使可信赖人工智能在框架层面的进步。基于以上背景，现有的流行框架都在探索下一代 AI 框架的发展方向，如 2020 年华为推出昇思 MindSpore，在全场景协同、可信赖方面有一定的突破；旷视推出天元 MegEngine，在训练推理一体化方面深度布局。在这一阶段，AI 框架正向着全场景支持、超大规模AI、安全可信等技术特性深化探索，不断实现新的突破。加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315AI 框架发展白皮书（2022 年）5(二二)AI 框架技术演化出三个层次框架技术演化出三个层次 根据技术所处环节及定位，当前主流 AI 框架的核心技术可分为基础层、组件层和生态层。来源：中国信息通信研究院 图 2 AI 框架核心技术体系 1.基础层 基础层实现 AI 框架最基础核心的功能，具体包括编程开发、编译优化以及硬件使能三个子层。编程开发层是开发者与 AI 框架互动的窗口，为开发者提供构建 AI 模型的 API 接口。编译优化层是 AI 框架的关键部分，负责完成 AI 模型的编译优化并调度硬件资源完成计算。硬件使能层是 AI 框架与 AI 算力硬件对接的通道，帮助开发者屏蔽底层硬件技术细节。编程开发-编程接口 API：开发者通过调用编程接口来描述算法的计算过程。对于开发者来说，编程接口的易用性以及接口的表达加入财经、投资、投行和股权实务及上市公司并购、资管银行等各类资本市场交流群微信13312191315中国 AI 框架发展白皮书（2022 年）6 能力非常重要，对算法的描述会映射到计算图上。编程接口主要可以分为 3 类：一类是基于数据流图的编程接口，流行的基于数据流图的机器学习编程框架包括 TensorFlow、MXNet、Theano、Torch7等；另一类是基于层的编程接口，如 Caffe；还有一类是基于算法的编程接口，主要用于传统机器学习算法的实现，如 Scikit-Learn。编程开发-编码语言：人工智能应用场景众多，人工智能开发者基于不同场景选择使用的编程语言多样，完善的 AI 框架应支持多种不同的语言，例如 Python/仓颉/Julia 等。面向使用不同编程语言的开发者，AI 框架需要提供功能相同、性能可比的开发服务和技术支持。编译优化-分布式并行：指数据流并行、模型并行、Pipeline 并行、优化器并行等策略。随着模型规模的增大，传统的数据并行无法有效处理，自动并行技术的使用将会是常态。需要将大模型切分到不同的设备上，切分就是将不同大块计算切分成小块计算，并将小块计