《HPC高性能计算知识》由会员分享，可在线阅读，更多相关《HPC高性能计算知识（6页珍藏版）》请在金锄头文库上搜索。
1、HPC 高性能计算知识: 异构并行计算当摩尔定律还是行业的铁律时，计算机编程几乎一直都是串行的，绝大多数的程序只存 在一个进程或线程。大家还过着“我写个程序，性能达不到就睡个觉，等硬件工艺刷新硬件 性能，性能就达标了”的美好生活。2003年以后因为工艺达到了瓶颈，你光“睡觉”是不 行了。异构并行计算作为重要技术之一承担起了技术变革的重任。异构并行计算的本质是把任务分发给不同架构的硬件计算单元(比如说 CPU、GPU、FPGA等)，让他们各司其职，同步工作。如同平时工作，把业务中不同类型的任务分给不 同的计算资源执行。从软件的角度来讲，异构并行计算框架是让软件开发者高效地开发异构并行的程序，充
2、分使用计算平台资源。 从硬件角度来讲，一方面，多种不同类型的计算单元通过更多时钟频 率和内核数量提高计算能力，另一方面，各种计算单元通过技术优化(如GPU从底层架构 力)提高执行效率。支持通用计算，通过分支预测、子运算、动态并行、统一寻址、NIC直接访问显存等异构计算(Heterogeneous Computing)在80年代中期就已产生，其定义更加宽泛。异构计算主要是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式。常见的 计算单元类别包括CPU、GPU等协处理器、DSP、ASIC、FPGA等。一个异构计算平台 往往包含使用不同指令集架构(ISA)的处理器。在HPC异构并行计算架构
3、应用技术中，通常分为通用架构并行和专用架构并行。通用 架构并分为同构多核并行(X86 CPU多核并行计算和非X86 CPU多核并行计算)和异构众核 并行(CPU+GPU异构协同计算和CPU + MIC异构协同计算)；专用架构并行主要是指 CPU + FPGA异构协同计算。从更广义的角度来讲， 不同计算平台的各个层次上都存在异构现象，除硬件层的指令 集、互联、内存层次之外，软件层中应用二进制接口、API、语言特性底层实现等的不同， 对于上层应用和服务而言，都是异构的。异构并行计算框架有个非常重要的特征就是能够帮 助开发者屏蔽底层硬件差异，能让软件平台自适应未来硬件的演进。概括来说，理想的异构 计
4、算具有如下的一些要素:它所使用的计算资源具有多种类型的计算能力，如SIMD、MIMD、向量、标量、专 用等。其中，芯片硬件定义了单指令单数据(SISD)、单指令多数据流(SIMD)、多指令单数据 (MISD)和多指令多数据(MIMD)四个并行级别，此外，MIMD还分单程序多数据(SPMD)和 多程序多数据(MPMD)。 它需要识别计算任务中各子任务的并行性需求类型； 它需要使具有不同计算类型的计算资源能相互协调运行； 它既要开发应用问题中的并行性，更要开发应用问题中的异构性，即追求计算资源所 具有的计算类型与它所执行的任务(或子任务)类型之间的匹配性； 它追求的最终目标是使计算任务的执行具有最
5、短时间。可见，异构计算技术是一种使计算任务的并行性类型(代码类型)与机器能有效支持的 计算类型(即机器能力)最匹配、最能充分利用各种计算资源的并行和分布计算技术。异构计 算处理过程本质上可分为三个阶段:1. 并行性检测阶段。并行性检测不是异构计算特有的，同构计算也需要经历这一阶段， 可用并行和分布计算中的常规方法加以处理。2. 并行性特征(类型)析取阶段。并行性特征析取阶段是异构计算特有的，这一阶段的主 要工作是估计应用中每个任务的计算类型参数，包括映射及对任务间通信代价的考3. 任务映射和调度阶段，也称为资源分配阶段。主要确定每个任务(或子任务)应该映射 到哪台机器上执行以及何时开始执行。从
6、用户来看，上述的异步计算处理过程可用两种方法来实现:第一种是用户指导法，即由用户用显式的编译器命令指导编译器完成对应用代码类型 分析及有关任务的分解等工作，这是一种显式开发异构性和并行性方法，较易于实现，但对 用户有一定要求，需将异构计算思想融入用户程序中。这是当前主流采用的方法，我们所知 的 CUDA(Computing Unified Device Architecture)、OpenCL都是采用用户指导法。另一种是编译器指导法，需将异构思想融入编译器中，然后由具有“异构智能”的编 译器自动完成应用代码类型分析、任务分解、任务映射及调度等工作，即实现自动异构计 算。这是一种隐式开发异构性和
7、并行性方法，是异构计算追求的终极目标，但难度很大，对 编译器要求很高。NVIDIA已经开始部分尝试编译器指导法，当然，基于CUDA Core的同 构特征，也可以认为其做的是同构自动调度。异构计算按提供计算类型多样性的形式来看，可分为系统异构计算SHC (System Heterogeneous Computing) 和网络异构计算NHC (Network Heterogeneous Computing)两大类。SHC以单机多处理器形式提供多 种计算类型，而NHC则以网络连接的多计算机形式提供多种计算类型。用于HPC的计算 系统(如IBM RoadRunner等)属于NHC ;当前热门的CUDA
8、、OpenCL都属于SHC的 范畴。随着深度神经网络为代表的深度学习盛行，从图像识别到自然语言处理、自动驾驶等， 似乎大家遇上了问题都会思考：“能否依靠AI来解决？ ”对于深度神经网络训练来说，通 常网络越深，需要的训练时间越长。一次训练使用单X86 CPU来做，可能需要一年，使用 8核CPU来做，也需要一个半月到两个月，但是使用单GPU来做，只需要一周，但是一周对实际生产来说已经非常慢了，大家希望一天两天、甚至是几个小时训练就能够得到结果。在部署的时候，计算平台通常是X86或ARM，提高其计算性能对用户的使用体验非常重 要。基于这些原因，深度学习应用领域应用对异构并行计算领域非常关注。另外，
9、云计算的兴起，数量繁多的云服务不再单纯地追求处理速度，而是在同时处理大 量数据以及在可忍受的时间内提供服务方面有更多诉求。这些诉求与CPU对单个任务快速 响应的特征并不一致，迫切需要微结构与CPU不同的加速设备协助完成，在这方面，异构并行计算天然支持不同硬件资源，充分发挥不同硬件的特点，有着非常巨大的优势。异构并行计算作为当前性能提升，需求满足的重要法宝之一，可以想见在对于时延、性 能、功耗都有着非常严格或者说苛刻的要求的通信领域，或者讲究用户体验的终端领域都有 非常重要的地位。关于HPC技术和方案，前期详细分享过从高性能计算(HPC)技术演变解析方案、生态 和行业发展趋势分析，并整理成电子书
10、，请点击“阅读原文”链接查阅。高端职位信息共享:职位一：离级存储解决方案架构聊!眼位描述1奂贡全球na客户的需求分折，存储解挟方案设计-竞希分析”支挥项目拓展幷狡得咸： ；功.Ji l英谨六级或同等水宰|-2丰荷的存餚解决方案售前和市场推广经验I.政本科学士学位计年或以上工作翌验；职位二;离圾轩业TOK决方案栗构师；t职10储!负责全拣某行业NA客户交流，解决方案设计，完成行业业努i祠密规划行业T产品俗! I储)和18决方秦.保St方案商业成現|1 aa位嬰戟1:L英语四级或以上：i 2丰富的垂国行业(金做政府、能源、制造和ISP等业务理解力和叹件经验i|吉本科学士学位代年以上工件删|I IffW点:成都、：!漳、深圳|；按398事:简历投递时谐务必注明投递职位；hardywangO5 技术热文推荐:白话区块链和智能合约技术详解RDMA技术和主流实现全文完 _文章来源于网络，仅作为个人学习使用。 如有侵权，诘联系删除！
