《并行计算机的现状与发展趋势(转载)》由会员分享，可在线阅读，更多相关《并行计算机的现状与发展趋势(转载)（4页珍藏版）》请在金锄头文库上搜索。
1、并行计算机的现状与发展趋势并行计算机的现状与发展趋势(转载转载)本文是作者根据在中国计算机学会“当代计算机体系结构、操作系统的发展“学术研讨会上的报告修改而成 谈谈现状和未来。谈谈现状和未来。发信人: leejiyun(阿骆), 信区: HPC标 题: 并 行 计 算 机 的 现 状 与 发 展 趋 势发信站: 交大兵马俑 BBS 站 (2002 年 05 月 22 日 15:39:12 星期三), 站内信件陈 树 清最近几年，超级计算机领域连续出现了一些令人担忧的事情。由于冷战结束，世界政治格局发生了变化。于是，美国政府大幅度削减军费，停止执行“星球大战“计划，这一切成为以上变故的直接原因。
2、表 1 所列事件包括以“超级计算之父“CRAY 命名的、在超级计算机领域独领风骚 10 多年的两家公司，以及在 90 年代初享誉超级计算机界的 MPP 制造商 TMC。无情的事实足以说明，高性能计算机领域正经历着转折期的困难。面对如此风云变幻的形势，我们必须冷静思考，认真分析。冷战和历史上的战争有可能促进技术的进步，然而这种作用只能是暂时的、局部的；和平与发展才是科学技术的春天。作为三大科学研究手段之一的高性能计算机，其发展的根本动力来自于各类科学技术对计算机性能永无止境的需求和生产的实际需要。在 1996 年的“SuperComputing96“大会上，美国政府 HPCC 计划全国协调委员会
3、主席JohnToole 在题为“危机、创新与机会：HPCC 将向何处去“的报告中对此做了很好的说明。他指出，高性能计算与通信对美国的国家安全及保持美国在未来的优势至关重要。美国政府将在高端计算机与通信、大规模网络、高可信系统等 5 个方面制定 1015 年的长期计划，保持长期持续性投资。过去的 10 年是超级计算机、特别是并行机飞速发展、走向成熟的 10 年。10 年中 CPU 芯片的性能翻了几番，计算机工作者发明了 Wormhole（虫蚀寻径）技术，找到了更符合实际的 LogP 并行计算模型，创造了成百的不同规模、不同拓扑结构的并行平台。特别是，由于多种软硬件技术的进步，使既具有可扩展性、又
4、具有可编程性的、分布式共享存贮结构的并行机成为可能。并行计算机是当今超级计算机的主流，本文对超级计算机(SuperComputer)和并行计算机(ParallelComputer)不做严格区分。一、并行计算机的现状：可扩展性与可编程性当今的并行计算机，除大家熟悉的 SMP（共享存储多机系统）和 MPP（大规模并行处理系统）外，还有向量并行机（PVP，或称VPP），以及工作站群集（NOW，或称 COW）。PVP 与 SMP 的主要不同是 CPU，后者是标准的 RISC 芯片，而前者是各个厂家自行研制的向量处理机。PVP 承袭了向量机的优势，技术成熟，效率高，可将互连网络的路由器插入其中，方便地进
5、行各种优化组合设计。但是，PVP 的向量 CPU 与已经形成上千万生产规模的 RISC 相比，在规模效应和性价比上相差悬殊。另外，RISC 的生命力在于不断吸收超级计算机领域的最新技术，目前的目标之一就是增加向量处理的功能。果能如此，SMP 与 PVP 就完全统一了。将工作站群集 NOW 作为并行计算机的一个类别，概念上有点含糊。TOP500 中没有 NOW 这一类。当然，具有“单一系统形象（SingleSystemImage）“的工作站群集，特别是同构的，其本质与 MPP 没有差别。不同的并行计算机各有特点，但它们也有区别于其它计算机的共性。其中最重要的就是可扩展性（Scalability）
6、和可编程性（Programmability）这一对共生而又矛盾的特性。可扩展性是并行计算机最大的优势，可简单定义为“在确定的应用背景下，计算机系统的性能要随处理机数的增加而线性增长“（美籍并行处理专家黄铠教授语）。可扩展性包括规模可扩展、时间可扩展和问题可扩展几个方面。规模可扩展的要点是均衡，均衡的目的是防止瓶颈的发生，“三 T“表达了当今均衡的指标。时间可扩展也称换代可扩展，主要指体系不受限于芯片、器件、工艺等。问题可扩展指格点增加时，系统能适应问题规模的扩大；而当问题的粒度加大时，效率能相应提高。现有的 MPP，如 Inetl 的Paragon、IBM 的 SP/2、国内的曙光 1000，
7、一般认为是可以扩展的。可编程性是在并行机发展的过程中，伴随可扩展性而产生的新概念。并行计算机有共享与分布式两种存储结构，所以操作系统进程间的通信（IPC）也有两种不同的机制：共享变量和信息传递。机器结构和操作系统的这些区别又影响到支撑软件和应用软件的编程模式。SMP 的程序设计仍以传统的高级语言为基础，系统提供自动并行识别或增加并行语言成分。而 MPP 必须建立另一种编程环境（如 PVM、MPI 等），在程序中显式地写出信息的发送和接收。这不仅导致应用软件编写困难，还给广大用户增加了很多负担。为此，创建了一个新的单词 Programmability，用以描述并行计算机的这一重要特点。总之，从存
8、储和编程模式看，并行机可分为 SMP 与 MPP 两类。SMP 具备可编程性，不易扩展；MPP 具有可扩展性，不易编程。如何将两者的优点融合在同一并行结构中，一直是困扰超级计算机研制者的难题。二、简要的历史回顾历史是现实的镜子，总结过去对预测超级计算机的发展趋势非常有益。一般将 CRAY-1 投入运行的 1976 年称为“超级计算元年“。然而，早在 1972 年就已研制成功的超级计算机 ILLIAC-IV，是现今 MPP 无可争议的先辈。什么是超级计算机的发展方向，是以 CRAY-1 为代表的向量机，还是以 ILLIAC-IV 为代表的并行机，这是 70 年代计算机界的热门话题。这两种机器各有
9、长短，ILLIAC-IV 具有可扩展性，一个象限 64 个处理单元，原设计为 4 个象限，可扩展到 256 个单元，但它在编程模式上与传统的大型机相差太大。CRAY-1 正好相反，编程模式可基于 FORTRANIV。这是超级计算机历史上第一次有关可扩展性与可编程性的较量，最后以向量机的胜利而告终。从此，并行计算机沉寂多年，而以 CRAY 为代表的向量机则称雄超级计算机界十几载。80 年代初，刮起了一股小巨型机（miniSuperComputer）的风暴。几十个小巨型机厂家如雨后春笋般冒了出来，机器结构五花八门，大体上也可分为向量机和并行机两大类。这是超级计算技术从高科技领域走向民用的一次重大尝
10、试，所以小巨型机又被称为普及性巨型机。经过几年的较量，大批厂家偃旗息鼓，而 Convex 的 C 系列却一支独秀。这无异于 70 年代 CRAY 战胜 ILLIAC-IV 的重演。到 80 年代后期，向量机的造价越来越高，而性能提高却越来越难。CRAY-3 的时钟周期为 2ns，CRAY-4 为 1ns。在这种形势下，人们又重操旧业，并行计算机再一次红红火火地搞了起来。在 1990 年的超级计算机大会上，Hillis博士公开宣称：“传统的巨型机（向量巨型机）5 年内将被淘汰“，在当时引起了一番争论。今天看来，Hillis 博士的看法基本正确。然而，并行机对向量机的胜利，并不等于可扩展性对可编程
11、性的胜利。90 年代初，当各种并行机百花争艳，令人们眼花缭乱之时，杀出了一匹“黑马“，即 SGI 公司。在 1995 年 11 月公布的 TOP500 中，它独占 125 台，跃居众家之首。其优势之一是具有共享存储的 SMP 结构，因而具有可编程性。从以上列举的三个典型史实看，在超级计算机发展的前 20 年间，基本遵循这样一个规律：当可扩展性与可编程性不能相容时，人们总是选择可编程性，而舍弃或适当考虑可扩展性。然而，这毕竟只是一种权宜之计。最近几年，超级计算应用领域对计算机性能的需求飞速增长，不仅向量机不能担此重任，SMP 和 PVP 也已力不从心。在 1996 年 11 月公布的 TOP50
12、0 中，MPP 仍呈上升趋势，而 SMP 出现了转折，呈下滑之态。并行计算机向何处去？难道人们只能反过来舍弃可编程性，才能获得可扩展性吗？当然不是。美籍并行处理专家黄铠教授早在 1993 年就指出：“并行处理的发展趋势是用分布式共享存储结构（DistributedSharedMemory，DSM）和标准 Unix 来构造可扩展超级计算机。“即并行计算机发展的趋势既不是 SMP，也不是 MPP，而是两者优势互补的 DSM。三、分布式共享存储结构市场选择的必然结果超级计算机必须具有很好的可扩展性，这一点已成定论。然而，这并不意味着可以不考虑或少考虑可编程性。如前所述，在超级计算机的发展史中，总是首
13、先满足可编程性。这里有一种无形的、然而却是决定性的力量在起作用，这就是市场！大部分超级计算机的用户所要求的不仅仅是高的性能，更重要的是高的性价比。超级计算机要有可编程性，似乎是为了迎合用户编程的习惯，实质是为了获得高的性价比。一般说来，超级计算机系统可分为两大部分，一部分是包括硬件和系统软件的平台，另一部分是应用软件。对不具有可编程性的超级计算机，即使平台有较高的性价比，但却大大增加了移植原有应用软件的难度和开发新的应用软件的成本，从而导致整个系统的性价比大幅度下降。这种例子很多。例如，由 Tensor 软件公司与 Intel 通力合作，在Intel 的 ipsc 上开发并行石油地震资料处理应
14、用软件，用了 4 年多的时间才完成了一个应用系统。相应地，中科院计算所与石油天然气总公司合作，将地震资料处理软件 GRISYS在 SGIPowerChallenge 上并行化，仅用了 8 个人 4 个月，目前该系统在兰州正常运行。还有一个突出的例子是 CM-5。据 TMC 自己介绍，他们有 1/3 的技术人员必须常驻用户单位，与用户一起移殖、开发应用软件，指导用户使用并行机。正因为并行机需要如此巨大的附加成本，所以被市场无情淘汰也就不足为怪了。如果过去市场的作用在超级计算领域还不很明显的话，那么随着世界政治格局的变化，这一问题已变得非常明确。今天，并行机已突破狭窄的应用范围，走向包括事务处理在
15、内的广阔市场。1996 年，SGI 并购 CRAY 时 IDC 评论认为，这次并购“意味着巨型机厂家与少数几个客户携手生产少量专门化、高价格产品的时代已经结束“，“就目前市场来说，厂家必须把这类高档系统作为一种更普通化的产品提供给用户“。这就是说，超级计算机一味依赖于政府和军方的支持、不计成本、只求性能的时代已经过去。从世界范围看，超级计算机行业也由“计划经济“走向了市场。超级计算机应有好的性价比，这已被很多超级计算机用户所认识。NASA 在 1996 年 11 月发表的 NPB 测试报告中，列出了多种平台每百万美元的持续性能。报告认为，这些机器的性能相差不大，但性价比却相去甚远。因此，可编程
16、性与可扩展性同样是今后超级计算机必不可少的重要性能。这是作为“上帝“的广大用户的意志，是市场选择的必然结果。四、分布式共享存储结构技术发展的趋势市场需要既有可扩展性，又有可编程性的超级计算机。但需要不等于现实。要在分布式环境下实现存储逻辑共享，是一个相当困难和复杂的问题。众所周知，现今的计算机存储器速度远远落后于 CPU，这是一个长期得不到很好解决的严重瓶颈。而在分布式共享存储并行机中，一个 CPU 存取远程节点上的存储单元要像存取本地单元一样，不仅方便而且具有令人满意的效率，这使问题难上加难。按照并行计算模型 LogP 的观点，这里主要有三个因素：发送与接收端的开销（o），带宽（倒数 g）和时延（L）。并行系统规模扩展时，节点增加，数据传送的路径变长。为此，人们用硬件实现了 Wormhole（虫蚀寻径）技术，把数据包分割为更小的片（或叫微包），采用异步流水的办法，使时延几乎与经过的节点数无关。随着路上时延的大幅度减小，发送与接收的开销更为突出。人们将进程破分为线程（thread），使两端的开销减少了两个数量级。在这些关键技术取得重大突破的基础上，一些研究部门在企业的支持
