《基于机群的并行计算通信性能研究》由会员分享，可在线阅读，更多相关《基于机群的并行计算通信性能研究（61页珍藏版）》请在金锄头文库上搜索。
1、河北工业大学硕士学位论文基于机群的并行计算通信性能研究姓名：余锋申请学位级别：硕士专业：计算机应用技术指导教师：牛存良20081101河北工业大学硕士学位论文 i基于机群的并行计算通信性能研究基于机群的并行计算通信性能研究 摘摘 要要 目前，并行计算技术是计算机研究的一个热点。在各种并行系统中，机群系统以其显 著优势已经成为高性能计算领域的一种主流平台。结点处理能力的不断加强使得内部结点 机之间的通信成为机群系统性能的瓶颈，对机群的机间通信系统进行研究，以寻求进一步 提高其通信效率的新途径，成为一个亟待解决的问题。 并行通信技术作为一项新兴技术，通过增加各结点上的网络接口卡和结点间的数据传 输
2、通路，使机群结点间消息的传递在不同网卡或网络通路间同时并行进行，持续提高结点 间通信的性能，多链路克服了单一故障点，保证了机群结点间通信的高可用性。 具体工作如下： 1. 细致地分析了主流通信技术。在分析通信开销主要来源的基础上，研究了构建新 型网络、设计精简通信协议、实现用户级通信、减少内存拷贝以及增强网络接口等一些行 之有效的主流技术，对比提出了并行通信技术； 2. 对并行通信技术进行深入研究。在介绍并行通信技术优势的基础上，对当前并行 通信算法做出对比分析，得出各算法优缺点和适用范围，并分析了通信技术的关键问题， 为并行通信系统设计提供研究依据； 3. 并行通信系统设计。 并行通信实现关
3、键是提出解决并行通信机制的引入带来的数据 同步、消息保序、消息分片粒度选择等一系列问题的解决方案； 4. 完成了并行通信性能测试。 点对点通信性能是评价一个通信系统性能的关键指标之 一，通过进程接力方式对点对点通信性能进行测试。同时通过圆周率算法分析了多进程聚 合通信性能。 关键词：关键词：机群系统、机群通信系统、LogP、LogGP、点对点通信、聚合通信、并行通信 基于机群的并行计算通信性能研究 ii COMMUNICATION PERFORMANCE RESEARCH ON PARALLEL COMPUTING BASED ON CLUSTER ABSTRACT At present, t
4、he parallel computing is a hot technology for computers researching. In all kinds of parallel systems, cluster system has become a mainstream platform in the field of high-performance computing for its significant advantages. With the constant strengthening of the nodes handling ability, the interna
5、l nodes communication has become the bottleneck in system performance, it becomes a serious problem to seek a new way to further improve clusters efficiency. As an emerging technology, parallel communication technology constantly improves the communication performance between nodes by increasing the
6、 network interface card numbers and data transmission paths , and the message transmission among different network cards and different paths becomes parallel. Multilink overcomes the single network card fault, ensures the high availability between cluster nodes. The main contributions of the thesis
7、are summarized as follows: 1. Detailedly introduce .the mainstream communication technology. Based on analysis of the main source of communication overhead,the thesis researches well-established mainstream technology, such as building a new type of network、designing simplified communication protocol
8、、 achieving user-level communication 、 reducing memory copies and enhancing network interface , and put forward the huge advantages of parallel communication by comparing it with others. 2. Deeply study the parallel communication technology. Based on introduction of the advantages of the parallel co
9、mmunication technology, the thesis comparatively analyzes the current parallel communication algorithms, and gets the advantages and disadvantages of each method and its applied range ,and analyze the critical problem of communication technology, to provide research support for the parallel communic
10、ation system design . 3. Parallel communication system design. The key to realize parallel communication is putting forward the methods to resolve the problems brought about by the introduction of Parallel communication, such as data synchronization、messages order preserving the size of data piece.
11、4. Complete the performance testing of parallel communications. Point-to-point communication performance is one of the key indicators to evaluate the performance of a communication system, the thesis tests Point-to-point communication performance by processes relaying, tests Point-to-point communica
12、tion through the analysis of the algorithm of computing pi. KEY WORDS:Cluster system,Cluster communication system,LogP,LogGP,point-to-point communication,Polymerization communications,Parallel Communication 河北工业大学硕士学位论文 1第一章 绪论 第一章 绪论 1-1 课题的研究背景及意义 1-1 课题的研究背景及意义 近年来，随着计算机应用的不断深入，用户对计算性能的要求也越来越高，特别
13、是一大批有巨大挑 战意义的科学和工程计算领域，如气象预报、流场计算、石油物探和核物理等，大规模的并行计算往往 是研究成败的关键1。机群系统以其良好的可扩展性、强大的I/O能力以及非常高的性能价格比等特性在高性能计算和事务处理中的应用越来越广泛， 由工作站或PC服务器构造的可扩展、 高性能机群系统已 成为高性能计算机的主流体系结构。 硬件的快速发展使得机群中的单个结点的性能越来越高， 这就要求 机群通信系统的性能必须与结点性能相匹配，否则将成为整个机群系统的瓶颈。 并行处理是各个处理结点同时并行地处理同一应用问题的不同部分2。对于给定的应用问题，在结点数一定的条件下， 应该有以下三个方面的因素来
14、决定并行处理的速度： 一是对应用问题求解算法的优 劣；二是处理结点软硬件的速度；另外，由于应用问题的不同部分之间往往有着某种数据依赖关系。因 此，对于一个实际的并行处理系统来说，它的各个处理结点之间尚需有一种联系系统，这就是连接各处 理结点的互连网络以及建立于其上的通信软件， 它们的速度和效率， 是影响整个并行处理性能的主要因 素之一。研究机群系统的机间通信问题，以提高通信的速度和效率，对于提高整个系统的性能具有非常 重要的意义。 机间通信系统在机群系统中占据着十分重要的地位， 高效的机间通信近几年来始终是人们研究的一 个热点， 可以说高效的机间通信既是推动机群系统发展到今天的一个主要动力，
15、同时也是其继续发展的 一个重要基础。在机群系统中，尽管单个结点的性能和整个系统中所有结点的累加性能可能很高，但其 运行时所能获得的实际性能却要受到其它一些因素的制约， 其中， 机间通信的效率就是影响整个系统实 际性能的一个关键。传统机群系统的机间通信是建立在普通低速LAN和TCP/IP协议的基础上，通信性能 低下， 只适于运行串行程序和通信量不大的粗粒度并行程序。 随着高性能通信网络和通信软件的出现以 及它们在机群机间通信中的运用， 机群系统才真正成为一种较为理想的并行处理平台并得到了较大的发 展。反过来，高性能机群系统的进一步发展又对机间通信提出了更高的性能要求。从应用软件的角度来 看，细粒
16、度并行处理要求有很高的机间通信性能；而从机群自身系统软件的角度来看，实现单一系统映 象中的单一文件系统和单一内存映象等也都需要机间通信提供高性能支持。 虽然目前对机群高效机间通 信系统的研究己取得一些成果，但应用程序对计算机性能的要求总是无止境的，因此，高效的机间通信 在未来几年或者更长的时间里仍将是人们研究的一个热点。 1-2 本文研究内容与结构安排 1-2 本文研究内容与结构安排 本课题在研究机群通信开销来源的基础上， 阐述了提高通信性能的主流技术。 但是这些技术均局限 于单网卡、单通路的结点间通信，多网卡并行通信技术的引入，使得结点间通信链接有了更多了选择， 提高了通信带宽，减小了通信延迟。同时并行通信也带来了一些新的问题，解决这些问题是构建并行通 信系统的关键。 论文共分七个章节，各章节的内容安排如下： 第一章：绪论。主要针对本文的理论研究背景、研究意义等做了概述，简单介绍论文的研究内容。 第二章：并行计算与机群系统。介绍并行计算的体系结构，指出由分布存储和共享
