《高性能计算与云计算-第02讲-2014》由会员分享，可在线阅读，更多相关《高性能计算与云计算-第02讲-2014（50页珍藏版）》请在金锄头文库上搜索。
1、何克晶 华南理工大学 计算机科学与工程学院高性能计算与云计算第二讲 并行计算机体系结构（1）2PK（1）对剖宽度网络直径3PK（2）42014-4-8PK（3）5PK（4）节点用n个二进制编码两节点编号中数码不同的位数即为两节点的距离。两节点编号只有一位不同，肯定是相邻节点。并行计算机网络性能指标并行计算机网络性能指标网络直径（Network Diameter）： 网络中任何两个节 点之间的最长距离，即最大路径数maxd(P1,P2)|P1，P2为网络中任意2个节点。越小，通信效 率越高。对剖宽度（Bisection Width） ：对分网络各半所必须 移去的最少边数越大，网络越稳定，通信效
2、率越高。7静态互连网络特性比较8动态互联网络动态互联网络结点之间无固定的物理连接，而是在连接路径 的交叉点处用电子开关、路由器或仲裁器等提 供动态连接，主要包含单一总线、多层总线、交叉开关、多 级互联网络等类型。多处理机总线系统的主要问题： 包括总线仲裁、中断处理、协议转换、快速同步、高速缓存一 致性协议、分事务、总线桥和层次总线扩展等9动态互连网络动态互连网络 (2)LMIOC本地总线高速缓存CPUIFIFIF存储器总线存储器单元IFIFCPU板存储器板I/O板通信板系统总线(底板上)数据总线缓冲CCIOP数据总线网络 (以太网等)磁盘和磁带 部件打印机 或绘图仪本地外围设备 (SCSI总线
3、)MCIF缓冲10单一总线单一总线连接处理器、存储模块和I/O 设备等的一组导线和插座 ，在主设备（处理器）和从设备（存储器）之间传递 数据。三个特征：公用总线以分时工作为基础，各处理器模块分时共享总线带 宽，即在同一个时钟周期，至多只有一个设备能占有总线；总线带宽=总线主频*总线宽度，例如假设主板的总线频率 为150MHz，总线宽度为64 位，则该总线的带宽为 1.2GB/s；采用公平的监听协议与仲裁算法，以确定在某个时刻选择 哪个设备占有总线。11交叉开关交叉开关（Crossbar）所有结点通过交叉开关阵列相互连接，每个交叉开关 均为其中两个结点之间提供一条专用连接通路，同时 ，任意两个结
4、点之间也能找到一个交叉开关，在它们 之间建立专用连接通路。三个特征： 结点之间的连接：交叉开关一般构成N x N 阵列，但在每一 行和每一列同时只能有一个交叉点开关处于“开”状态，从 而它同时只能接通N 对结点。一般地，结点和存储器模块作为连接的对象，分别分布在 拓扑结构的两侧。结构为N x N 的交叉开关只能提供2 x N 个端口，这限制了 它在大规模并行机中的应用。交叉开关一般仅适合数个处 理器的情形，或者，在结点内部为处理器和存储器之间提 供快速高效的通道12交叉交叉开关开关（2）单级交换网络，可为每个端口提供更高的带宽。交叉开关一般有两种使用方式：电话交换机一样，交叉点开关可由程序控制
5、动态设置其处于“开” 或“关”状态，而能提供所有（源、目的）对之间的动态连接。一种是用于对称的多处理机或多计算机机群中的处理器间的通信；另一种是用于SMP服务器或向量超级计算机中处理器和存储器之间 的存取。13交叉开关交叉开关（3）单级交叉开关级联起来形成多级互连网络MIN （Multistage Interconnection Network）0 10 10 10 10 10 10 10 1(a)4种可能的开关连接000 001010 011100 101110 111输入 000 001010 011100 101110 111输出第0级第1级第2级(b)一种8输入的Omega网络级间互连
6、（Interstage Connection ）：均匀洗牌、蝶网、多路均匀洗牌、交叉开关、立方连接。n输入的网络需要级开关，在Ilinois大学的Cedar2 多处理机系统中采用了网络。Cray Y/MP多级网络，该网络用来支持8个向量处理器和256个 存储器模块之间的数据传输。网络能够避免8个处理器同时进 行存储器存取时的冲突。交叉开关交叉开关（4）交换开关模块： 一个交换开关模块有n个输入和n个输出，每个输入可连接到任 意输出端口，但只允许一对一或一对多的映射，不允许多对一 的映射，因为这将发生输出冲突。n2log2214动态互连网络比较动态互连网络比较n,节点规模w，数据宽度动态互连网络
7、的复杂度和带宽性能一览表动态互连网络的复杂度和带宽性能一览表网络特性网络特性总线系统总线系统多级互连网络多级互连网络交叉开关交叉开关硬件复杂度硬件复杂度每个处理器带宽每个处理器带宽报道的聚集带宽报道的聚集带宽SunFire服务器中服务器中 的的Gigaplane总线：总线： 2.67GB/sIBM SP2中的中的512 节点的节点的HPS： 10.24GB/sDigital的千兆开的千兆开 关：关：3.4GB/s)(wnO+)log(wnnOk)(2wnO)/(nwfO)(wfO)(wfO)(wfO15标准互联网络（标准互联网络（1）Myrinet: 由Myricom公司设计的千兆位包交换网络
8、，其目的是为了构筑 计算机机群，使系统互连成为一种商业产品。 基于加州理工学院开发的多计算机和VLSI技术以及在南加州大 学开发的ATOMIC/LAN技术。Myrinet能假设任意拓扑结构， 不必限定为开关网孔或任何规则的结构。 在数据链路层具有可变长的包格式，对每条链路施行流控制和 错误控制，并使用切通选路法以及定制的可编程的主机接口。 在物理层上，Myrinet网使用全双工SAN链路，最长可达3米， 峰值速率为（1.281.28）Gbps（目前有2.56+2.56) Myrinet交换开关 :8,12,16端口 Myrinet主机接口 : 32位的称作LANai芯片的用户定制的VLSI处
9、理器，它带有Myrinet接口、包接口、DMA引擎和快速静态随 机存取存储器SRAM。 140 of the November 2002 TOP500 use Myrinet, including 15 of the top 100 1617Myrinet连接的连接的LAN/Cluster交换开关交换开关交换开关交换开关桌面主机机箱内多计算机机群多处理机机群网络RAM和VME 单板磁盘标准互连网络（标准互连网络（2)高性能并行接口（HiPPI）Los Alamos国家实验室于1987年提出的一个标准，其目的是 试图统一来自不同产商生产的所有大型机和超级计算机的接口 。在大型机和超级计算机工业界
10、，HiPPI作为短距离的系统到 系统以及系统到外设连接的高速I/O通道。1993年，ANSI X3T9.3委员会认可了HiPPI标准，它覆盖了物 理和数据链路层，但在这两层之上的任何规定却取决于用户。HiPPI是个单工的点到点的数据传输接口，其速率可达 800Mbps到1.6Gbps。开发成功了一种能提供潜在的6.4Gbps速率，比HiPPI快8倍且 有很低时延的超级HiPPI技术，SGI公司和Los Alamos国家实验室都开发了用来构筑速率高达 25.6Gbps的HiPPI交换开关的HiPPI技术。HiPPI通道和HiPPI交换开关被用在SGI Power Challenge服务 器、IB
11、M 390主机、Cray Y/MP、C90和T3D/T3E等系统。1819使用使用HiPPI通道和开关构筑的通道和开关构筑的LAN主干网主干网20标准互连网络（标准互连网络（3）光纤通道FC（Fiber Channel） : 通道和网络标准的集成 光纤通道既可以是共享介质，也可以是一种交换技术 光纤通道操作速度范围可从100到133、200、400和800Mbps 。FCSI厂商也正在推出未来具有更高速度（1、2或4Gbps） 的光纤通道 光纤通道的价值已被现在的某些千兆位局域网所证实，这些局 域网就是基于光纤通道技术的 连网拓扑结构的灵活性是光纤通道的主要财富，它支持点到点 、仲裁环及交换光
12、纤连接 FDDI : 光纤分布式数据接口FDDI（Fiber Distributed Data Interface） FDDI采用双向光纤令牌环可提供100-200Mbps数据传输速率 FDDI具有互连大量设备的能力 传统的FDDI仅以异步方式操作21标准互联网络（标准互联网络（4）ATM（Asynchronous Transfer Mode）:由成立于1991年的ATM论坛和ITU标准定义。ATM是一种独立于介质的消息传输协议，它将消息段 变成更短的固定长度为53字节的报元进行传输。这种技术是基于报元交换机制。ATM的目的是将实时 和突发数据的传输合并成单一的网络技术。ATM网络支持从25到
13、51、155和622Mbps不同的速率 ，其速率越低ATM交换器和使用的链路价格越低。标准互连网络（标准互连网络（5）代别代别 类型类型以太网以太网 1010BaseTBaseT快速以太网快速以太网 100100BaseTBaseT千兆位以太网千兆位以太网 1 1GBGB引入年代引入年代198219821994199419971997速度（带宽）速度（带宽）1010Mb/sMb/s100100Mb/sMb/s1 1Gb/sGb/s最最 大大 距距 离离UTRUTR（非屏蔽双扭对）非屏蔽双扭对）100100m m100100m m2525100100m mSTPSTP（屏蔽双扭对）屏蔽双扭对）
14、同轴电缆同轴电缆500500m m100100m m2525100100m m多模光纤多模光纤2 2KmKm412412m m（半双工）半双工） 2 2KmKm（全双工）全双工）500500m m单模光纤单模光纤2525KmKm2020KmKm3 3KmKm主要应用领域主要应用领域文件共享，文件共享， 打印机共享打印机共享COWCOW计算，计算， C/SC/S结构，结构， 大型数据库存取等大型数据库存取等大型图像文件，大型图像文件， 多媒体，多媒体， 因特网，因特网， 内部网，内部网， 数据仓库等数据仓库等2223空间并行计算的分类空间并行计算的分类指令流/数据流分类法，即费林-Flynn分类
15、法。节点机耦合程度分类法。24空间并行计算的分类（费林空间并行计算的分类（费林-Flynn）25SIMD vs MIMDSIMD 计 算 机 系 统 结 构MIMD 计 算 机 系 统 结 构SIMDMIMD控制器一个多个处理器多个多个存储部件多个多个连接网络有有区别1: SIMD的各个处理器同步运行，即分别 在来自存储器的不同数据流上并行执行 相同的指令流，也就是说有一个指令流 和多个数据流。 MIMD的各个处理器异步运行，即在各 自的数据流上执行自己的指令流，也 就是说有多个指令流和多个数据流。区别2:SIMD的各个处理器同步使用连接网 络，而MIMD的异步使用连接网络。26耦合程度分类法
16、耦合程度分类法并行机的基本特征是多个节点机，各节点机通 过互联网络耦合。根据耦合的紧密程度可分为紧耦合和松耦合。耦合程度的紧密性由系统的存储器类型决定。27耦合程度分类法耦合程度分类法SIMD 紧 耦 合 系 统SIMD 松 耦 合 系 统28耦合程度分类法耦合程度分类法MIMD 紧 耦 合 系 统MIMD 松 耦 合 系 统29耦合程度分类法耦合程度分类法紧耦合：具有共享存储器。每个节点机通过互 联网络与共享存储 器连接。每个节点机离开共 享存储器都不能工 作。 运行过程中，各节 点机和共享存储器 间通信频繁。松耦合：各节点机有自己的 局部存储器。 指令和大部分数据 都可以在本地处理 机内访问到。各个节点机具有相 对的独立性只有少数共享数据 需在节点机间通过 通信方式交换，大 大减少通讯量。30耦合程度分类法耦合程度分类法紧耦合：优点：具有共享存 储器，编程方便， 容易推广使用。缺点：存在内存争 用现象和通信瓶颈 ；可扩展性差，硬 件结构在出厂时已 定型。松耦合
