《并行计算：第一章 并行计算与并行机结构模型》由会员分享，可在线阅读，更多相关《并行计算：第一章 并行计算与并行机结构模型（35页珍藏版）》请在金锄头文库上搜索。
1、并行计算 Parallel Computing 主讲人 徐 云 Spring, 2014Spring, 2014 国家高性能计算中心（合肥） 2 并行计算结构算法编程 ? ? 第一篇第一篇 并行计算的基础并行计算的基础 ? ? 第一章第一章 并行计算与并行计算机结构模型并行计算与并行计算机结构模型 ? ? 第二章第二章 并行计算机系统互连与基本通信操作并行计算机系统互连与基本通信操作 ? ? 第三章第三章 典型并行计算机系统介绍典型并行计算机系统介绍 ? ? 第四章第四章 并行计算性能评测并行计算性能评测 国家高性能计算中心（合肥） 3 第一章并行计算及并行机结构模型 ? ? 1.1 1.1
2、计算与计算机科学计算与计算机科学 ? ? 1.2* 1.2* 单处理机与指令级并行单处理机与指令级并行 ? ? 1.3* 1.3* 多核处理器与线程级并行多核处理器与线程级并行 ? ? 1. 1.4 4 并行计算机体系结构并行计算机体系结构 ? ? 1.4.1 1.4.1 并行计算机结构模型并行计算机结构模型 ? ? 1. 1.4.2 4.2 并行计算机访存模型并行计算机访存模型 ? ? 1.4.3 Intel1.4.3 Intel和和AMDAMD多核多核CPUCPU架构架构 国家高性能计算中心（合肥） 4 并行计算、计算科学、计算需求 ? ? 并行计算：并行机上所作的计算，又称高性能并行计算
3、：并行机上所作的计算，又称高性能 计算或超级计算。计算或超级计算。 ? ? 计算科学：计算物理、计算化学、计算生物等。计算科学：计算物理、计算化学、计算生物等。 ? ? 计算是科学发现的三大支柱之一。计算是科学发现的三大支柱之一。 ? ? 科学与工程问题的需求：气象预报、油藏模拟、科学与工程问题的需求：气象预报、油藏模拟、 核武器数值模拟、航天器设计、基因测序等。核武器数值模拟、航天器设计、基因测序等。 ? ? 需求类型：计算密集、数据密集、网络密集。需求类型：计算密集、数据密集、网络密集。 ? ? 美国美国ASCIASCI计划计划(1996)(1996)：核武器数值模拟。：核武器数值模拟。
4、国家高性能计算中心（合肥） 5 第一章并行计算及并行机结构模型 ? ? 1.1 1.1 计算与计算机科学计算与计算机科学 ? ? 1.2* 1.2* 单处理机与指令级并行单处理机与指令级并行 ? ? 1.3* 1.3* 多核处理器与线程级并行多核处理器与线程级并行 ? ? 1. 1.4 4 并行计算机体系结构并行计算机体系结构 ? ? 1.4.1 1.4.1 并行计算机结构模型并行计算机结构模型 ? ? 1. 1.4.2 4.2 并行计算机访存模型并行计算机访存模型 ? ? 1.4.3 Intel1.4.3 Intel和和AMDAMD多核多核CPUCPU架构架构 国家高性能计算中心（合肥） 6
5、 并行计算机结构模型（1） P/C LM NIC 定制网络 (c)MPP P/C LM NIC MBMB VP SM 交叉开关 (a)PVP VPVP SMSM P/C SMSMI/O 总线或交叉开关 (b)SMP P/CP/C P/C LM NIC DIR MB 定制网络 (d)DSM P/C LM NIC DIR MB LD P/C M MB IOB (e)COW LD P/C M MB IOB 商品网络(以太网，ATM，etc.) Bridge NICNIC Bridge 国家高性能计算中心（合肥） 7 并行计算机结构模型（2） SMPMPPMPP WAN LMDSMSM (h) Gri
6、d (Cluster of Clusters) SMPSMPSMP SAN/LAN SMSMSM MPPMPPMPP SAN/LAN DSMDSMDSM (f) SMP-Cluster(g) DSM-Cluster 国家高性能计算中心（合肥） 8 并行计算机结构模型（3） SISD computer -Von Neumanns model SIMD computer 国家高性能计算中心（合肥） 9 并行计算机结构模型（4） Symmetric multiprocessor MIMD-SM Massively parallel processor MIMD-DM 国家高性能计算中心（合肥） 10
7、 并行计算机结构模型（5） Cluster of workstations MIMD-DM 国家高性能计算中心（合肥） 11 并行计算机体系合一结构 ? ? SMPSMP、MPPMPP、DSMDSM和和COWCOW并行结构渐趋一致。并行结构渐趋一致。 ? ? 大量的节点通过高速网络互连起来大量的节点通过高速网络互连起来 ? ? 节点遵循节点遵循ShellShell结构：用专门定制的结构：用专门定制的ShellShell电路将商用微处理器电路将商用微处理器 和节点的其它部分（包括板级和节点的其它部分（包括板级CacheCache、局存、局存、NICNIC和和DISKDISK） 连接起来。优点是连
8、接起来。优点是CPUCPU升级只需要更换升级只需要更换ShellShell。 C P NIC (a)无 共 享 NIC 互 连 网 络 M D 节 点N 节 点1 Shell 共 享 磁 盘 C P NIC (b)共 享 磁 盘 NIC M 互 连 网 络 节 点N 节 点1 Shell C P 互 连 网 络 共 享 存 储 器共 享 磁 盘 (c)共 享 存 储 C P ShellShell 国家高性能计算中心（合肥） 12 五种结构特性一览表 属性PVPSMPMPPDSMCOW 结构类型MIMDMIMDMIMDMIMDMIMD 处理器类型专用定制商用商用商用商用 互连网络定制交叉开关总线
9、、交叉开 关 定制网络定制网络商用网络（以 太ATM） 通信机制共享变量共享变量消息传递共享变量消息传递 地址空间单地址空间单地址空间多地址空间单地址空间多地址空间 系统存储器集中共享集中共享分布非共享分布共享分布非共享 访存模型UMAUMANORMANUMANORMA 代表机器 Cray C- 90， Cray T-90， 银河1号 IBM R50， SGI Power Challenge， 曙光1号 Intel Paragon， IBMSP2，曙 光1000/2000 Stanford DASH，Cray T 3D Berkeley NOW，Alpha Farm 国家高性能计算中心（合肥）
10、 13 并行计算机访存模型（1） P1P2Pn I/OSM1 SMm 共享存储器 处理器 （） 系统互连 总线 交叉开关多级,网络 ? ? UMAUMA（Uniform Memory AccessUniform Memory Access）模型是均匀存储访问模型是均匀存储访问 模型的简称。其特点是：模型的简称。其特点是： ? ? 物理存储器被所有处理器均匀共享；物理存储器被所有处理器均匀共享； ? ? 所有处理器访问任何存储字取相同的时间；所有处理器访问任何存储字取相同的时间； ? ? 每台处理器可带私有高速缓存；每台处理器可带私有高速缓存； ? ? 外围设备也可以一定形式共享。外围设备也可以
11、一定形式共享。 国家高性能计算中心（合肥） 14 并行计算机访存模型（2） ? ? NUMA(Nonuniform Memory Access)NUMA(Nonuniform Memory Access)模型是模型是非均匀存储非均匀存储非均匀存储非均匀存储 访问访问访问访问模型的简称。特点是：模型的简称。特点是： ? ? 被共享的存储器在物理上是分布在所有的处理器中的，其所有被共享的存储器在物理上是分布在所有的处理器中的，其所有 本地存储器的集合就组成了全局地址空间；本地存储器的集合就组成了全局地址空间； ? ? 处理器访问存储器的时间是不一样的；访问本地存储器处理器访问存储器的时间是不一样的
12、；访问本地存储器LMLM或或 群内共享存储器群内共享存储器CSMCSM较快，而访问外地的存储器或全局共享存较快，而访问外地的存储器或全局共享存 储器储器GSMGSM较慢较慢( (此即非均匀存储访问名称的由来此即非均匀存储访问名称的由来) )； ? ? 每台处理器照例可带私有高速缓存，外设也可以某种形式共享。每台处理器照例可带私有高速缓存，外设也可以某种形式共享。 LM1P1 LM2P2 LMnPn 互 连 网 络 (a)共享本地存储模型 全局互连网络 (b)层次式机群模型 GSMGSMGSM P C I N CSM P P CSM CSM 群1 P C I N CSM 群N P P CSM C
13、SM 国家高性能计算中心（合肥） 15 并行计算机访存模型（3） ? ? COMA(CacheCOMA(Cache- -Only Memory Access)Only Memory Access)模型是模型是全高速缓存全高速缓存全高速缓存全高速缓存 存储访问存储访问存储访问存储访问的简称。其特点是：的简称。其特点是： ? ? 各处理器节点中没有存储层次结构，全部高速缓存组成了全局各处理器节点中没有存储层次结构，全部高速缓存组成了全局 地址空间；地址空间； ? ? 利用分布的高速缓存目录利用分布的高速缓存目录D D进行远程高速缓存的访问进行远程高速缓存的访问; ; ? ? COMACOMA中的高
14、速缓存容量一般都大于中的高速缓存容量一般都大于2 2 级高速缓存容量；级高速缓存容量； ? ? 使用使用COMACOMA时，数据开始时可任意分配，因为在运行时它最终时，数据开始时可任意分配，因为在运行时它最终 会被迁移到要用到它们的地方。会被迁移到要用到它们的地方。 互 连 网 络 D C P D C P D C P 国家高性能计算中心（合肥） 16 并行计算机访存模型（4） ? ? CCCC- -NUMANUMA（CoherentCoherent- -Cache Nonuniform Memory Cache Nonuniform Memory AccessAccess）模型是模型是高速缓存
15、一致性非均匀存储访问高速缓存一致性非均匀存储访问高速缓存一致性非均匀存储访问高速缓存一致性非均匀存储访问模型的模型的 简称。其特点是：简称。其特点是： ? ? 大多数使用基于目录的高速缓存一致性协议；大多数使用基于目录的高速缓存一致性协议； ? ? 保留保留SMPSMP结构易于编程的优点，也改善常规结构易于编程的优点，也改善常规SMPSMP的可扩放性；的可扩放性； ? ? CCCC- -NUMANUMA实际上是一个分布共享存储的实际上是一个分布共享存储的DSMDSM多处理机系统多处理机系统； ? ? 它最显著的优点是程序员无需明确地在节点上分配数据，系统它最显著的优点是程序员无需明确地在节点上
16、分配数据，系统 的硬件和软件开始时自动在各节点分配数据，在运行期间，高的硬件和软件开始时自动在各节点分配数据，在运行期间，高 速缓存一致性硬件会自动地将数据迁移至要用到它的地方。速缓存一致性硬件会自动地将数据迁移至要用到它的地方。 I/ONIC,DIR,RC 系统互连网路 MemP/CP/C I/ONIC,DIR,RC MemP/CP/C 节点N节点1 总线或交叉开关总线或交叉 开关 国家高性能计算中心（合肥） 17 并行计算机访存模型（5） 消息传递互连网络 (网络，环网，超立方， 立方环等) PM PM MP MP M P M P M P P M P M P M . . . . ? ? NORMANORMA（NoNo- -Remote Memory AccessRemote Memory Access）模型是模型是非远程非远程非远程非远程 存储访问存储访问存储访问存储访问模型的简称。模型的简称。NORMANORMA的特点是：的特点是： ? ? 所有
