sg并行计算简介.ppt

《sg并行计算简介.ppt》由会员分享，可在线阅读，更多相关《sg并行计算简介.ppt（149页珍藏版）》请在金锄头文库上搜索。

1、2004年4月,1/149,并行计算简介 高性能事业部：曹振南 2004.4,2004年4月,2/149,讲座主要内容提示,并行计算简介 编译环境 数学库 并行计算机体系结构 并行软件环境 并行计算机性能评测 MPI 、PVM、OpenMP,2004年4月,3/149,并行计算-高性能计算,并行计算(Parallel Computing） 高端计算(High-end Parallel Computing) 高性能计算(High Performance Computing) 超级计算(Super Computing) 任何高性能计算和超级计算都离不开使用并行技术 计算科学与传统的两种科学，即

2、理论科学和实验科学，并立被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。,2004年4月,4/149,并行:古老的思想!,“.并行计算并不是什么新的思想,只是将它扩展应用于计算机而已”. 作者也不认为这种扩展应用会存在什么无法克服的困难. 但也不要期待有效的并行编程方法与技术能够在一夜之间诞生. 期间还需要有许多的工作和实验要做. 毕竟, 今天的编程技术(串行)是若干年来艰苦的探索才取得的. 现在编程工作似乎成了一种令人单调乏味的工作,事实上,并行编

3、程的出现将会使重新恢复编程工作者们的探索精神 .” (Gill, S. (1958), “Parallel Programming” The Computer Journal, vol. 1, April, pp. 2-10.),Parallel Programming with MPI by Peter Pacheco(2000),2004年4月,5/149,什么是并行计算?,并行计算: 由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法 例: 在曙光2000上用8个节点计算的Mandelbrot集结果(Mandelbrot为分形理论创始人),2004年4月,6/149,现

4、代计算机的共同特点： 并行性,2004年4月,7/149,现代计算机的共同特点： 并行性,2004年4月,8/149,为什么要做并行计算？ 应用需求,2004年4月,9/149,为什么要做并行计算？,人类对计算及性能的要求是无止境的 从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求 从应用的角度：适当分解应用，以实现更大规模或更细致的计算,2004年4月,10/149,为什么要做并行计算？,问题: 科学和工程问题的数值模拟与仿真 计算密集 数据密集 网络密集 三种混合 要求:在合理的时限内完成计算任务 秒级 制造业 分钟级 短时天气预报(当天) 小时级 中期天气预报(310日)

5、尽可能快 长期天气预报(气候) 可计算 湍流模拟,2004年4月,11/149,2004年4月,12/149,并行计算的功能,降低单个问题求解的时间 增加问题求解规模、提高问题求解精度 (多机同时执行多个串行程序)容错、更高的可用性、提高吞吐率,2004年4月,13/149,如何实现并行计算?,分而治之!,2004年4月,14/149,分而治之,并行化的主要方法:分而治之 根据问题的求解过程，把任务分成若干子任务(任务级并行或功能并行) 根据处理数据的方式，形成多个相对独立的数据区，由不同的处理器分别处理(数据并行),2004年4月,15/149,讲座主要内容提示,并行计算简介 编译环境 常用

6、编译器 编译优化 如何编译 数学库 并行计算机体系结构 并行软件环境 并行计算机性能评测 MPI 、PVM、OpenMP,2004年4月,16/149,GNU Compiler,GNU Compiler 自由软件，一般操作系统都自带 支持C/C+、Fortran77、Java、COBAL等等许多语言 支持大部分硬件平台 高性能计算中常用的： C/C+：GCC (GNU C/C+ Compiler) Fortran 77：G77 不支持Fortran 90/ 95 不支持OpenMP 是最常用的编译器，性能一般(相对于一些针对特定平台优化的编译器) 由于缺少对Fortran 90/ 95，限制了

7、其在高性能计算中的使用,2004年4月,17/149,PGI Compiler,PGI Compiler 由Portland公司开发的编译器 支持AMD Opteron/Althon处理器、Intel Xeon处理器等，在Opteron上同时支持32-bit和64-bit() 支持Linux、Windows 支持C/C+（pgcc）、Fortran77(pgf77)、Fortran90/95（pgf90)、HPF（High Performance Fortran） 支持多线程和OpenMP 最新版本：5.1 需要购买，但可以从网上得到15天试用版本 http:/,2004年4月,18/149,

8、Intel Compiler,Intel Compiler 由Intel公司针对Intel处理器开发（Xeon、Pentium） 支持Linux、Windows 支持C/C+（icc：Intel C/C+ Compiler）、Fortran77/90/95（ifc： Intel Fortran Compiler) 支持多线程和OpenMP 最新版本：8.0 需要购买，但可以从网上得到30天试用版本 http:/ 优化消耗CPU资源最多的那部分，即计算密集部分 一般采用-O2、-O3 可以采用SIMD指令集，eg: Intel和AMD处理器的MMX、SSE1、SSE2 具体编译优化的选项和编译器

9、以及CPU相关，参见编译器手册 对于有些应用程序，过分的优化会导致计算结果错误,2004年4月,20/149,编译优化,在双路Intel Xeon平台上，采用SSE2优化和不采用SSE2优化，所获得的HPL性能。 在这种情况下，采用SSE2技术得到的性能高出近90,2004年4月,21/149,编译简介,在Linux系统中，可执行文件没有统一的后缀，系统从文件的属性来区分可执行文件和不可执行文件 大部分编译器通过后缀来区别输入文件的类别，下面来介绍常用的一些后缀 .c：C语言源代码文件 .f：Fortran 77语言源代码文件 .o：编译后的目标文件 .a：由目标文件构成的档案库文件 .C、.

10、cc、.cxx：C+源代码文件 .f90：Fortran 90语言源代码文件 .h：程序所包含的头文件,2004年4月,22/149,基本的用法,cc/f77/f90 options filenames 编译器名 编译参数 编译文件 其中options就是编译器所需要的参数，filenames给出相关的文件名称,2004年4月,23/149,常用编译参数,-c：只编译，不连接成为可执行文件，编译器只是由输入的.c/.f等源代码文件生成.o为后缀的目标文件，通常用于编译不包含主程序的子程序文件。 -o output_filename：确定输出文件的名称为output_filename，同时这个名

11、称不能和源文件同名。如果不给出这个选项，就给出预设的可执行文件a.out -g：产生符号调试工具所必要的符号资讯，要想对源代码进行调试，我们就必须加入这个选项。 -O：对程序进行优化编译、连接，采用这个选项，整个源代码会在编译、连接过程中进行优化处理，这样产生的可执行文件的执行效率可以提高，但是，编译、连接的速度就相应地要慢一些。 -O2、-O3、-O4：比-O更好的优化编译、连接，当然整个编译、连接过程会更慢。（具体和编译器相关）,2004年4月,24/149,常用编译参数,-Idirname：将dirname所指出的目录加入到程序头文件目录列表中，是在预编译过程中使用的参数。C程序中的头文

12、件包含两种情况： A)#include B)#include “myinc.h” 其中，A类使用尖括号()，B类使用双引号(“ ”)。对于A类，预处理程序cpp在系统预设包含文件目录(如/usr/include)中搜寻相应的文件，而对于B类，cpp在当前目录中搜寻头文件，这个选项的作用是告诉cpp，如果在当前目录中没有找到需要的文件，就到指定的dirname目录中去寻找。在程序设计中，如果我们需要的这种包含文件分别分布在不同的目录中，就需要逐个使用-I选项给出搜索路径。,2004年4月,25/149,常用编译参数,-Ldirname：将dirname所指出的目录加入到程序函数档案库文件的目录列

13、表中，是在连接过程中使用的参数。在预设状态下，连接程序ld在系统的预设路径中(如/usr/lib)寻找所需要的档案库文件，这个选项告诉连接程序，首先到-L指定的目录中去寻找，然后到系统预设路径中寻找，如果函数库存放在多个目录下，就需要依次使用这个选项，给出相应的存放目录。 -lname：在连接时，装载名字为“libname.a”的函数库，该函数库位于系统预设的目录或者由-L选项确定的目录下。例如，-lm表示连接名为“libm.a”的数学函数库。 上面我们简要介绍了编译器最常用的功能和主要参数选项，更为详尽的资料可以参看Linux系统的联机帮助。,2004年4月,26/149,GCC应用举例,1

14、.gcc hello.c 生成a.out 2. gcc o hello helo.c 生成hello 3. gcc O o hello hello.c 生成hello 4. gcc O2 o hello hello.c 生成hello 5. gcc c hello.c 生成hello.o gcc o hello hello.o 生成hello 6. gcc c hello1.c 生成hello1.o gcc c hello2.c 生成hello2.o gcc o hello hello1.o hello2.o 生成hello 7. gcc o test test1.o lm I/home/cz

15、n/include,2004年4月,27/149,Make简介,在开发大系统时，经常要将程序划分为许多模块。各个模块之间存在着各种各样的依赖关系，在Linux中通常使用 Makefile来管理 由于各个模块间不可避免存在关联，所以当一个模块改动后，其他模块也许会有所更新，当然对小系统来说，手工编译连接是没问题，但是如果是一个大系统，存在很多个模块，那么手工编译的方法就不适用了。 为此，在Linux系统中，专门提供了一个make命令来自动维护目标文件。 与手工编译和连接相比，make命令的优点在于他只更新修改过的文件，而对没修改的文件则置之不理，并且make命令不会漏掉一个需要更新的文件,200

16、4年4月,28/149,一个简单的例子,先举一个例子: a.c b.c两个程序,a.c extern void p(char *); main() p(“hello world“); ,b.c void p(char *str) printf(“%sn“,str); ,Makefile hello: a.c b.c gcc a.c b.c -o hello 注意这里是一个Tab 执行make gcc a.c b.c -o hello 产生一个叫hello的可执行程序,2004年4月,29/149,书写makefile文件,Makefile时由规则来组成的,每一条规则都有三部分组成:目标(object),依赖(