《有限区域模式mm5并行计算》由会员分享，可在线阅读，更多相关《有限区域模式mm5并行计算（4页珍藏版）》请在金锄头文库上搜索。
1、有限区域模式有限区域模式 MM5 并行计算 并行计算 朱小谦 张卫民 宋君强 （国防科技大学计算机学院 长沙 410073） 摘 要 摘 要 有限区域模式 MM5 是目前应用最广泛的中尺度数值天气预报模式之一。 它的并行 计算研究对基于多重网格的有限差分格点模式的并行化实现具有普遍意义。本文分析了 MM5 并行计算的特点，对其数据划分、通信、优化等做了深入研究，最后给出了 MM5 模 式在国产银河巨型计算机上的测试数据，并分析了结果。 关键词 关键词 天气预报 ；并行计算；MM5 模式 1 引言 引言 随着大气科学理论的不断研究和高性能计算技术的发展， 数值天气预报技术已经成为现 代天气预报业
2、务的有效手段。数值天气预报具有客观、定量的特点，数值预报模式对各种尺 度天气的动力、 热力等物理特性的描述能反映大气内部结构的变化。 随着数值预报水平的不 断提高，中尺度数值天气预报在业务预报中占有越来越重要的地位。 有限区域模式 MM5 是目前气象领域应用最广泛的中尺度预报模式之一， 在我国已经建 成的有限区域数值天气预报业务系统中，上海区域预报中心、沈阳区域预报中心、北京市气 象局和天津气象局等均采用该模式作为业务模式。MM5 模式水平分辨率可达到 5 公里，垂 直分辨率可达 40 层，网格嵌套层数最多可达 10 层 1。业务上使用的 MM5 模式分辨率高， 计算规模巨大， 为了满足天气预
3、报精度的不断提高和时效性要求， 必须借助于高性能巨型计 算机，采用分布式并行计算实现。 MM5 模式是双向嵌套有限差分格点模式，其并行计算涉及到母域和嵌套域，数据依赖 关系复杂， 计算量大， 对其并行算法的研究对解决基于多重网格的有限差分格式模式的并行 计算具有一般的意义。MM5 模式并行程序设计是基于 RSL 库实现的，RSL 库是基于 MPI 消息传递标准的应用程序接口2。RSL 库底层调用 MPI 函数，封装了 MPI 的点点通信、 用户自定义数据、全局通信、通信器和组操作、进程拓扑等功能，尤其是针对有限差分格点 模式并行计算，提供了许多关于数据划分、数据通信的高层接口，为解决此类问题并
4、行程序 设计提供了极大的方便。 2 算法描述 算法描述 MM5 中尺度数值天气预报模式是建立在多重嵌套网格上的格点差分模式。垂直方向采 用坐标，水平方向采用 Arakawa B型跳点坐标，垂直分辨率和水平分辨率可以根据具体 应用进行调整。 其计算域按照模式预报的不同要求和分辨率分成母域和嵌套域 （母域和嵌套 域的网格距分辨率之比为 1：3） ，嵌套层数可以达到九层。MM5 模式计算涉及母域(粗网格 层)和嵌套域 (细网格层)两个计算区域，数据关系复杂，计算量大。MM5 有限区域差分模式 的所有物理量的计算都是在网格空间上进行的。 每一个物理量的模式积分在每个水平经纬网 格点上是相互耦合的， 但
5、在垂直层上无数据相关性。 母域和嵌套域之间在一个时间积分步开 始和结束时重叠相关部分存在数据交换2（母域 1 个网格对应嵌套域 9 个网格，如图 1） 。 1 3 数据划分 数据划分 基于前面的数据相关性分析，MM5 模式采用水平二维数据划分实现分布式并行计算。 数据划分的基本思想是：一、将处理机划分为N yx NN 的逻辑网格单元，分别对母域 和嵌套域的计算网格点进行经向（X方向）和纬向（Y方向）二维剖分，将各个网格层 （粗网格层和各细网格层） 上的计算划分为 Y N X N个逻辑计算单元， 分布到各处理机上 进行；二、采用 RSL 库特殊的数据结构，计算出每个逻辑计算单元之间存在数据相关性
6、的 网格点，实现网格层内部及粗/细网格层之间的通信。 母域网格点 嵌套域网格点 图 1 重叠区域数据交换 图 2 不规则数据划分 通常的数据划分策略是将处理机数分解为N yx NNN=， 将计算域分解为个 面积尽量相等的规则区域。这种方法简单直观，使用比较普遍。但是当处理机数与计算网格 点数不能很好匹配时， 会导致分布到各个处理机上的网格点数相差较大， 造成计算负载不平 衡。当处理机数较多，而整个计算域较小的情况下，导致的负载不平衡情况会更严重。 yx PP MM5 模式采用一种基于不规则区域的数据划分策略，使用该方法能够基本保证负载平 衡。一般情况下，采用不规则区域数据划分方法，分布到各个处
7、理机上的网格点数相差不超 过 2。图 2 所示为 4 处理机采用 22 二维数据划分网格（网格分辨率为 1217） 。 4 数据通信 数据通信 从 MM5 模式的计算流程可以看到， 并行计算的数据通信主要包括域内通信和域间通信 两种。 嵌套域 母域 嵌套域 母域 图 3 域内通信 图 4 域间通信 域内通信是指计算域（母域或者嵌套域）内部由于数据划分，使计算分布在各个处理结 2 点上进行，相邻计算子域之间需要调用 RSL 库显式地通过消息传递来进行数据的通信。这 种数据通信是显然的，而且在许多差分格式并行计算中都存在（如图 3） 。 域间通信是指母域和嵌套域之间重叠区域由于“动力”和“反馈”的
8、相互作用而进行的 数据交换，这种数据交换体现了 MM5 模式做为双向嵌套中尺度模式的特点（如图 4） 。域间 通信由于是分布在各个处理结点上的母域的逻辑计算子域和嵌套域的逻辑计算子域之间的 数据通信而变得十分复杂，RSL 库的底层大量工作也正在于此。 5 优化策略 优化策略 设计合理的数据通信模式和通信数据结构可以大量减少通信次数、通信量和系统开销， 可以提高程序的可读性， 方便通信与计算重叠3。 MM5 定义了三种数据结构： domain、 stencil 和 message，分别表示网格层、通信层和消息。将需要同时发送的消息打包成 message，同 一差分格式的 message 构成 s
9、tencil，一个 domain 可以有多个 stencil。在需要进行数据通信 时一次性发送 message，减少了通信次数和通信延迟时间。 MM5 模式对某一个预报变量的计算通常采用先准备数据，后计算的模式对所有变量进 行一次运算。在准备数据阶段，通过调用 RSL 库函数，采用阻塞的消息发送/接收方式同相 邻计算子域（分布在相关的其它处理机上）进行数据通信，然后在整个本地逻辑子域上进行 计算。事实上，需要进行数据通信的网格点仅仅是逻辑子域的边界点，内部网格点不需要进 行数据交换。 所以可以设计成如图 5 所示的计算流程， 将边界点的数据通信和内部点的计算 在时间上重叠。 消息传递 变量 x
10、 的子域内点计算 计算边界 计算边界 图 5 优化的模式变量计算流程 变量 x 的子域内点计算 启动边界交换 启动边界交换 进程进程 6 测试结果与结论 测试结果与结论 由于数值天气预报业务有很强的实时性要求， 所以 MM5 有限区域模式高效并行计算是 非常重要的。 我们在国产银河高性能巨型机上运行某气象业务部门的 MM5 中尺度数值天气 预报系统，其测试数据如表 1 所示。 表 1 MM5 在银河巨型计算机上的并行效率 处理机数目 并行计算效率 加速比 1 100 1 2 96 1.93 4 88 3.52 8 85 6.81 16 81 12.96 从上表实验数据可以看出基于 MPI 消息
11、传递的 MM5 有限区域模式分布式并行计算是 3 可行的，其时效性也满足气象业务预报的要求。 参考文献参考文献 1 PSU/NCAR Mesoscale Modeling System Tutorial Class Notes and Users Guild：MM5 Modeling System Version 3，National Center for Atmospheric Research，January 2002 2 John Michalaks，A Runtime System Library for Parallel Finite Difference Models with Nesting，Argonne National Lab. Mathmatics and Computer Science Division ，ANL/MCS TM-197，1995 3 莫则尧、刘兴平、廖振民，应用程序并行与优化关键技术研究，第六届全国并行计算学 术会议论文集，P192200，2000 年 4
