《黑龙江移动GPFS技术方案》由会员分享，可在线阅读，更多相关《黑龙江移动GPFS技术方案（20页珍藏版）》请在金锄头文库上搜索。
1、黑龙江移动经分数据库GPFS技术方案建议书黑龙江移动经分数据库GPFS技术方案建议书国际商业机器中国服务有限公司2024年02月目 录1.1系统架构介绍11.2Oracle RAC运行在裸设备上的技术架构21.3Oracle RAC 运行在GPFS上的系统架构31.3.1GPFS（General Parallel Files System）介绍41.3.2方案实施基本流程71.3.3主机间高可用性的实现91.3.4SAN网络高可用性的实现101.3.5网络高可用性的实现101.4IBM对技术方案的建议111.4.1GPFS和裸设备在接管速度上的比较111.4.2GPFS和裸设备在管理上的比较1
2、21.4.3GPFS和裸设备在性能上的比较131.4.4结论161.5GPFS上的其它重要功能161.5.1本地存储容灾功能161.5.2实现高效的文件并发访问171.5.3备份某个时间点的数据181.6成功案例18目 录1.1 系统架构介绍黑龙江移动经分数据库系统架构如下图所示。IBM DS8300 存储阵列512块146G硬盘，RAID5SANP570-1P570-22-Nodes HACMP Cluster光纤交换机光纤交换机16162台数据库服务器（IBM p570）和1台存储设备（IBM DS8300，512块146G硬盘，做成64个RAID5。其中32个是6+P+S的RAID5，有
3、效容量779G；32个是7+P的RAID5，有效容量是909G）组成集群系统，采用SAN网络存储体系结构。正常情况下ORACLE 9I RAC数据库在两台服务器上并行运行。当一台主机故障时，另外一台主机自动接管运行故障主机的资源组。在AIX平台上，Oracle RAC可以运行在并发卷组（Concurrent Volume Group）的裸设备上，也可以运行在IBM的通用并行文件系统上（GPFS，General Parallel File System）上。GPFS是和AIX操作系统一起产生的、紧密结合的、支持从多台主机对文件进行并发访问的高性能文件系统，在高性能运算领域占据着举足轻重的地位。O
4、racle RAC运行在GPFS上，和运行在裸设备上相比，具有更快的接管速度、超强的可管理性和更好的I/O条带化性能。更快的接管速度使故障的接管时间更短，提高了系统的持续服务能力；超强的易管理性大大降低系统管理的工作量，减少人为出错的几率，增加系统的稳定性，管理简单意味着更稳定；对于容量在T级别的数据库，GPFS的条带化能够提供比裸设备更好的I/O性能；GPFS的I/O条带化原理保证无论是随着业务模式的变化，还是存储的扩容，系统性能能够一直保持在最优状态。考虑到黑龙江移动的数据库是一个海量的数据库（50T左右），对系统性能和管理都存在在巨大的挑战，GPFS的优势正好能够定位于解决这两方面的问题
5、，IBM推荐黑龙江移动的经分数据库采用GPFS架构。为更充分理解GPFS的优势，在后面的章节中，我们对两种方案的技术细节进行详细介绍。1.2 Oracle RAC运行在裸设备上的技术架构Oracle RAC运行在裸设备上的技术架构如下图所示。在当前黑龙江移动环境下，DS8300共有512块146G硬盘，做成64个RAID5。其中32个是6+P+S的RAID5，有效容量为779G；另外32个是7+P的RAID5，有效容量为909G。在使用裸设备的情况下，为存储空间使用上的有效性和灵活性，每个RAID分成若干个128G的LUN，这样总共分为378个128G的LUN，在AIX 5.3操作系统中对应3
6、78个vpath。在378个vpath上，创建40个卷组（并发卷组和普通卷组），在卷组上再创建逻辑卷（Logical Volume），在逻辑卷上创建文件系统或者直接作为裸设备来使用。ORACLE 9I RAC数据库的数据文件存放在并发卷组的裸设备上，通过HACMP来管理。可以想象，如此海量的数据，无论是数据库的物理规划，还是日常维护，对系统管理员都是非常繁重的工作，而且，即使最初花费了大量的精力进行I/O分布的规划，随着业务运行模式的不同，I/O冲突随时也可能会出现。由于 vpath数目众多、VG数目众多、LV数目众多，系统启动、HACMP的启动都需要花费大量的时间。对海量数据库，使用裸设备的
7、架构是令人苦恼的。LUN1aLUN2aDS8300hdisk1bLogical Volume Device Drivedatavg(并发卷组)lv1lv2lv3Raw Dev Raw Dev Raw Dev Oracle RAC 数据库应用程序File System fsvg1LVDD数据文件数据文件HACMP Daemonp570-1 AIX 5.3应 用 层逻 辑卷管理器层物 理 层hdisk1bhdisk1aLogical Volume Device Drivedatavg(并发卷组)lv1lv2lv3Raw Dev Raw Dev Raw Dev Oracle RAC 数据库应用程序F
8、ile System fsvg2LVDD数据文件数据文件HACMP Daemonp570-2AIX 5.3网络交换机-1网络交换机-2p5701_svcp5701_stbp5702_svcp5702_stbOracle InterconnectionEtherChannelOracle InterconnectionEtherChannel图一 Oracle RAC on Raw Device系统逻辑架构图hdisk1a1.3 Oracle RAC 运行在GPFS上的系统架构GPFS（General Parallel Files System），IBM通用并行文件系统，是和AIX操作系统一起产
9、生的、紧密结合的、支持从多台主机对文件进行并发访问的高性能文件系统，在高性能运算领域占据着举足轻重的地位。在AIX平台上，Oracle RAC的数据文件支持存放在并发卷组的裸设备中和GPFS文件系统中。Oracle RAC运行在GPFS上，和运行在裸设备上相比，具有更快的接管速度、超强的可管理性和更好的I/O条带化性能。在本方案中，IBM的群集软件HACMP负责主机间相互接管；Oracle RAC的数据文件存放在三台主机能够同时并行访问的GPFS文件系统中，使用GPFS内置的文件复制功能实现两台存储的在线热备份，当一台存储发生故障时，不影响业务的正常运行。系统逻辑架构如图二所示。1.3.1 G
10、PFS（General Parallel Files System）介绍1.3.1.1 GPFS简介LUN1aLUN2aDS8300网络交换机-1网络交换机-2p5701_svcp5701_stbp5702_svcp5702_stbOracle InterconnectionGPFS Admin LANEtherChannel图二 HACMP + Oracle RAC on GPFS 系统逻辑架构图p570-1 AIX 5.3hdisk1aNSD1ahdisk1bNSD1bp570-2AIX 5.3hdisk1aNSD1ahdisk1bNSD1bGPFS /gpfs_oraOracle RAC
11、 数据库以及应用程序数据文件HACMP DaemonHACMP DaemonGPFS 是IBM 公司第一个共享文件系统，起源于IBM SP群集系统上使用的虚拟共享磁盘技术（Virtual Shared Disk）。作为整个技术的核心，GPFS 是一个并行的磁盘文件系统，它保证在群集内的所有节点可以并行访问同一个文件系统（类似与NFS文件系统的功能）；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。GPFS允许多台主机共享文件，而这些文件可以分布在不同节点的不同硬盘上；它提供了标准的UNIX文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。GPFS也支持U
12、NIX文件系统的工具（例如tar、cp等），即用户可以像使用普通文件系统一样使用基于GPFS的文件系统，唯一不同的在于管理GPFS文件系统的命令（例如在GPFS文件系统中添加磁盘需要使用mmaddisk命令，在一个节点上执行此命令，该命令对系统所做的修改在所有节点上都能够被看到）。GPFS提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点上的并行应用同时访问同一个文件或者不同的文件。GPFS文件系统是一个成熟的并行文件系统，和AIX操作系统紧密结合，在高性能计算领域有广大的客户群。Oracle RAC版本支持GPFS文件系统，在国内外也有众多的用户。一个比较典型的例子是，使用Or
13、acle RAC的SAP系统只支持在GPFS上运行。1.3.1.2 GPFS术语GPFS clusterGPFS群集是指多个节点的集合，它们共享同一个或者多个并行文件系统；群集里的节点可以并发访问这些文件系统里的数据。GPFS Admin LAN用于不同节点的GPFS 守护进程之间交换控制信息的内部网络。在所有节点均能够访问SAN的环境下，GPFS文件系统的数据在SAN之间移动，而控制信息在GPFS Admin LAN上流动。Network Shared Disk (NSD)Network Shared Disk (NSD) 是GPFS的一个磁盘子系统，它提供对GPFS共享磁盘文件系统的远程管
14、理和全局命名的功能。例如，在使用DS8100磁盘阵列的AIX操作系统中，一个 vpath对应一个NSD。Failure GroupFailure Group是一个磁盘的集合，一个单点故障会引起集合内部的所有磁盘同时失效。MetadataMetadata由I-nodes和非直接块组成，包含文件大小、最后修改时间、构成文件的磁盘块分布等信息。用来组织和定位在GPFS文件系统中经过条带化后的用户数据。QuorumQuorum是保障GPFS资源可用和完整性的机制。在一个GPFS系统中，如果半数以上节点上的GPFS守护进程正常工作，此机制就被激活。GPFS文件系统就处于可用状态。1.3.1.3 GPFS
15、特点更好的系统性能 一个GPFS文件系统可以横跨在群集内的所有主机上，分布在所有磁盘上。GPFS文件系统在读写文件时采用条带化技术，将数据分成条带并行写入到该GPFS下的所有NSD中。在有高速数据通道（例如IBM High Performance Swith，网络带宽可达500MB/s）的GPFS配置下，读写文件时可以通过所有主机的光纤通道访问所有的磁盘，I/O条带化性能无可比拟。 GPFS的条带化原理保证同一个GPFS下所有磁盘的I/O负载是均衡的，没有一块磁盘会比其它磁盘更繁忙。 GPFS支持超大文件系统。GPFS2.3版本对GPFS文件系统的大小已经没有限制，IBM实验室测试过的GPFS文件系统大小为200T。而在AIX5.2中，JFS2文件系统的最大尺寸为1T。 GPFS支持对文件的并发访问。它允许任何节点上的并行应用同时访问同一个文件或者不同的文件。准确的
