《ibm并行文件系统gpfs3.3-v0.9---copy》由会员分享，可在线阅读，更多相关《ibm并行文件系统gpfs3.3-v0.9---copy（42页珍藏版）》请在金锄头文库上搜索。
1、IBM General Parallel File System 3.3 通用并行文件系统介绍,议程,GPFS介绍 技术细节 使用场景 Benchmark数据 成功案例,IBM General Parallel File System（GPFS）,IBM GPFS是一个 可自由扩展的高性能 并行文件系，同时支持 AIX、Linux和Windows 操作系统,基于高可用的集群 架构，可灵活扩展,支持并行的共享磁盘访问 方式，提供单一命名空间,针对并行IO负载优化， 提供极高的IO处理能力,基于文件数据的基础架构优化,网络连接 SAN TCP/IP InfiniBand,管理 集中式管理 监控 自
2、动化,高可用性 多路径磁盘访问 数据备份/迁移 镜像/异地容灾,数据库,文件服务,备份/恢复,应用服务,GPFS可以实现： 不同平台之间统一的文件系统命名空间和数据共享 通用高性能存储服务 减少文件拷贝数量 提高存储系统利用率 简化文件数据管理,关于GPFS的一些事实,支持集群的规模 支持8192节点的集群系统，目前在线最大集群规模的为2440个linux节点和1530个AIX节点 很多实际安装的GPFS集群规模都在500个节点以上 实测性能指标 IO吞吐量 AIX：134+GB每秒 Linux：66GB每秒 实测最大的文件系统大小为2PB HPSS和GPFS管理7.28 PB的数据,关于GP
3、FS的一些事实,文件系统的限制 理论上支持299字节大小的文件系统 每个文件系统支持2,147,483,648（2 Billion）个文件 每个集群最多可以挂载（mount）256个文件系统 支持的操作系统 目前支持AIX/Linux/Blue Gene/Windows 即将支持Solaris 支持同一集群内部使用不同的操作系统,GPFS的优势,性能 文件存储采用条带化技术，单个文件跨节点和存储系统分布，提高并发访问性能 智能预取机制，通过对文件访问模式的预测来进行预取，降低读写延迟 分布式的块级锁管理，包括文件和目录两个级别，允许最大程度的并发访问 分布式元数据服务器，避免元数据处理成为系统
4、瓶颈 支持客户端数据缓存，不同节点可以根据需要设置不同的缓存大小 数据块的大小可自定义，16K, 64K, 256K, 512K, 1M，4M NSD通信支持InfiniBand高速网络,GPFS的优势,可扩展性 最大可支持数千个节点的集群规模和数百GB每秒的IO吞吐量 在不停止服务的情况下向集群添加和删除节点 在不停止服务的情况下向文件系统加入和删除磁盘 在不停止服务的情况下修改文件系统inode数目,GPFS工作方式和扩展方式,GPFS可以在线添加存储和服务器，不影响应用正常运行,系统瓶颈点2,系统瓶颈点1,Ethernet InfiniBand,SAN,GPFS在IO服务器和磁盘存储两层
5、都有很好的线性扩展能力,GPFS的优势,高可用性 先进的仲裁管理机制，确保系统最大程度的可用性，没有单一故障点 管理服务器在manager资源池内实现自动故障切换 支持多路径磁盘访问，一条路径访问失败，可以通过其它路径实现，每个NSD可以支持8个NSD Server 支持对元数据和用户数据做replication，保证系统稳定可靠 Rolling Update，不停机升级 支持日志功能，实现系统快速恢复,GPFS的优势,管理简单 用户接口简单，与常用文件系统类似，方便用户使用 单点管理，可以集群内任何一个节点上完成对GPFS的管理任务，命令将在所有节点上生效 自动在各个节点间同步配置文件和系统
6、信息,GPFS的其它功能,SnapShot（快照） ILM（信息生命周期管理）、HSM（分级存储管理） 跨集群数据共享（multi-cluster cross mount） Traditional GPFS ACL、NFS V4 ACL User Qutota、Group Quota、fileset Quota SNMP管理 直接通过TSM server备份数据,Snapshot（快照）,节省存储空间，只保存被修改的数据 大大减少文件系统备份、恢复时间,信息生命周期管理,GPFS可以实现不同磁盘直接信息生命周期管理 GPFS+TSM Space Management可以实现磁盘和磁带库直接的信
7、息生命周期管理,GPFS信息生命周期管理的实现方式,节点1,节点2,节点3,节点4,Pool1,Pool2,mmapplypolicy,1. 扫描元数据,2. 匹配规则,3. 移动数据,System,光纤存储,SATA存储,File1,File2,/home,目录结构,/home |- |-file1 |- |- |-file2 |-,目录结构不变，数据移动对用户透明,Pool1中的file1和file2要移动到Pool2中,GPFS主要优势总结,在线升级、扩容 高可用性 高性能 安装、配置、管理简单 支持ILM（信息生命周期管理） 开放式异构平台，扩展灵活,GPFS与NFS,SAN File
8、 System系统结构的比较,客户端-服务器结构的网络文件系统 (NFS, DFS, or AFS): 存在单个服务器”瓶颈” 网络协议导致额外开销,SAN文件系统: 元数据服务器是一个潜在的 性能瓶颈和单一故障点,GPFS与NFS,SAN File System系统结构的比较,GPFS文件系统的元数据服务是 分布式的，在一个manager的 资源池里面自动均衡分布，自 动实现failover，确保元数据服 务不会成为系统的性能瓶颈和 单一故障点。,GPFS的Manager资源池,两种基本模式（可混合）,直连存储,NSD 服务器,App,GPFS,RSCT,Linux,App,GPFS,RSC
9、T,Linux,App,GPFS,RSCT,Linux,NSD,disks,disks,NSD,NSD,disks,disks,App,GPFS,RSCT,Linux,App,GPFS,RSCT,Linux,App,GPFS,RSCT,Linux,NSD,NSD,NSD Server,disks,disks,disks,disks,配置示例,GPFS的架构,GPFS的元数据管理功能,GPFS的元数据管理服务自动分布在不同的物理服务器上,文件系统的逻辑结构,数据读写的令牌管理,Node quorum,一组节点组成仲裁组 仲裁组中半数以上节点必须工作正常 仲裁组节点总数/2 + 1 仲裁节点的仲裁
10、功能不过消耗很多系统资源,Node 1,Node 2,Node 3,Node 4,Node 6,Node 7,Node 5,Node 7,Quorum Nodes,Node quorum with tiebreaker disks,在节点仲裁的基础上，可以添加1-3个仲裁盘，来增加系统的可靠性 建议采用奇数块仲裁盘 (1, 3) 仲裁盘必须可以被所有仲裁节点访问 任何一块磁盘都可以作为仲裁盘使用，无需单独分配,Tie-Breaker Disks,Node 1,Node 2,灾难恢复,GPFS Replication，同步镜像 IBM TotalStorage ESS PPRC，同步镜像 Act
11、ive/Active集群 Active/Passive集群 ESS FlashCopy，异步镜像,灾难恢复 GPFS Replication, Synchronous,灾难恢复 PPRC, Active/Active, Synchronous,灾难恢复 PPRC, Active/Passive, Synchronous,灾难恢复 FlashCopy, PPRC, Asynchronous,GPFS Benchmark,已验证系统参考,Solutions using GPFS,SAS Grid is supported on GPFS,Scale-out File Services - The
12、Global File Space,Application Server,Web Server,Linux WS,AIX WS,Web Browser,Windows WS,IBM Global Operations Centres,SoFS,SoFS,CIFS,IBM GPFS,Red Hat Enterprise Linux,IBM rack mounted Server and BladeCenter cluster,IBM Disk,IBM Tape,Reporting,Monitoring,Provisioning,NFSv3,HTTPS,FTP,SoFS Software Arch
13、itecture and Components,GPFS IBMs clustered file system CTDB Controls the cluster and the file service daemons Samba Provides CIFS export RHEL Base OS, provides access via: NFS FTP SCP HTTP SoFS Package Provides Management GUI, Apache file server module, tools, tuning options, etc. IBM Hardware,CTDB
14、,HSM - Archiving,TSM Backup & Restore,IBM Director - Hw Mgt,SCP,国内案例 中央电视台GPFS系统,媒体编播需要高带宽、并行作业 通过两个GPFS服务器，提供30台Windows客户端通过Samba读写 峰值I/O达到800MB/s,国内案例 CMA国家气象局,通过6个节点构成GPFS服务器系统 提供给375个节点并行访问 带宽为600MB/s I/O 架设一年以来稳定运行,国内案例 中石化测试,使用Linux内置磁盘进行测试 运行Land Mark软件， NFS系统上没有能生成结果，GPFS上4小时 在中石化测试过程中，得到了线性
15、增长、并行读写能力的展示,General File Serving,更多案例,结束语,GPFS是目前领先的主流并行文件系统，被广泛应用在大量商业和科研环境中，包括世界上一些运算能力最强的系统 十余年来IBM不断发展GPFS技术，产品拥有超过20项专利，可以支持海量存储和海量处理的需求 IBM专业的服务队伍为GPFS的设计和实施提供了强大的技术后盾 希望能够成为您的合作伙伴，创造更大的价值,Thank You,Merci,Grazie,Gracias,Obrigado,Danke,Japanese,English,French,Russian,German,Italian,Spanish,Brazilian Portuguese,Arabic,Traditional Chinese,Simplified Chinese,Hindi,Tamil,Thai,Korean,Bedankt,Dutch,
