《招行北京分行fusionstorage分布式存储技术建议书》由会员分享，可在线阅读，更多相关《招行北京分行fusionstorage分布式存储技术建议书（31页珍藏版）》请在金锄头文库上搜索。
1、 招行北京分行FusionStorage分布式存储技术建议书文档版本01发布日期2014-9-15华为技术有限公司 招行北京分行FusionStorage分布式存储系统技术建议书Confidentiality Level机密版权所有 华为技术有限公司2014。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买
2、或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：http:/客户服务邮箱：客户服务电话：4008302118Table of Contents 目 录Table of Contents 目 录31项目概述41.1项目背景41.2项目需求52项目技术方案52.1方案整体架构52.1.1软硬件部署图52.1.2硬件平台82.1.3Fus
3、ionStorage分布式存储系统概述82.1.4FusionStorage分布式存储系统详细描述102.1.4.1分布式机头112.1.4.2分布式缓存112.1.4.3集群元数据管理112.1.4.4多数据副本112.1.4.5数据一致性122.1.4.6快速数据重建122.1.4.7掉电保护132.1.5云管理平台132.1.5.1基于角色访问控制142.1.5.2物理资源管理162.1.5.3物理设备接入协议162.1.5.4虚拟化资源管理172.1.5.5资源集群管理192.1.5.6虚拟负载均衡管理202.1.5.7自动化运维202.1.5.8监控管理222.1.5.9计量管理23
4、2.1.5.10安全管理242.2系统部署方案262.2.1总体组网方案262.2.2与客户网络对接272.2.3一体机2层模式连接用户网络282.3系统可靠性分析292.3.1数据持久度分析292.3.2可靠性场景分析292.4系统关键数据备份303系统软硬件配置清单及说明311 项目概述1.1 项目背景招行北京分行准备采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：p 存储资源弹性问题： 多业务负载、资源的动态需求变化 p 存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不
5、同步问题） p 形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）p 容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨room），硬盘重建的时间问题 针对上述问题，建议使用FusionStorage 分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，做为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务，同时兼顾文件和对象存储服务。工程计划利用建设的分布式存储（采用X86服务器介质）代替原
6、虚拟化计算平台使用的集中式FC SAN存储系统，系统建设裸存储容量2048T，并通过规范接口纳入集团云管理平台统一管理。1.2 项目需求起配3台RH2288H，用于开发测试环境。2 项目技术方案2.1 方案整体架构2.1.1 软硬件部署图Figure图1 RH2288H+FusionStorage软硬件部署图FusionCube虚拟化一体机管理节点部署如下。1) FusionManager：负责云平台资源管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核心，提供基于web的统一维护界面；整个系统的业务通过云管理FusionManager呈现，诸如用户管理、集群管理、业务模板管理、虚拟机
7、管理、统一硬件管理、告警、监控等功能均由FusionManager对外提供。2) FusionCompute：负责云平台计算资源虚拟化和资源分配，包括VRM和CNA两部分。 VRM: Virtual Resource Management虚拟资源管理软件，负责虚拟资源的管理，可管理多个逻辑集群；将物理资源(计算、存储、网络等)转换成可动态调整的虚拟资源，供虚拟机使用； CNA：计算节点代理，在每个需要虚拟化的服务器上物理部署，提供虚拟化功能；3) FusionStorage：分布式云存储，包括FusionStorage Manager和FusionStorage Agent两部分。 Fusio
8、nStorage Manager：存储管理软件，FusionCube使用分布式云存储技术，通过合理有序组织服务器的本地硬盘，提供高性能高可靠的块存储业务。 FusionStorage Agent:存储节点代理，在每个需要虚拟化的服务器上物理部署，用于访问FusionStorage分布式存储池资源的代理；管理节点FusionManager(FM)、VRM(FusionCompute)部署在虚拟机上，需要占用2台物理服务器做主备。其中FusionManager、UHM合部在同一台虚机中，VRM部署一台虚机中，都是主备部署。管理服务器命名为MCNA节点，其余为提供计算资源的服务器命名为CNA。管理节
9、点使用两块本地硬盘做RAID1做管理节点虚机的存储。其他本地硬盘在FusionStorage软件组织下，提供分布式存储池，用于业务虚拟机。管理节点主备占用两台服务器，管理服务器剩下的计算资源可以给业务虚机使用。一套FusionCube系统中至少需部署3个存储节点，除2-3块系统使用外，所有服务器的本地硬盘都可组成分布式存储池，非管理节点刀片可用于部署应用虚拟机，应用虚拟机使用FusionStorage分布式存储池资源。管理、计算和存储服务器可以混合部署，减少服务器的数量。2.1.2 硬件平台硬件平台由通用X86服务器组成，服务器要求内存最小为64GB,每台服务器可配置1块及以上的PCIE-SS
10、D卡、SSD固态硬盘或者NvDimm条。每服务器的硬盘数量=4。本次项目采用FusionCube 大容量存储服务器，该服务器可以配置12张高性能的PCIE-SSD卡做读写缓存，同时每台服务器可以配置12块大容量SATA盘为分布式存储提供服务。2.1.3 FusionStorage分布式存储系统概述传统的SAN存储目前正被业界广泛使用，但SAN有其固有缺点： 成本高：必须独立的机头 IOPS受限：热点数据存在瓶颈，导致IOPS低下 重建时间长：重建期间引入数据丢失风险 容量有限：受集中式机头性能限制，总容量受限 管理复杂：需要单独的管理系统 FusionStorage分布式存储系统可有效解决SA
11、N存储带来的这些问题。它采用新一代分布式存储架构和大规模并行的分布式网格存储技术，使用了“横向扩展”的存储架构，利用分布式多节点网格并行分担存储负荷，并通过细粒度数据分布算法保证数据的恒定均衡分布，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。简单地说，FusionStorage总体思想是通过在服务器上部署该软件，可以将所有服务器的本机磁盘组织成一个虚拟存储资源池，卷被切片分割打散到整个资源池所有硬盘中，达到细粒度，高并发存取数据的目的。Figure图 1 FusionStorage分布式存储原理FusionStorage分布式存储具有如下优点：l 高IOPS,低时延：应用大容量Ca
12、che技术，提升IOPS；卷被切片分割打散到整个资源池所有硬盘中，条带化宽度增加，单卷可获得的性能大幅提升；访问均衡，无热点,资源池中各节点的利用率相同；无需预先设置固定RAID组，大资源池适应应用负载的动态变化；应用程序通过Cache直达存储，时延更低； l 无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制；无级扩容：分布式机头(每server服务器相当于一个机头)，无性能瓶颈，可无级扩容 非烟囱式扩展：存储与计算同步平滑扩展。即插即用式扩容：扩容后系统自动调整负载平衡，真正实现无级平滑扩容。l 管理简单：结构简单带来管理简单；免于低层配置管理：FusionStorage与F
13、usionCube集成，仅需要做应用层面的管理，免去大量低层配置管理事务。零性能管理的成本：自动负载均衡，无热点，故障自愈，无需进行人工性能优化。l 数据重建快：并行重建速快；数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据不可访问。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，仅重建实际数据，无需热备盘； 重建1TB数据时间 30分钟。2.1.4 FusionStorage分布式存储系统详细描述FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥
14、到极致。FusionStorage系统软件架构FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。存储集群在IO过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点。同时存储节点会将每台服务器上的缓存设备划分成读写缓冲去，IO直接写到cache中就项主节点返回。当缓冲区达到一定的水位后，存储节点会自动将缓冲区的数据刷到主存设备（机械硬盘/SSD）上。2.1.4.1 分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS2.1.4.2 分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage支持将服务器SSD卡用作读、写缓存，对于数据的写操作，系统数据首先写到SSD的写缓存中，所有副本（三个副本）写缓存成功后，IO立即返回。同时IO也会数据缓存均匀分布到各个节点上
