华为oceanstor 9000大数据存储系统技术白皮书

《华为oceanstor 9000大数据存储系统技术白皮书》由会员分享，可在线阅读，更多相关《华为oceanstor 9000大数据存储系统技术白皮书（49页珍藏版）》请在金锄头文库上搜索。

1、 OceanStor 9000 大数据存储系统 技术白皮书技术白皮书 文档版本文档版本 01 发布日期发布日期 2015-06-27 华为技术有限公司华为技术有限公司 文档版本 01 (2015-06-27) 华为专有和保密信息 版权所有 华为技术有限公司 i 版权所有版权所有 华为技术有限公司华为技术有限公司 2015。 保留一切权利。保留一切权利。 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传 播。 商标声明商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 注意注意 您购买的产品

2、、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务 或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示 的声明或保证。 由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本 文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 华为技术有限公司 地址： 深圳市龙岗区坂田华为总部办公楼 邮编：518129 网址： http:/ 客户服务邮箱： ChinaEnterprise_TAC OceanStor 9000 大数据存储系统技术白皮书 目 录 文档版本 01 (2015-0

3、6-27) 华为专有和保密信息 版权所有 华为技术有限公司 ii 目目 录录 1 概述概述 1 2 OceanStor 9000 大数据存储系统架构大数据存储系统架构 2 2.1 产品逻辑结构 2 2.2 OceanStor DFS 分布式文件系统 3 2.3 存储硬盘 . 4 2.4 交换设备 . 4 2.5 管理子系统 4 3 组网及环境要求组网及环境要求. 6 3.1 组网概述 . 6 3.2 10GE 组网描述（前端和后端网络均采用 10GE 组网） . 6 3.3 IB 组网描述（前端和后端网络均采用 IB 组网） . 7 3.4 前端 10GE 后端 IB 组网描述（前端网络采用

4、10GE，后端网络采用 IB）. 8 3.5 系统运行环境 8 4 软件特性软件特性 9 4.1 OceanStor DFS 分布式文件系统 9 4.1.1 技术背景. 9 4.1.2 技术原理10 4.1.3 技术特点 11 4.1.4 客户价值12 4.2 分布式数据可靠技术 .12 4.2.1 技术背景12 4.2.2 技术原理15 4.2.3 技术特点16 4.2.4 客户价值17 4.3 全局缓存 18 4.3.1 技术背景18 4.3.2 组成要素18 4.3.3 技术原理19 4.3.4 客户价值20 4.4 负载均衡技术 .21 OceanStor 9000 大数据存储系统技术

5、白皮书 目 录 文档版本 01 (2015-06-27) 华为专有和保密信息 版权所有 华为技术有限公司 iii 4.4.1 技术背景21 4.4.2 技术原理22 4.4.3 技术特点22 4.4.4 客户价值28 4.5 动态分级存储技术 .28 4.5.1 技术背景28 4.5.2 技术原理29 4.5.3 技术特点30 4.5.4 客户价值30 4.6 配额管理技术 .31 4.6.1 技术背景31 4.6.2 技术原理32 4.6.3 技术特点32 4.6.4 客户价值34 4.7 快照技术 34 4.7.1 技术背景34 4.7.2 技术原理34 4.7.3 技术特点35 4.7.

6、4 客户价值36 4.8 远程复制技术 .36 4.8.1 技术背景36 4.8.2 技术原理37 4.8.3 技术特点38 4.8.4 客户价值40 4.9 WORM 技术 41 4.9.1 技术背景41 4.9.2 技术原理41 4.10 技术特点.42 4.11 客户价值 .43 5 缩略语和术语缩略语和术语 44 OceanStor 9000 大数据存储系统技术白皮书 1 概述 文档版本 01 (2015-06-27) 华为专有和保密信息 版权所有 华为技术有限公司 1 1 概述概述 分布式 NAS 系统具有高扩展、高可靠、高性能、易管理等特点。 将大量节点组织成统一系统，提供增删节点

7、的能力，大大增加了系统可扩展性。 将数据分片打散到系统内多个节点的硬盘上，分布式NAS的可靠性大大提升。 具备在每个节点上都提供NAS服务的能力，减少瓶颈点的发生。 在大容量需求下分布式NAS不需要部署多套，管理界面只有一个，可维护性大大 提升。 华为 OceanStor 9000 大数据存储系统是华为自研的针对大数据的存储系统，本文档将 介绍其技术的相关细节。 OceanStor 9000 大数据存储系统技术白皮书 2 OceanStor 9000 大数据存储系统架构 文档版本 01 (2015-06-27) 华为专有和保密信息 版权所有 华为技术有限公司 2 2 OceanStor 900

8、0 大数据大数据存储系统架构存储系统架构 2.1 产品逻辑结构 OceanStor 9000 大数据存储系统是全对称架构，对相同类型(硬件节点系列参见后文描 述)的节点而言，节点内部的软硬件配置完全对等，这样的设计使得用户首次购买或者 扩容时，不需要考虑独立元数据服务器或独立网管服务器等问题，只需根据实际需求 计算出需要的节点数即可（最小 3 台起配）。 OceanStor 9000 系统由交换设备和 OceanStor 9000 硬件节点组成，不需要额外的设备。 产品结构如图 2-1 所示。 图2-1 OceanStor 9000 产品结构 OceanStor 9000 系统针对不同的应用需

9、求提供不同系列的硬件节点类型，有支持在性能 要求较高场景使用的 P 系列节点、有支持在大容量场景使用的 C 系列节点、有满足分 布式数据库应用的 I 系列节点。不同类型节点可以单独使用，也可以混合部署以达到 整体最优，混合部署时每种节点最少配置为 3 台。OceanStor 9000 系统硬件节点系列如 图 2-2 所示。 OceanStor 9000 大数据存储系统技术白皮书 2 OceanStor 9000 大数据存储系统架构 文档版本 01 (2015-06-27) 华为专有和保密信息 版权所有 华为技术有限公司 3 图2-2 OceanStor 9000 硬件节点系列 OceanSto

10、r 9000 系统可分为硬件平台和软件系统，硬件平台包括网络和物理节点及节点 内的硬盘、网卡、NVDIMM、内存等；软件系统主要为 OceanStor DFS(原 WushanFS) 分布式文件系统和多种增值特性，提供对外共享的 NAS 共享服务和统一管理的管理系 统。 OceanStor 9000 大数据存储系统层次架构如错误！未找到引用源。错误！未找到引用源。所示。 图2-3 OceanStor 9000 大数据存储系统层次架构 OceanStor 9000 是对称式的架构设计，所以 OceanStor DFS 分布式文件系统(及其增值 特性)、NAS 服务、管理控制台软件在每个物理节点上

11、均会安装部署，并对外呈现为一 个统一的集群。 2.2 OceanStor DFS 分布式文件系统 OceanStor DFS（原 WushanFS）分布式文件系统是 OceanStor 9000 系统中的核心部件， 将系统中所有节点的硬盘整合成一个统一的资源池，对外提供统一命名空间。同时对 用户数据提供跨节点、跨机架、不同级别的数据冗余保护，可以兼顾高硬盘利用率和 高可用的需求，避免了传统存储的烟囱式弊端。 OceanStor 9000 大数据存储系统技术白皮书 2 OceanStor 9000 大数据存储系统架构 文档版本 01 (2015-06-27) 华为专有和保密信息 版权所有 华为技

12、术有限公司 4 OceanStor DFS 支持无缝横向扩展，系统支持 3 节点至 288 节点弹性无缝扩展，单一文 件系统可扩容至 60PB，整个扩容过程业务无中断。由于采用了集群 MDS(元数据服务) 和节点间数据冗余等去中心化的技术，OceanStor DFS 不存在性能瓶颈，随着节点数的 增加，存储容量和计算能力线性增加，最终给用户提供呈线性递增的吞吐及并发能力。 OceanStor DFS 提供了全局一致的缓存，缓存容量随着节点增加而线性增长，随着节点 数目的增加，全局缓存的容量也增加，更多的热点数据可以被命中，大大减少硬盘的 I/O 访问，提高整系统性能。 OceanStor DF

13、S 使用了 NVDIMM 和 RDMA 等技术。NVDIMM 使得数据即使在缓存中 也可以得到持久化保护，而 RDMA 则有效减少了网络传输过程中内存拷贝次数。这样 在不降低可靠性的前提下，进一步提升整系统响应速度。 OceanStor DFS 对外提供 CIFS、NFS 接入功能，并提供对 CIFS、NFS 的统一域名访问 机制，让用户业务轻松接入存储系统。同时支持集群节点间负载均衡及管理功能。在 这些功能特性基础上，由于全对称的架构设计使得 OceanStor 9000 每个节点都可以对 外提供全局的 NAS 业务访问，且任何单节点故障时可自动切换。 在权限管理方面，OceanStor D

14、FS 支持与域控服务器对接，对域用户访问权限进行控制。 2.3 存储硬盘 OceanStor 9000 大数据存储系统可以使用 SATA 硬盘(Capacity node 或 Mini-capacity node)和 SAS 硬盘（Performance node），并在节点中配置了 SSD 硬盘，以提升数据读 取、系统元数据访问和小文件访问的性能。 2.4 交换设备 在 OceanStor 9000 系统中，集群后端网络推荐通过 InfiniBand 或者 10GE+RDMA 来连 接，也支持 GE 连接；前端网络推荐使用 GE、10GE 或 InfiniBand 连接，以满足不同 场景用户

15、的组网需求。OceanStor 9000 系统的所有节点网络都是冗余的，任何单一网口 故障或者单一交换机故障均不影响系统使用。 OceanStor 9000 系统前端和后端可以分别使用不同的物理网卡以达到从网络上相互隔离 的目的，并且前端网络可以根据用户现有网络状况选择 GE 或 10GE 连接。通过 OceanStor 9000 存储设备所提供的 IPMI 网口可以访问设备的管理界面。组网介绍详见 组网及环境要求 章节描述。 2.5 管理子系统 随着越来越多的数据和越来越大规模的设备需要管理，减少管理复杂性成为关键点。 OceanStor 9000 支持一站式的全系统管理，支持在线的扩容、升

16、级等维护活动让客户轻 松掌控整系统。OceanStor 9000 不需要单独的管理服务器，节省了硬件成本开支。 OceanStor 9000 的管理服务支持通过 SNMP 与用户管理服务对接。 OceanStor 9000 大数据存储系统提供 GUI 和 CLI 两种管理界面。用户使用管理界面可 以完成状态、容量、资源使用率、告警等信息查询，也可以完成系统各种配置和操作。 OceanStor 9000 大数据存储系统技术白皮书 2 OceanStor 9000 大数据存储系统架构 文档版本 01 (2015-06-27) 华为专有和保密信息 版权所有 华为技术有限公司 5 访问管理界面的用户分为超级管理员、管理员和只读用户，满足不同级别用户访问的 需要。 GUI 界面集成了用户常用的各种功能，CLI 除了支持 GUI 具备的功能外，面向高级管 理维护人员的高级功能及非常用系统配置功能也通过 CLI 提供。 OceanStor 9000 大数