《云计算存储技术探讨V1.2》由会员分享，可在线阅读，更多相关《云计算存储技术探讨V1.2（39页珍藏版）》请在金锄头文库上搜索。
1、存以智用融以致远 1 目录 分布式存储发展现状 高端存储的前世今生 全闪存存储发展现状 2 3 4 存储技术发展趋势1 2 Source Gartner May 2015 Flash 将很快成为企业存储的主流介质 趋势一 硅进磁退 2013年 2019年企业级SSD和SAS硬盘发货量对比预测 3 SSD是未来 存储厂商纷纷布局SSD 2011 年 5 月 13 日 NetApp宣布以 4 8 亿美元 LSI 公 司Engenio 外置存 储 2013年2月 NetApp发布了全 闪存存储EF540 2010年惠普以 23 5亿美元的代价 收购了3PAR 在 2014年6月发布了 StoreSe
2、rv 7450全 固态存储 2013年6月 IBM 宣布花费10亿美元 收购Texas Memory Systems TMS 公司 基于TMS产品 IBM推出全闪存存储 Flash system 700 和800系列 2015年3 月 又推出Flash system 900 NetAppIBM HP 新介质带来的性能 的提升将打破传统的 高 中 低端存储的 划分 SSD带来的不是简 单的介质替换 从文 件系统 前后端网络 的适配等多角度优化 重构存储系统 AFA阵列 2012年12 月 EMC公司通过收 购以色列全闪存初 创公司XtreamIO 2014年5月 EMC 公司收购DSSD 保 留
3、了外置存储形态 但彻底抛弃HDD阵 列 EMC 4 趋势二 分布式存储架构 集中式 数据流从中心节点 或称为 控制器 通过 控制器的能力决定了存储系统性能 分布式 数据传输时被打散为多份 通过多节点方式 实现数据并行读写 没有固定的中心节点 两种架构本质区别 数据流是带内还是带外管理 存 储 节 点 文件文件物理存储节点物理存储节点 AP00 P12 P24 P36 P48 P60 BP03 P15 P27 P39 P51 P63 映射关系表 中心节点 传统寻址 集中式 分布式 多副本数据保护 5 两种存储架构比较 存储稳定还建立在单台设备内的冗余设计基础上 将多个独立存储统一管理 存储设备间
4、的多副本设 计 实现跨单台存储设备的高冗余 集中管理架构 存储扩展空间有限 很难达到PB 级 分布式架构 容量扩展达到数十PB级 由于是集中管理 存储性能受限于控制器性能 分布式管理 存储的读 写性能随独立存储节点数 目增加而增大 存储厂家设备的多样性 带来存储维护成本的增 加 存储设备统一管理 维护成本降 人均维护存储容量 17 7PB 约传统方式的2 4倍 使用专用硬件和昂贵的硬盘来保证其性能和可用 性 这带来成本的增加 多个标准的X86架构服务器和低廉硬盘 成本显著降 低 扩展性 可靠性 读写性能 维护性 成本 集中存储分布式存储 存储类型 关系型数据 半结构及非结构化数据 即满足各 类
5、文件 日志及数据库等存储要求 支持半结构及非结构化数据 目前难以支撑事务频 繁的关系型数据库 以及块存储模式 6 关键系统需要适应激增的业务压力 高效可靠的应用系统平台 云 管 理 平 台 性能加速计算存 储平台 通用计算存储资源池 Linux UNIX Windows Block File Object 管理及资源调度 计算资源池 针对特定场景的性能加 速计算 存储平台 标准化 可弹性分配 自动化交付的通用 计算 存储资源池 存储资源池 3G to 4G Digital Transformation 高效 Storage Resource 减少设备数量 降低OPEX 更好支撑激增的数字化业务
6、 BIVAS Digital service ERP BillingCRM 7 闪存是提升效率的最佳方案 SSD SAS NL SAS SSD NL SAS Billing collect ion charging accounting CRM Historical data query Backup Billing Test Report Historical data query Backup 三级架构 二级架构 相同有效容量 提升 3X 性能 节省 70 占地空间 中国移动某省CRM系统 Billing collection ch arging accounting Test CRM a
7、nd Report 三级二级 性能40K IOPS 4ms130K IOPS 1ms 管理 Complicated 430块 300GB 15K 盘 952 LUNs 66TB可用 占3个 机柜 Simple 100块 900GB SSDs 盘 50 LUNs 68TB可用 非Dedup 半机柜 8 按需分配资源适应数字化业务的不可预测性 弹性 Storage Pool MusicGameVideoVoiceSMS 云 管 理 平 台 性能加速计算 存储平台 通用计算存储资源池 Linux UNIX Windows Block File Object 管理及资源调度 计算资源池 针对特定场景的
8、性能 加速计算 存储平台 标准化 可弹性分配 自动化交付的通用 计算 存储资源池 存储资源池 On Premise 数字业务按需分配资源 敏捷应对 不可预测性 长尾业务由重资产向轻资产转变 降低成本 9 目录 分布式存储发展现状 高端存储的前世今生 全闪存存储发展现状 2 3 4 存储技术发展趋势1 10 系统架构技术演进 199020002009 总线式架构 基于总线互连的Scale up多控架构 升级换代的 方式就是采用更强的CPU 接口卡 内存 协议 CrossStar架构虚拟矩阵式架构 以交换机为中心连接主 机前端接口 后端磁盘接 口和缓存等各个部件 采 用FC后端通道 Scale o
9、ut 全交换 X86 松耦合 2003 直连式架构 前端主机接口和后 端磁盘接口直接接 到缓存 避免了总 线和交换机的延迟 11 IBM DS8870架构 FC AL 12 IBM DS8870布局 13 HDS VSP布局 Hitachi Virtual Storage Platform 14 HDS VSP系统架构 15 EMC两代产品的比较 EMC从紧耦合到松耦合 从DMX 4直连矩阵式架构到VMAX虚拟矩 阵式架构 从紧耦合到松耦合 客户价值 在线扩容更可靠 Scale out方式更佳 降低首次采购成本 降低复杂度 稳定可靠 降低对机房空间的要求 分散部署 前端控制器 后端控制器 Vi
10、rtual Matrix DMX 4 直连架构 VMAX40K 虚拟矩阵架构 16 华为高端存储OceanStor18000OceanStor18000的系统架构 多控制器系统架构 全局资源共享 任一控制器资源能被其它控制器使 用 也实现了全局缓存 负载均衡 控制器全活 均衡分担负载 Scale out 扩展到最大8引擎或16控制器 PCI E全交换 松耦合 各引擎相对更独立 全局资源无阻塞互联 17 智能交换矩阵 Smart MatrixSmart Matrix 前端端口 后端端口满配时达到系统全局均衡 前端 带宽 系统内部带宽 后端硬盘带宽 OceanStor 18000最大支持16控 每
11、控2个4GB双向 带宽端口 PCI E2 0 4 总交换带宽为192GB s 交 换机的带宽16 2 4GB s 镜像通道的总带宽 8x2x4GB s 分散部署 采用PCIe光纤链路连接 单一系统的各个 机柜允许跨25米部署 降低了对机房空间的要求 DSW 0DSW 1 PCI E链路 多控架构示意图 PCI E交换机交换机 PCIE2 0端口 4GB s 镜像通道 PCI E交换机 延时400ns 18 存储厂家不断收购虚拟化存储厂家 2008年1月29日 戴尔公司完成了14 亿美元对 Compellent的收 购 2010年惠普以 23 5亿美元的代价 收购了3PAR 开始 进入云计算市场
12、 2008年1月2 日 IBM 日前宣布 收购了位于以色列 存储技术公司XIV 该公司的技术和人 员将纳入IBM系统与 科技事业部的系统 存储业务部门 DELLIBM HP 数据被完全打散到 所有硬盘中 处于不同磁盘之间 的数据块可以做 RAID 通过策略或者访问 频率 可以动态将 数据进行迁移 块级虚拟化 2009年7月21 日 EMC宣布收购 DataDomain公司 2010年11月16日 EMC公司完成了 22 5亿美元对isilon 的收购 EMC 19 目录 分布式存储发展现状 高端存储的前世今生 全闪存存储发展现状 2 3 4 存储技术发展趋势1 20 全闪存存储与混合闪存存储的
13、区别 全闪存阵列全闪存阵列混合闪存阵列混合闪存阵列 高性能低延迟高性能低延迟 专有架构和基于SSD的软件设计 充分 发挥SSD性能 IOPS达到1M 延迟小于1ms 高成本高成本 外购SSD 高成本 缺乏必要的软件特性缺乏必要的软件特性 聚焦在性能 功能特性一般比较缺乏 SSDSSD性能受限性能受限 基于HDD盘的设计 SSD盘性能得不到充 分发挥 无法迁移到全闪存存储 IOPS达到百万级 延迟通常在3ms 硬件标准化硬件标准化 很难满足广泛应用需求 复杂运维管理 EMC XtremIO PureStorage IBM FlashSysetm V9000 华为 Dorado 6000 V3 E
14、MC Vmax 250F 450F HDSVM HUS 150 HP 3PAR StoreServ 7400 NetAPPFAS8000 华为 OceanStor 6800 V3 21 全闪存存储发展与演进 20052005 高性能 无高级软件特性 第第一代一代SSD SSD RawRaw M Series 20162016 满足云时代不可预测的峰值性能 完善的企业级特性 极致数据效率追求 第四第四代代SSD SSD NativeNative XtremIO EF Series3par 7450 VNX F 20082008 传统存储阵列配置全SSD盘 少量企业级特性 几乎没有针对SSD做优化
15、 第二第二代代SSD SSD HybridHybrid FAS FVMAX F 20112011 软件针对SSD特质优化 丰富的特性 解决传统应用的性能需求 第第三代三代SSD SSD OptimizedOptimized VSP FStorWize F 22 闪存端到端设计 SSD controller chip Chip Flash memory Strategic Cooperation SSD Software SSD Disk Huawei developedHuawei developed Hardware 专为SSD设计的系统 性能优于友商3倍 Dorado V3 Huawei
16、developed Huawei developed Bad block management Global wear leveling algorithm Adjustable flash cell redundancy Monitoring of individual capacitor Huawei developed 23 效率提升 在线重删压缩 实现空间利用 性能双赢 在控制器内完成数据缩减 无需预留多余硬盘空间 同样的空间保存3倍的数据 空间利用高达150TiB U 开启重删压缩后 性能无损 IOPS 400万 无重删压缩重删压缩后 3X 150 TiB U 50 TiB U SSDSSD 控制器 24 性能线性扩展到400万IOPS 16 16控 控 4 000 0004 000 000IOPSIOPS Smart Smart MatrixMatrix Smart Smart MatrixMatrix Smart Smart MatrixMatrix 配置 配置 Dorado6000 V3Dorado6000 V3 4 4控 控 100100块块900G SSD900G
