《MSSE-技术类-ICMTv11》由会员分享，可在线阅读，更多相关《MSSE-技术类-ICMTv11（25页珍藏版）》请在金锄头文库上搜索。
1、基于ICMT的存储资源管理解决方案 宏杉面向云架构的存储解决方案系列之一 问题与挑战 Oracle 面对日益复杂的应用，存储资源配置越来越难！控制存储成本越来越难 ！ 大型文件系统 D: Hot! LUN DISKDISKDISK RAID DISKDISK RAID Redo log DataFile LUNLUNLUN lun Disk Group/ASM LVLVLV 这个虚拟机压力太大了，同一个盘 上的其它虚拟机都还好，我把整个 盘换成SSD？ 从存储系统的磁盘到Oracle逻辑文件 少说也有6-7层，该怎么调整提高性能 呢？新买的几个SSD怎么用呢？ 经常访问的文件不常访问的文件 需
2、归档的文件 分类？ 海量文件必须分类存储，否则 我的在线存储容量就太大了， 但如何分类呢？ 存储资源管理的现实需求总结 1 提高存储资源利 用率更加迫切 新应用部署导致存储资源需 求猛增，绿色高效成为潮流 ，固态硬盘这种高性能但昂 贵的存储资源逐渐被市场接 受，用户希望得到提高存储 资源利用率的存储管理方案 23 存储资源管理变 得更加简单 应用日益复杂，类型更加多 样，存储资源配置需要具备 智能，能自适应这种变化， 资源配置随应用需求而变。 用户希望存储管理更加简单 提高性能，并能 持续提高性能 应用性能需求难以精确估计 ，用户对存储系统持续提高 性能的需求是永无止境的。 用户希望一个能提高
3、性能的 存储产品，更希望得到一个 能持续提高性能的存储方案 传统的存储资源管理架构 RAID DiSK LUN RAID DiSK LUN RAID DiSK LUN 传统方式 传统存储资源管理架构的本质和问题 n 串行架构 LUN、RAID、Disk三者是串行关系，应用 看到的逻辑空间被牢牢束缚在固定的Disk之上 n 资源计划配置模式 首次配置计划中LUN的容量大 小，决定了其下RAID配置和Disk数目 n 资源配置固定，性能扩展性和容量扩展 性差 对于主机LUN，也就是对于应用的存储资源配置是固 定的，不具弹性，因此决定了对应用的性能和容量的扩展性都 难以实施 n 难以实现配置改动 任
4、何一次资源配置的改动都是 “伤筋动骨”，最严重的情况是应用重做 越来越难以适应目前日益复杂和类型 繁多的应用环境！ 传统存储管理架构的演进LUN虚拟化架构 RAID DiSK Component LUN RAID DiSK RAID DiSK Component LUN Component LUN Meta LUN Host LUN nLUN虚拟化存储资源管理原理 在LUN层之上的进一步虚拟化，将多个LUN虚拟化成 一个虚拟的LUN，提供给应用 虚拟LUN由多个Component lun和一个对上透明的 Meta LUN组成； 虚拟LUN可基于多个Component LUN的条带化后创 建；
5、n优势 提高了并行性能，性能和容量扩展性大幅提高 ； Component LUN成为可配置的存储资源，配 置更加灵活弹性 n劣势 虚拟化基于特定存储介质，存储资源分层条件 下，无法实现应用数据分层存储 仍然无法实现对复杂应用的存储资源动态配置 变革中分散数据块存储资源管理架构 DiskGourp3 DiskGourp2 DiskGourp1 DiskGourp0 LUN n分散数据块存储资源管理 原理 存储资源被划分成系统可分配可管理的 数据块； 主机LUN被划分为数据块单位，称作分 区，每个分区大小对应一个数据块； LUN分区后以数据块为单位分散存储在 系统的多个磁盘组； LUN的分区数据块
6、分散存储后，都在不 同的磁盘组上做了复制副本； n优势 引入全局虚拟化思想，基于数据块 的存储资源管理 并行性能和扩展性大幅提高 摆脱了传统RAID的弊端，磁盘故 障后重建效率大幅提高 分散数据块存储资源管理架构弊端 SQL 弊端 n 一个热点应用 会影响 其它所有的应用 n 单一复杂应用的局部 热点问题无法解决 n 数据布局模式固定， 没有策略选择 n 没有针对特别应用的 QoS保障 n 大量的存储空间浪费 不适合多应用IT环境！ 她从云中来 云计算=服务模式 =SaaS,Paas,IaaS) IT技术与方法 云架构技术 与方法 虚拟化动态弹性自动化 整合一堆IT物理设备 将IT物理资源虚拟
7、化成可 统一管理的逻辑单元 一切都是透明的 虚拟化后形成统一资源平 台 平台上IT资源的调度配置 都是动态的，弹性的，可 分配可回收 实现IT资源配置与应用需求 的精确匹配 这个不是靠人工，而是靠智 能，否则前面一切没有意义 宏杉ICMT智能块管理架构 新增基于Cell的存储资源池（Storage Pool）层，破除LUN与RAID、Disk之间 的捆绑关系，在存储阵列内部形成完全的虚拟化架构 RAIDDiSK LUN：数据逻辑载体Disk：数据物理载体 LUNRAID：磁盘组织方式 ICMT：Intelligent Cell Management Technology 智能数据块管理技术 S
8、torage Pool: 存储资源池，由不同存储介质和级别的RAID构成 Cell : 虚拟数据块，形象称之为“细胞”，其为构成存储资源系统可管理的基本单位而得名，对用户透明 LUN LUN 5 RAID DiskDisk LUNLUN DiskDiskDiskDisklDiskDisk Storage Pool RAIDRAIDRAID DiskDisklDisk LUNLUN Cell ICMT虚拟化过程 RAID 5 RAID 0RAID 10 RAID 1 RAID 5 RAID 0RAID 10 RAID 1 RAID 5 RAID 5RAID 10 RAID 1 创建RAID 1
9、创建Storage Pool 2 Storage Pool中创建Cell3 创建基于Cell的LUN4 将存储资源池划分为 1GB的Cell，Cell是 ICMT存储资源配置单位 ICMT的虚拟化架构 存储池与 Cell虚拟化 RAID虚拟化 存储LUN虚拟化 SAS盘SSD盘SAS盘SATA盘 LUN0LUN1 Tier1:SSD存储Tier2:SAS存储 Tier3:SATA存储 SSD RAID5SAS RAID10 Tier1:SSD存储 Tier2:SAS/FC存储Tier2:SATA存储 Storage Pool 1 SAS RAID5SSD RAID10 SAS RAID5SAT
10、A RAID5 SATA RAID5 Storage Pool 0 Disk DiskDisk DiskDisk Disk Disk DiskDisk Disk DiskDisk Disk DiskDisk Disk DiskDisk Disk Disk Disk Disk Disk Disk Disk Disk Disk Disk Disk DiskDisk SSD盘 SATA盘 物理存储资 源 管理员 用户 服务器 ICMT存储性能资源动态配置 热数据块 极高访问频率 暖数据块 一般访问频率 以LUN为单位的存储资源管理问题 冷数据块 极低访问频率 LUN0 LUN0 LUN2LUN1 初
11、始规划：不用特别规划 运行后状态：各取所需，最优配置 LUN1LUN2 Tier1:SSD存储Tier2:SAS/FC存储 Tier3:SATA存储 Tier1:SSD存储Tier2:SAS/FC存储Tier3:SATA存储 Storage Pool Storage Pool 降级 维持 LUN0 LUN0 LUN1 LUN2 LUN2 LUN1 初始规划：运行后状态 ： Tie0: SSD 存储 Tie1 :SAS /FC 存储 Tie2: SATA 存储 基于Cell的动态弹性存储资源配置管理 实施迁移： LUN0 LUN1 升级 LUN2 存在性能瓶颈 ！ 存在性能瓶颈 ！ 存在资源浪费
12、 ！ ICMT的存储容量弹性配置 实际分配500个Cell，共500GB LUN 数据增量部分，新增配置200个Cell 实际分配300个Cell，共300GB LUN 规划700GB的LUN，应用可识别 实际分配500个Cell，共500GB LUN 200GB空间，共200个Cell配置 系统智能识别数 据增量，同步增 配Cell LUN规划700GB，但初次实际写入接近300GB 1 LUN经过一年，数据增量为200GB 2 LUN再经过一年，数据量增加200GB，增加200G的空间 3 ICMT针对热点应用的存储资源QoS保证 SQL Tie0:SSD存储Tie1:SAS存储 Tie2
13、:SATA存 储 Tie0:SSD存储Tie1:SAS存储 应用QoS随需弹性保证 n 应用和Storage Pool具有绑定关 系，storage Pool可灵活对应一 个或多个应用； n 热点应用可单独创建storage pool，实现热点隔离，不构成对 其它应用的干扰; n 可将闲置资源跨pool调配到热点 应用的storage pool，热点应用 的存储资源QoS能得以保证 热点 Pool0Pool1 资源调配 ICMT实现存储资源配置自动化 1小时触发一次分析 storage pool中每个cell按照热度 从高到低排序 排序以pool为单位；用户可手动干 预排序，进行调控（微调）
14、Cell的热度由最近的访问频率决定，其度量指标为最 近时间内读写 I/O个数； ICMT对Cell维护累积的I/O数目和时间权值； 24小时内I/O的权值大，24小时前权值小 ICMT优先将热度序列靠前CELL迁移 到更高层 需要下移的Cell除非所在层资源不够 以优先充分利用高速存储资源为原则 迁移迁移 分析分析 统计统计 自动化配置过程算法 C D F A G 统计 B E T0 T1 T2 CELL累积I/O加权值 A2000018000 B100009000 C1700016000 D110009500 E80007500 F90008400 G1200011000 分析 热度 序列
15、A C G D B F E 迁移 C D F A G B E T0 T1 T2 T1层资源够 ，E暂不下 移 Pool 0 Pool 0 ICMT存储资源管理自动化的实际价值 现在 ICMT能实现主动，自动和最优 的资源配置管理 存储管理员 主机LUN 1.主动 探测 2.信 息反馈 4.更 新配置 1.主动 探测 2.信 息反馈 4.更 新配置 周期T ICMT 3.容量/ 性能分析 3.容量/ 性能分析 应用 应用 主机LUN 故障现象反馈 或主动收集 调整配置 变化的容量和性能需求 调整失败 再次调整 以往 被动、手动、有风险的资 源管理配置 宏杉ICMT架构总结 nRAID之上基于Ce
16、ll的存储资源池，彻底打破了传统串行资源 管理架构，可实现存储资源统一配置 nLUN由Cell配置而成，实现了LUN的全局配置，对LUN的多 类型资源和按需配置成为可能 n 继承了传统分层架构和RAID可靠性优势，但比传统架构、 LUN虚拟化资源配置效率更高，更智能； n 吸收了分散数据块的优势，比分散数据块架构更可靠，更智 能 架构特点 创新价值 n随应用需求，实现对性能、容量的动态弹性配置 n统计、分析、迁移智能过程实现自动化资源配置 n应用弹性QoS保证 功能特性 存储资源虚拟化 动态弹性、自动化资源配置 更先进，更智能！ ICMT的应用自动分层存储 基于不断变化的需求自动移动和放置数据 将数据在恰当的时间放到合适的地方 客户价值：获得应用需求和存储资源的最佳匹配，资源利用率提高的同时管理省心 省力！ 第 1 层 第 2 层 第 3 层 123456789101112时间点 性能 单I/O实例响应时间（毫秒）1-5毫秒 并发
