《磁盘阵列级节能技术的研究与实现》由会员分享，可在线阅读，更多相关《磁盘阵列级节能技术的研究与实现（57页珍藏版）》请在金锄头文库上搜索。
1、华中科技大学 硕士学位论文 磁盘阵列级节能技术的研究与实现 姓名：程波 申请学位级别：硕士 专业：计算机系统结构 指导教师：万继光 2011-01-13 I 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 摘摘 要要 在过去的几十年中， 并行 I/O 系统被广泛应用于科研和商业领域。 大规模存储系 统在提供海量存储空间和高速访问速度的同时也带来了大量的能耗，增加了数据中 心的成本。大多数已有的节能技术通过在合适的条件下关闭一部分磁盘来降低能耗， 但没有考虑这种方式对系统的可靠性和性能的影响。 通过对现有节能技术研究，在级别为 10 的冗余磁盘阵列的基础上提出了一种使 用
2、小容量冗余磁盘阵列作为写缓存的节能阵列。系统将镜像磁盘阵列中的每个主盘 保留一部分存储空间组成一个小的磁盘阵列作为写缓存，而将镜像磁盘全部设置成 低能耗状态以达到节能的目的。为了提高写请求的处理速度，写缓存采用日志写的 方式。在镜像盘处于低能耗状态时，以冗余阵列的方式组织缓存能够保证系统的可 靠性。从主盘中保留出来的空间很小，不会降低数据的存储空间。 节能阵列在企业级 iSCSI 目标器的底层增加一个节能模块， 使用 Linux 内核态磁 盘阵列软件来组织磁盘数据。节能模块主要包括请求处理，磁盘控制和倒盘三个模 块。请求处理模块负责接收上层数据，判断数据存储的位置然后将数据发往合适的 位置。磁
3、盘控制模块根据条件转换磁盘状态；倒盘模块在缓存空间达到阈值时将缓 存中的数据写入的数据盘和镜像中盘。 通过基准测试工具和 trace 驱动的负载测试，验证了节能整列在写负载比较集中 时能耗比 Linux 内的磁盘阵列软件要小 50%，而性能与之相当。通过理论分析和测 试可以看出，实现的节能阵列在写请求比较多的环境中节能效果明显。 关键词：存储, 磁盘阵列,节能，可靠性 II 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 Abstract In the last decades, parallel I/O systems are widely used in scien
4、tific and commercial fields. Large scale storage systems have increased total cost of data center while providing great storage capacity and performance. Most of the energy conservation technology tend to turn part of disks into low power state to reduce energy consumption, but didnt deal with the r
5、eliability and performance decrease. After investigating several energy conservation technologies， an new architecture that using sub-RAID as write buffer based on RAID10 is designed. Space that deserved from primary disks of RAID10 is organized as RAID5 which is used as a write buffer, while mirror
6、 disks are turned into low power state to conserve energy. In order to improve write performance, write requests are written to write buffer sequentially. When the mirror disks are in low power state, the system is still reliable because the write buffer is organized as a RAID5. As only little space
7、 is deserved from the primary disks, the storage space will not decrease much. An Energy conservation module is added in the bottom of IET to form an energy-efficient RAID. This module contains three smaller modules: request hander, disk controller and destager. Request hander is responsible to rece
8、ive data from upper layer, and decides the position of data and redirects it to the right position. Disk controller is used to change disk states according to several conditions. Destager is activated when the space of write buffer is lower than threshold, and update data to primary disks and mirror
9、 disks. We evaluated our energy-efficient RAID by running some benchmarks and trace driven loads. The result show that our energy-efficient RAID can reduce 50% power cost than MD while keeping the same write performance. By test results and analysis, our energy-efficient RAID can reduce power cost o
10、bviously when the write requests are intensive. Key words: Storage, RAID, Energy conservation, Reliability 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权
11、书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密， 在 年解密后适用本授权书。 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 1 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 1 绪论绪论 1.1 课题背景课题背景 随着数据生产的快速增长，企业对用来存
12、储数据的存储空间的需求越高，大规 模的并行 I/O 系统在高性能海量计算机系统中被广泛使用。典型的需要大规模并行 I/O 系统来进行海量数据处理应用包括：长时间运行的仿真1，远程监测应用2,生物 DNA 序列分析等3。由于并行 I/O 系统的规模不断增大，I/O 系统的能量消耗占总体 拥有成本(TCO)中的比例也越来越大。怎样降低这些 I/O 系统的能量消耗成为系统设 计过程中必须考虑的一个非常重要的因素。在数据中心，磁盘系统消耗能量数在整 个系统中的比例在 2002 年已经达到 27%4。在增加存储系统容量和减少平均响应时 间的时候，存储系统的能耗会更大。 减少计算系统的能耗的研究已经成为当
13、前的热点领域。在海量数据计算环境中， 由于磁盘规模庞大， 不可避免地需要消耗很多能量。 数据中心的用电功率一般在75W/ 平方英尺到 200W/平方英尺之间， 在不久的将来这个数字很有可能会增加到 200-300/ 平方英尺5。大规模计算系统造成的能耗不仅影响企业的经济效益，对生态环境也会 产生威胁。美国环境保护署的发布的数据显示每生产 1 千瓦的电量会生成 1.55 磅的 二氧化碳。大规模的集群系统每年会使用 40TW 的电量，花费 40 亿美元。从这些数 据可以看出节能的计算机系统对经济和环境都有积极的意义6。 图 1.1 显示的是未来服务器和数据中心能量消耗的预测图。每条线代表不同场 景
14、下能耗增长的趋势。从历史的趋势来看，能耗将会以大于线性的速度增长。还有 几种趋势线能够提高服务器和数据中心能量消耗的有效性。设计节能系统的目的就 是使得服务器和数据中心的能耗尽量减少，使之趋向理想的增长速度。 2 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 图 1.1 用电量历史和未来能耗趋势 1.2 磁盘阵列简介磁盘阵列简介 独立磁盘冗余阵列22(Redundant Array of Independent Disk RAID)是一种利用冗 余数据和合并独立磁盘组成一个逻辑单元的技术，用于提供增强的、可靠的存储。 将单个容量小、可靠性差、速度慢的磁盘组成 RAID
15、 后，可以提供大容量、高可靠 性、高性能的存储服务。用户可以根据自己的需要选择不同的 RAID 级别。将多个 磁盘组成 RAID 后，用户能看到一个大容量的磁盘。 RAID5(块级分条与分散的奇偶校验)是目前使用比较广泛的一种 RAID 级别。它 的奇偶校验位分散在所有的磁盘中。它允许任何一个并且只有一个磁盘失效。当这 个磁盘失效后需要有热备份盘来替换失效的磁盘，否则会导致数据丢失。RAID5 有 较高的磁盘利用率、较好的可靠性和较高的性能，因此被广泛地应用。 RAID6(块级分条与两个分散的奇偶校验)可以容忍两个磁盘失效而不影响用户 的使用。在对可靠性要求比较高的领域 RAID6 被广泛使用
16、。当单个磁盘容量变的非 常大，重构时间也会随之增长，存储系统长时间处于脆弱期时，这种能容忍两个磁 盘失效的技术显得更为重要。 由于计算机系统的处理性能与 I/0 系统的响应速度之间的差距不断增大， 以磁盘 为基础的存储系统成为了瓶颈。当磁盘的容量成倍增长，价格下降的时候，广泛使 3 华华 中中 科科 技技 大大 学学 硕硕 士士 学学 位位 论论 文文 用如 RAID10 这样的镜像类型 RAID 成为可能。RAID10 能提高 I/O 系统的并行性， 缩小处理性能与 I/O 访问速度之间的差距。 相对于 RAID5 和 RAID6 来说,RAID10 除 了能提供更高的读带宽外，还没有小写的问题。当有写请求到达时，RAID10 只需更 新数据的两份拷贝。而 RAID5 和 RAID6 在遇到小写的时候，要读写 4 次或 6 次磁 盘。因此高性能的系统，如 GPFS 和 CEP 中使用 RAID10 来存储用户数据7。 1.3 国内外现状国内外现状 为了解决能耗的问题，国内外体系结构和能量控制界的专家
