《磁盘阵列节能技术研究与实现》由会员分享，可在线阅读，更多相关《磁盘阵列节能技术研究与实现（54页珍藏版）》请在金锄头文库上搜索。
1、华中科技大学 硕士学位论文 磁盘阵列节能技术研究与实现 姓名：李海东 申请学位级别：硕士 专业：计算机系统结构 指导教师：陈俭喜 20090525 I 摘 要 摘 要 现在社会每年都产生巨大的信息量，由此产生了巨大的存储空间需求，使得存 储设备消耗越来越多的能量。磁盘阵列以其良好的性能和可靠性在存储设备中占据 了重要的位置。然而，磁盘阵列同时也带来非常高的能量消耗。 在磁盘阵列的诸多级别中，RAID5 性能较高，又能容忍一块磁盘的故障，因此 是应用相当广泛的一种。依据 RAID5 系统的特点，提出一种基于 I/O 重定向的节能 算法（IORE） 。该算法将读写请求分别考虑，当节能模式开启时，把
2、对已关闭磁盘的 读请求分发到其他处于活跃状态的磁盘，通过校验计算得出需要的数据，并返回请 求，把对已关闭磁盘的写请求缓存到 Cache 中，Cache 的使用率达到某个阈值时，优 先将非关闭状态磁盘的写请求的数据块刷到磁盘上；当节能模式关闭后，把缓存中 的数据块全部刷新到磁盘后再服务新的请求。同时，系统运行过程中动态的对平均 请求响应时间进行采样，判定节能模式带来的损失，采用逐步递增的窗口轮转的方 式，增强了算法的稳定性和可靠性。 为了验证上述针对 RAID 的节能算法的有效性， 基于 Linux 系统下的软件 RAID， 开发设计了一个原型系统。对实现的节能模块进行了功能性测试和性能测试，并
3、对 测试结果进行了分析。测试结果表明，设计达到了预期的目标。 关键词：能效；磁盘阵列；缓存；重定向 本文受国家自然科学基金（60873028）资助 II Abstract Abstract Nowadays, a great amount of information is generated among society activities every single year. It makes such a great requirement for storage capacity that the storage systems consume more and more energy
4、. RAID(Redundantly And Independent Disks) is good at its performance and reliability, so it is widely used in industry. However, the RAID systems consume a considerable amount of power at the same time. Among different levels of RAID system, RAID5 level is widely used as it is relatively good at its
5、 performance and it can tolerant one disk failure. Based on the characteristic of RAID5 level, we proposal an I/O Redirection-based Energy-efficient algorithm, called as IORE. The, read requests and write requests are considered separately in our IORE. Read requests towards the disk that has been sh
6、ut down are transferred to disks which are in active modes. After computing parity, the request data is obtained and the bio request is returned. When the power-efficient mode is tuned on, write requests are cached in a new cache level. Data blocks not located in disk that has been shut down are flu
7、shed to disks as a priority when the utilization of the cache reaches certain point. As soon as it is turned off, the data blocks in the new cache will immediately be flushed to disks. Then the new requests will be served. The degree of performance lost is judged according to the average response ti
8、me of requests which is dynamically measured at running time. In order to improve the reliability and stability of the system, a request window round-bin manner with stepped increase is implemented. In order to validate the above mentioned algorithm and technologies, we implement a prototype energy-
9、efficient system based on the Linux software RAID. We conduct experiments on the implemented energy-efficient module and analyze the results. From the performance test and functionality test, it can be seen that the anticipation of the system design is achieved. Key words: Energy-efficient; Redundan
10、tly And Independent Disks; Cache; Redirection; This work was supported by the National Science Foundation of China No.60873028 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体， 均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日
11、 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密， 在 年解密后适用本授权书。 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本 文 1 1 绪论 1 绪论 1.1 课题背景 课题背景 数据中心关键物理基础设施10年的使用维护费用大概是每机架81
12、5万美元1， 其中电能的耗费约占总成本的 20%。而这里面有很大一部分被浪费了，它们转换成 了热能而不是被设备有效利用。这种浪费很多时候是可以避免的。据估计，世界上 的数据中心每年消耗四百亿千瓦时的能量。因此，对于数据中心拥有者来说，减少 因数据中心能耗造成的浪费就成了一个很重要的公共政策问题和一个很现实的财政 问题。 据 2002 年的一个报告2显示，存储设备的能耗大概占到了一个数据中心总能耗 的 27%。时至今日，这一比例还会进一步增加，因为近几年数据量呈现爆炸式的增 长，磁盘读写速率越来越快，随之而来的是更高的能耗3。 由于很多原因，全球的存储需求是不停增长的。出于安全考虑，许多技术被开
13、 发出来保证数据的完整性，但同时增加了数据额外的拷贝。为了避免多个磁盘坏掉 导致数据丢失，人们采用了 RAID10 技术4；为了避免整个数据中心遭受灾难而损失 惨重，人们使用异地站点完全备份，例如微软、Google 等大公司都有很多处数据中 心，来规避像“911”或卡特里娜飓风带来的破产风险5。为了避免因操作失败和无 意的删改造成损失，有必要对关键数据进行备份6。为了遵守法律，企业的电子邮件 等必须进行归档存储7。 正在进行编码或测试的产品， 需要保留多个版本的即时数据， 来保护未成熟的产品8。 为了避免存储空间不够而使应用崩溃， 用户一般会未雨绸缪， 提供绰绰有余的存储空间9。为了快速且有效
14、的备份，人们发明了快照技术10。同 时，由于 PC 的普及，个人用户的信息存储量也增长迅速。与企业用户相比，个人用 户的存储需求更加不具计划性，导致了许多不必要的存储空间的增长。这些都是存 储空间的刚性需求，并且逐年递增。 随着全球数据存储需求的加大，对高性能硬盘的需要也随之猛增。因为各个公 司继续以每年快于 50%的平均速度增加其存储容量，企业级外部存储的磁盘数量继 续逐年攀升。在 2007 年企业用超过 4900 万硬盘驱动器进行数据存储，来满足持续 增长的企业数据存储需求。IDC 研究表明，在五年（2008-2012）内，该行业的出货 量将是过去 11 年的近 8 倍。在 IT 环境中，
15、硬盘能耗占整个存储的 33%，是计算系 2 统中的能源消耗大户。2008 年底 IT 公司在制冷和降低存储能耗方面的花费达 18 亿 美元，到 2009 年将超过 20 亿美元，这些在成本上的消耗足可以创造更多具有高效 益的数据中心。 磁盘阵列11自上世纪 80 年代发明， 90 年代进入商业应用以来， 就一直是主流的 存储方案不可或缺的重要组成部分，也是数据中心的最主要的存储设备。它利用数 据分割技术增加系统性能，利用冗余校验信息提高数据可靠性。这种手段非常成功。 为了存储安全和存储空间利用率考虑，RAID5 当仁不让的成为了最流行的 RAID 组 织级别12。因此，研究数据中心的节能问题主
16、要关注点还是集中在数据中心的存储 设备磁盘阵列上，本文也以研究磁盘阵列的节能，特别是 RAID5 的节能为主要 研究内容。 1.2 磁盘阵列技术基础 磁盘阵列技术基础 磁盘阵列在 20 世纪 80 年代被提出， 目的是使多个磁盘并行操作 I/O 请求来改善 系统的 I/O 性能。在 90 年代初，磁盘阵列就已经出现在了主要计算机厂商的产品线 中。半导体技术的发展和磁记录性能和密度不断的提升，极大地推动了磁盘阵列的 发展。半导体技术的进步使得制造更快的微处理器成为可能，使得系统内存的容量 不断提升，并反过来要求容量更大，性能更高的次级存储系统。 磁盘阵列很好的满足了这一要求。它把多个独立的磁盘组织称一个大的高性能 的逻辑磁盘。磁盘阵列把数据分割到多个磁盘上，并行的读写数据，使得大块数据 请求能以很快速率传送，小块数据请求可以更频繁的读写磁盘。数据分割技术13也 统一了各个磁盘的负载量，使得每个磁盘负载均衡。对于磁盘阵列式的数据丢失风 险增加的问题， 又可以用冗余信息来解
