高性能计算中心绿色节能解决方案

《高性能计算中心绿色节能解决方案》由会员分享，可在线阅读，更多相关《高性能计算中心绿色节能解决方案（9页珍藏版）》请在金锄头文库上搜索。

1、高性能计算中心绿色节能解决方案随着计算能力的不断增加，大型超算中心的能耗也急剧攀升。降低能耗、提升IT效能，是建设大型超 算中心时需要重点解决的问题。基于此，深圳先进技术研究院在建设高性能计算中心时，将节能技术的研 究放在了突出位置。本文从机房设计、体系架构设计、节能软件设计等方面进行分析，为建设绿色节能的 大型超算中心打下良好的技术基础。面向科学计算的超级计算机性能已经跨越百万亿次向千万亿次发展。与此同时，互联网信 息服务公司(如Google、Amazon、百度和腾讯等)陆续建立了庞大的数据中心。随着计算中 心与数据中心两类典型的超级计算平台规模的不断增长，随之而来效率和能耗(简称效能)问

2、题也越发严峻。如，TOP500高性能计算机系统第一名IBMRoadrunner系统的功耗达到了 3.9MW，第二名CrayJaguar系统的功耗则更是超过6.5MW1。虽然性能/瓦特比(performa nce-per-watt)在持续提升，但这种进步却被能耗总量的增加 问题所掩盖2。对系统规模的增长，能耗因素已经开始表现出限制性作用oBlueGene的首 席架构师Gara先生在谈到Petaflop级系统的能耗问题时称，他相信在2015-2020年间有 可能实现峰值能力为200Petaflop的超级计算机，但届时就算将效能提高20倍，那样的系 统功耗仍然需要25-50兆瓦，运行成本将与其构建成

3、本持平。而最能反映业界对能耗关注 的是国际超级计算会议上Green500排名的诞生，以性能能耗比为指标对Top500中的系统 重新排名，得到了学术界和工业界的广泛共识。深圳先进技术研究院在建设高性能计算中心时，将节能技术的研究放在了突出位置。初 步预估，该计算中心每年的功耗将高达20兆瓦左右。即使电价不变，该系统一年仅在电费 上就要花去至少1亿元，这是一个非常大的成本。为此，本文在建设之初就进行节能技术 的研究，用以节省整体的运营成本。2国内外研究现状和趋势计算中心的节能是一个系统的工程。因此，需要从整体上进行考虑和设计，这样才能形 成一个系统的解决方案。现阶段，国内外各类计算中心、数据中心在

4、节能方面的研究主要集 中在如下几个方面：1) 硬件架构革新服务器厂商寄希望于在硬件设计上改良，降低机器设备本身的功耗。例 如：HP的刀片服务器BladeSystemCClass系列放弃传统风扇，采用主动式冷却风扇 (ActiveCoolFa n)和热能调节器，宣称可以节省服务器50%的电力消耗及数据中心30%的空 调支出。而近年来兴起的刀片服务器规格设计(Formfactor)，亦被业界视为省电的重点。原 因在于，虽然刀片服务器是高发热源，但若考虑其运算效能，还是比传统的服务器要节能。 原因在于每一刀片服务器的能源利用率较普通服务器更高。2）机房设计绿色节能的机房设计研究是计算中心整体绿色节能

5、设计中的重要组成部分。在机房设计 中，首先是冷却媒介的改进。新一代冷却媒介主要是水，主要是让热气吸入水冷式设备，经 过降温后再排出来，并且缩短送风距离，藉此缩小冷热风温差。此类作法包括IBM、HP及 APC。如APC提供的机柜式空调InRowCooling,它是将空调设备置于机柜中，使机器和 冷却系统距离不超过2公尺，不但可根据机房中热点加强冷却，并可视需求进行阶段性扩 充3。其次，在整体机房的布局上，各厂商也在努力进行研究，包括各类热道、气流的研究。 如34Vol.3No.8/Aug.2009APC的“热信道封密系统”，将机房热通道以隔板更有效隔绝开来, 防止热气散逸与冷风混合。HP提供了称

6、之为“动态智能型散热（DynamicSmartCooling,DSC）” 的技术，可降低40%的散热成本3。3）系统管理软件系统管理软件的智能化调度与管理，则能够在机房运营管理阶段起到节能的作用4。 如现阶段的IBMTivoli、HPOpenView等著名的系统管理软件，能提供效能监控、分析及状 况回报等等。4）日常节能管理良好的、高效的日常维护能主观的、能动的对计算中心节能起到推动作用。如HP公司 可以提供的日常节能管理方面的技术就有热区测绘等，它利用遍布在计算中心各处的热传感 器，再加上测绘分析软件，能帮助客户确定如何调整计算中心的空调设置，从而在机房内形 成更为有效的冷却区。另外，各类智

7、能化的能控管理技术也在不断更新，这些从各个运营细 节入手的技术，将起到降低运营期间能耗的作用。3高性能计算中心绿色节能解决方案本节详细阐述高性能计算中心绿色节能的解决方案。首先介绍总体解决思路，然后从四 个方面具体介绍解决方案。3.1总体思路高性能计算中心绿色节能的总体解决思路如图1所示，绿色节能的设计工作包括建设 阶段和运营阶段两部分，其中建设阶段包括机房建设、体系架构设计，运营阶段包括节能系 统软件设计、智能能控和运营管理。具体进行研究和设计的内容包括如下四个方面。1）绿色机房的设计绿色机房的设计方面，我们重点研究机柜布局与空调制冷，以及绿色机房供电方案。2）节能体系架构的设计节能体系架构

8、的设计方面，我们的研究重点在于服务器虚拟化和单节点硬件的选择。3）节能系统软件设计在高性能计算中心的运营过程中，功能全面、策略完善的各类管理软件是绿色节能的必 要保障。我们研究的内容包括自适应调度模型和监控模型。4）智能能控和运管制度在高性能计算中心的运营过程中，精确的机房能控和严格的运管制度是推动高性能计算 中心节能的必要手段。我们研究的内容包括楼宇能耗设备的热量监控系统，和节能运行管理 制度。3.2具体方案3.2.1机房节能1）机柜布局与空调制冷高性能计算中心的机房制冷，采用风冷和水冷相结合的散热方案。a）在风冷散热方案中，首先，为利于设备散热和节能，机柜的布置采用面对面和背对背 的方式。

9、同时，空调分散布置到靠近机柜的各个区域，即：面对面的机柜前方摆放制冷空调，向斜下方吹送冷风。同时每个机柜底部向上吹送冷风，加速热通道的热空气向上流动，如图2所示。热空气上方设通风口，上升热空气经通风口排出。0图2机相冷想气流控制这样，机柜面对面布置形成冷风通道，背对背布置形成热风通道，如图3所示。同时，服 务器机柜和网络机柜均采用带网孔门，门尽量有高通孔率，增大通风面积，利于散热。图3 面对面和背对背的机柜气流示意图其次，在该方案基础上，还要考虑一种气流措施来防止排 出来的热空气进入到冷通道而造成混风。我们的方案是一种低成本的方法，即在热通道的两 头以及机架上的冷却排气系统上，使用透明塑料长条

10、把空气控制在热通道，使用同样的长条 在管道和设备周围形成一道物理屏障，从而避免混风的产生。据估计，对于大型高性能计算 中心，单使用该方法每年就可以节省100万度电。另外，针对机房的专用空调，在室外加装冷凝器水喷淋装置，以降低机房专用空调的能 耗。因为若不采取辅助降温措施的话，冷凝温度会随着大气温度的上升而提升很高，直接影 响制冷系统的产冷量，加大压缩机的功耗。该方案比较适用于深圳这种年平均气温较高的城 市。b）在水冷散热方案中，采用水或其他冷媒，由外部水冷机组提供冷却水经由管道输送到机柜 内的热交换设备，冷却水在热交换设备内与服务器产生的热空气进行高效率的热交换，可以 有效解决大功率高密度服务

11、器所产生的热量。水冷和风冷方案的有效结合，可以更有针对性的为机房节能2）绿色机房供电方案高性能计算中心的供电要求严格，供电系统由附近的变电站引入到大楼的变配电房终端 环网柜，采用双环路，互为备用。将传统的集中配电改为区域配电方式，这样，将配电的管 理移到“区域”级，解决从机箱到机架的集成电源管理问题。机房用电设置模块化UPS电源， 保护机房正常运行的同时节约运行电费。另外，使用油机、蓄电池等设备，使高性能计算中 心对跳电实现零接缝。在机房布线方面，有两种布线方式，一种是集中配线式，另外一种是 两级式的线缆管理。我们采用集中式布线方式，这种方式将由一级交换机直接指向服务器， 能通过缆线直接到达用

12、户服务器，在节能环保方面表现突出。3.2.2节能体系架构体系架构的设计方面，主要包含服务器虚拟化和单节点硬件选择等几个部分。1）服务器虚拟化方案虚拟化技术整合多个物理服务器，可提高服务器的资源利用潜力。调度系统自动管理虚 拟服务器，能动态构造计算逻辑域。在该逻辑域中，包含了与用户并行计算量相适应的、在 机房空间区域上比邻的若干虚拟服务器群。因此，计算逻辑域中的服务器工作在满载模式， 可以共享模块化的能量智控和精密制冷，而那些没有计算任务的服务器，可以工作在待机节 电模式，并相应的减少制冷量。2）存储与计算由于计算群和存储群在可靠度、功耗、速率、使用率上都存在很大差别，因此，我们把 计算群和存储

13、群分开，这样既便于管理又利于节能。3）单节点硬件方案通过单节点硬件比较，初步采用如下较为节能的硬件部件。A、采用节电多核CPU选择Intel酷睿Core2Quad这种高效节能、架构优化的CPU。B、采用DDR3标准内存DDR3标准仅部分刷电，因此DDR3内存相比DDR2内存节能效果更优。C、权衡SSD硬盘SSD硬盘采用Flash电子阵列（例如NandFlash）作为存储介质，没有机械移动和读写部分，能显著降低功耗。但另一方面，SSD硬盘造价过高、使用年限不长，高性能计算中心 不会完全使用SSD硬盘。D、刀片服务器的选择采用多功能的刀片服务器，在不同的工作负载下，刀片服务器的CPU、风扇和电源供

14、 应，可以分别工作在工作模式和节电模式。3.2.3节能系统软件在运营阶段，需要良好的调度模型和严格的监控管理，保障高性能计算中心的节能。1）应用特征分析和自适应调度模型设计对于应用来讲，降低部件功耗（例如调低频率或降低电压），应用需要运行的时间会加长， 从而损失了性能，但总的功耗不一定能降低。因此，需要针对典型应用研究性能和功耗的相 互影响关系，建立应用级高效能评价模型，这将为功耗管理提供理论依据。该模型的研究可以从不同特征典型应用研究如手，例如：科学计算应用与数据中心应用 对资源消耗的特征差异较大，前者大多独占节点和处理器运行，后者则可以共享资源。计算 密集型应用对多核处理器的core、ca

15、che和memory等资源敏感，数据密集型应用对存储 容量、磁盘I/O性能敏感，它们产生的负载特征不同，对能耗影响不一，导致能耗管理方法 各异。可采用模糊集或粗糙集等相似性理论分析应用的负载不平衡特征，研究降低功耗的方 法。作业调度系统需要根据以上应用负载特征，对应用进行自适应的调度，自动将应用调度 到最匹配其资源消耗特征的资源上运行，达到功耗管理的目的。2）对硬件设备的监控和管理对硬件设备的监控管理模式为：监控节点硬件（比如 CPU、 Memory、 Disk 等）的负载动 态变化，并对其功耗进行管理和优化。具体的CPU和DISK功耗管理方案如下。CPU 功耗管理：根据资源需求变化，调节资源

16、池中的 CPU 等空闲资源，使其处于休眠 或正常耗电状态；根据应用特性，对 CPU 的功耗状态进行动态调节。 DISK 阵列功耗管理： 动态确定磁盘转速，转速过快或性能目标不能满足的Disk会自动迁移数据到合适DISK，从 而进行自动性能调整。3.2.4 智能能控和运管1）智能能控智能能控包括对楼宇内各类能耗设备的监控。其中，比较典型的就是机柜动态智能散热 控制。通过部署在机房每一机柜和各个节点内的温湿度传感器，动态监测高负荷（高发热量） 的设备温湿度，当某个节点负载高，发热量上升的时候，制冷设备加大对其制冷力度（包括 调整抗静电地板通风板的通风口大小，开关部分空调设备、调节空调设备频率和速度等）； 而当某些节点运行在低负载下，发热量低时