《虚拟终端云的资源动态调度技术研究结题报告》由会员分享，可在线阅读，更多相关《虚拟终端云的资源动态调度技术研究结题报告（71页珍藏版）》请在金锄头文库上搜索。
1、中国移动集团级重点研发项目结题汇报报告2011年12月16日项目名称：虚拟终端云的资源动态调度技术研究目录一一. . 课题目标实现情况二、主要研究成果1.1 研究背景及目的p 终端云技术的发展为解决传统终端面临的诸多问题提供了可能，用户可以利用PC、瘦终端等，鉴权认证后通过网络访问数据中心云端服务器和应用，本地不保留关键数据，实现桌面系统的集中存储、集中控制与集中管理。p 中国移动计划通过虚拟终端云的资源动态调度技术的研究，论证根据不同类型用户的使用需求，通过一个逻辑虚拟终端云实现平台资源的合理调度的可行性，为下一步的虚拟终端云的建设推广工作提供技术储备。项目目的1231.2 主要研究内容研究
2、内容主要分为三部分：资源保障技术 研究从保障资源可用性的角度，研究对资源运行情况和用户虚拟终端运转情况的监控策略和内容，以及在相关资源紧张、计算/存储节点故障、虚拟终端性能无法满足业务需求/SLA等情况下，通过系统引擎自动触发资源迁移和配给的策略，并形成相应的方案，以满足资源使用连续性的要求。资源分配技术 研究从提高资源使用率的角度，研究基于虚拟资源的负载能力和时间策略，以及主动的资源配置决策，进而触发资源调度和配给的方法，并形成相应的方案，例如可以将不需要的服务器转为计算分析节点或关停等模式，有效提高资源使用效率。多租户支持技 术研究研究平台的多租户共享，为不同租户同时提供运营服务，满足不同
3、级别的SLA要求。研究元数据存储和索引机制的设计方法，满足不同租户隔离和服务定制需要。同时，根据不同用户不同资源的使用情况，研究具体的计量统计与计费管理方法。1.2.1 主要研究内容资源保障技术研究1、资源类型的明确和定义，监控对象、参数的收集和设计；2、针对不同资源、基于相关监控参数的KPI指标的设计，包括相关资源的利用率、虚拟终端的运转情况，以及机房环境的相关参数（机架温度、区域温度等）；3、资源调度操作的调研和定义，重点关注虚拟机层面的调度操作；4、KPI/KPI组与资源调度操作的匹配和映射, 结合租户的SLA（利用第三部分的研究成果），形成资源调度策略（包括KPI阈值的设计，阈值包括两
4、级：报警/提醒阈值、资源调度阈值）；5、资源调度策略中，结合租户的SLA（利用第三部分的研究成果），给出调度目标的选择原则；6、基于一定的模拟/仿真平台，通过配置相应的模式环境，对设计完成的调度策略进行模拟运行，通过相应的评价指标（如资源整体的利用率等）对调度策略的有效性进行验证；工作分解：1.2.2 主要研究内容资源分配技术研究1、需要主动分配的资源类型的明确，相关监控参数的确定；2、针对资源类型及主动分配需求，完成主动分配的KPI指标的设计（与第一部分形式保持一致），作为基于历史数据进行时间策略分析的主要参数指标；3、针对资源类型、相关的KPI指标，对相关监控参数的运行历史数据进行收集，基
5、于一定的经验/算法，分析主动资源分配的时间策略，完成基于历史数据的资源配置策略的制定；4、针对需要主动分配的资源类型、监控参数，根据历史数据分析结果，完成关键调度时间点的KPI阈值的分析；5、考虑到主动资源配置的风险，基于“时间策略+KPI”双重机制，完成主动配置策略的设计；6、基于一定的环境或模拟仿真的软件，对资源主动配置策略的可行性进行验证；工作分解：1.2.3 主要研究内容多租户支持技术研究1、调研现有的面向多租户的数据存储模式，设计满足中国移动虚拟终端云现状和需求的租户数据存储/访问模式2、基于传统的关系型数据库，设计在其上实现该数据存储/访问模式的数据存储Schema。3、针对设计完
6、成的数据存储Schema，完成该数据存储/访问模式下的数据查询、索引建立等典型算法的设计4、租户SLA的定义，基于虚拟终端云中租户的角色/群组划分、虚拟终端云中租户使用的资源类型及属性，设计完成租户SLA模型；工作分解：1.3 目标完成情况总结截至2011年12月15日，本项目已完成对虚拟终端云系统调研工作（个别针对性的研究内容视项目实施过程的需要随时进行），初步完成了系统架构的规划设计。按本方案目标设计，为确保所建议的虚拟终端云系统的可执行性，目前正在进行的是模块开发，以及对应仿真系统的搭建工作。1.3.1 目标完成情况总结资源保障技术研究明确了资源类型。确定进行资源保障所关注的KPI：主要
7、包括资源和用户虚拟终端的cpu、 内存、磁盘、网络等。完成了KPI指标的设计。通过KPI数据采集接口，收集资源运行情况和用户虚拟终端运转数据，进行监控。对资源调度操作和调度策略进行了定义。资源调度主程序来根据调度目标进行判断何时（通 过调研，确定阈值）以及如何进行调度（将资源紧张上的哪个虚拟终端迁移到，那个可用的资源上，以达到调度目标）。制定了调度目标的选择原则。 调度目标要综合考虑集群和单一节点资源使用率的合理性和均衡性初步仿真验证。建立仿真系统，进行调度策略进行模拟运行（通过 执行引擎，调研相应的VDI系 统的调度接口），对调度策略的有效性进行验证。完成情况：1.3.2 目标完成情况总结资
8、源分配技术研究明确了资源类型。确定进行资源分配所关注的KPI：主要包括资源和用户虚拟终端的cpu、内存、磁盘、网络等。完成了KPI指标的设计。通过KPI数据采集接口，收集资源运行情况和用户虚拟终端运转数据，进行监控。制定了基于历史数据的资源配置策略和调度算法。收集KPI指标的历史数据，基于历史数据，建立虚拟桌面的 负载模型、性能模型、成本模型，通过多目标优化算法（本项目中从性能和成本两个目标进行优化），提供出最优解曲线，结合不同的SLA等 级来确定资源分配模板和调度算法形成调度时间点与阈值的建议清单。在进行虚拟终端装箱时KPI阈值的确定，基于风险控制的原理，最大限度利用 资源。调度时间点的选取
9、考量的因素是提升系统响应时间，降低运维成本，保证资源相对充足。初步仿真验证。构建可模拟VDI环境下多种负载的仿真软件，可对不同资源配置策 略进行验证。完成情况：1.3.3 目标完成情况总结多租户支持技术研究明确了租户数据存储/访问模式。调研现有的面向多租户的数据存储模式，设计满足中国移动虚拟终端云现状和需求的租户数据存储/访问模式，确定使用key-value的方式实现多租户数据统一管理。设计了组合数据存储Schema。基于传统的关系型数据库，设计在其上实现该数据存储/访问模式的数据存储Schema，分为数据表和数据字典两部分。完成该模式下的数据查询、索引建立等典型算法的设计。针对设计完成的数据
10、存储Schema，完成该数据存储/访问模式下的数据查询、索引建立等典型算法的设计，研究value的 编码方式，并对XML/JSON/protobuf/yoyo四种编码方式进行实现和比较。3种 索引（B+/HASHTABLE/SKIP LIST）的实现和性能比较。完成租户SLA定义及模型设计。按照用户负载的高中低以及SLA的高中低，将用户分为9类。按照负载模型，建立性能和成本模型，通过多目标优化算法，确定各类用户与相应SLA对 应的资源配置模板和资源调度算法。对云中租户使用的资源类型进行了统一定义。对云中租户使用的资源类型进行统一定义，对资源使用进行统一计量，按照租户使用资源的地域的计费策略进行
11、计费。完成情况：1.3.4 本方案整体验证系统架构设定多租户统一管理平台主动资源分配平台动态资源调度平台整个验证系统将由3个平台组成：主动资源分配平台、动态资源调度平台和多租户统一管理平台 ，分别对应开题报告中的资源分配、资源保障和多租户这三点。1.3.5 模块开发整体计划目录一. 课题目标实现情况二、主要研究成果目录目录资源分配技术虚拟桌面云KPI指标设计SLA模板设计主动资源分配平台2.1.1 KPI设定综述KPI是由一组可度量和计算、并对系统运行和用户体验具有强相关性的参数组成。因此对于服务提供者来说，KPI的正确选择是指导系统运行以及制定合理SLA（服务等级协议）的关键。采纳VDI部署
12、业务驱动力来源于VDI系统的可管理性和安全性。由于性能和成本明显具有强相关性，VDI服务的成功与否主要集中在终端用户的使用体验和系统运行成本两个方面，因此服务提供者对于VDI系统的考核指标在选择上也主要针对这两个方面设定。所以在设计虚拟终端云时，也必须综合考虑性能和成本两方面的KPI，以保证通过逻辑虚拟终端云实现平台资源调度的可行性和合理性。VDI中设定KPI的思路VDI系统提供商（Microsoft, VMware, Citrix, Sun, etc）通常会提供明确的系统性能指标作为客户在系统选型、架构设计以及容量规划等阶段的主要参照。系统运维管理工具提供商（如IXIA）通常会制定面向业务系
13、统的系统监控方案，包含系统运行状态，系统健康状态以及用户体验等方面的主要参数和阀值。系统运维人员会针对业务系统的管理经验和最佳实践来制定指标。业界常见方法论参考2.1.1.1 成本KPI的确定思路根据ITIL，根据服务类型的不同，服务大致可以分为三类：核心服务、订阅服务和自主服务三类。对应到一般的VDI系统，核心服务是安装了操作系统的虚拟桌面，订阅服务是用户可以选择所需的虚拟应用，自主服务是个性化设置，比如需要一个定制的应用或者定制的桌面，所产生的额外费用将会被收费。ITIL服务提交手册中，给出了两种基本的思路“以成本为中心的核算法” ，以及“基于活动或服务的成本核算法” 。当一些非直接费用产
14、生服务的成本由多个客户进行分摊时，“基于活动或服务的成本核算法”是进行核算的有效工具。根据参考文献【1】，大规模主机托管中心的TCO主要由四个组成部分：硬件、能源、数据中心的运营资本和软件成本，并给出了一种多核CPU的成本模型。1 Hui Li, Giuliano Casale, and Tariq Ellahi . SLA-driven Planning and Optimization of Enterprise Applications. WOSP/SIPEW 10 Proceedings of the first joint WOSP/SIPEW international confe
15、rence on Performance engineering , 2010.*注：Tcore为单核benchmark 结果，Ncore为CPU核数，U为CPU使用率，I为测量周期，P0为调整后的常数，P1、P2为参数，CCPU为单CPU价格，Psys为系统能源消耗量，t为测量时间。在该模型中，将成本转换为CPU的核数，CPU使用率，单个CPU的价格，以及系统能源消耗量等，故可将上述指标作为成本KPI。2.1.1.2 性能KPI的确定思路在性能KPI的确定方面，我们的思路是，根据现有知名厂商的VDI系统中性能指标的采集示例，结合本方案的需求情况，给出本方案所使用的KPI建议。VMwareSu
16、n根据VMware VDI的官方资料，管 理员必须了解多租户使用资源的方式， 才可以建立一个在虚拟环境下向终端用 户提供可接受的使用体验的硬件资源库 。 其建议的VDI硬件资源评估步骤如 下： 确定性能指标关注点； 在一定周期内，运行选定的监控工具， 获取相应客户的资源使用情况； 评估建立虚拟环境的主机所需的硬件资 源； 这里，VMware给出的VDI需关注KPI 为：CPU、内存、存储量及IOPS。 Server and Storage Sizing for VMware VDI：A Prescriptive Approach；The managed desktop factory在Sun的VDI文档中，直接给出了建议的KPI列表。其中，本方案可能涉及到的性能KPI为：%AVA(服务可用性)、#TTR（故障修复时间）、#RT（平均解决时间），其余几个指标由于其是对VDI系统的整体性能指标，不能针对单个用户，因此不考虑这几个指标。2.1.1.3 本方案具体指标定义及计算方法考虑到监控物
