《基于DeadLine集群[1]... 三等》由会员分享，可在线阅读，更多相关《基于DeadLine集群[1]... 三等（11页珍藏版）》请在金锄头文库上搜索。
1、基于DeadLine集群渲染管理系统的功能扩展摘 要：随着近年计算机硬件和图形学的迅速发展，计算机动画得到了越来越广泛的应用。动画渲染耗费大量时间己经成为影响动画制作效率的一个重要因素。因此将集群技术引入动画制作领域构建集群渲染系统，成为了解决动画制作瓶颈、提高工作效率的必要手段。集群渲染系统能够对整个系统资源进行合理的分配和优化，对提交给系统的作业进行有效的管理，实施高效快速的大规模渲染。Deadline是一套为管理集群渲染系统而专门设计的应用程序，但由于应用环境的差异，在有些方面还是存在着不足。本文主要研究探讨基于Deadline构建的集群渲染系统，找出其中需要改进的地方，并有针对性地进行
2、完善，使之能更好的满足实际应用需求。本文首先分析了集群渲染系统的构成、工作流程和特点，并针对集群渲染系统的工作流程指出了可视化技术在集群渲染监控中的应用：系统状态信息可视化监控、作业状态可视化监控以及渲染结果可视化监控, ，提出了集群渲染监控的总体要求，介绍了用户访问系统的流程；指出本系统的主要功能要求，依据这些要求设计了系统的功能模块，其中主要介绍了负载信息收集和作业信息收集模块。其次,分析了目前国内外动画渲染的主流技术手段和方法，探讨了集群渲染系统的构成、特点、工作流程，渲染任务分发管理技术，利用异构平台资源来实现的动画跨平台渲染技术。研究分析了集群渲染系统管理软件Deadline，指出其
3、存在的不足之处，具体包括没有统计系统资源使用状况，无法计算任务产生的费用，在使用部分动画软件时无法利用异构平台计算资源，没有较好的资源调度策略等。针对当前应用需求，给出了开发集群渲染系统计费功能的方法和策略，系统地阐述了开发需求、设计思想以及实现方法，并对开发的扩展功能进行部署和测试。最后对论文进行总结，给出今后的研究方向。关 键 词：Deadline；集群渲染系统；可视化；计费。1.开发背景随着数字媒体制作手段的更新和数字电影、HDTV标准的普及所带来的海量数据，数字媒体制作对计算机的总线带宽计算速度等硬件要求越来越高。能带给人们极大视觉冲击力及真实感的3D动画，越来越多的出现在各类媒体作品
4、中。但是，单机渲染和动画生成计算往往非常耗时。虽然计算机的单机性能有了很大的提高，但是在处理复杂的3D图形时仍显力不从心。无论是单处理器的商用机还是双处理器甚至四处理器的工作站在面对渲染处理中的庞大计算量时，其处理能力都是十分有限的，即便是多处理器的工作站使用数小时渲染一帧较复杂场景也是很平常的事情。那么对于一个数分钟或者几小时拥有上万帧的片子，其渲染时间将是十分漫长的。这个问题已经成为动漫产业的最大瓶颈。集群渲染系统为动画制作带来了一套相对低价高效的解决方案，但作为数字内容创作的小型企业和个人用户而言，去投资构建一个这样的系统仍然是不实际或者不经济的。一个集群的软硬件的购置仍是一笔不小的开支
5、，而整个系统后期的运行维护更是需要资金的保障和技术的支撑。因此，构建一个公共的集群渲染系统，提供系统资源利用率，是一个较好的解决方案。多媒体公共服务平台的建设，使得任何用户都能够享受到超级计算服务而无需投资购买极其昂贵的软件和硬件设备，将极大的满足广大影视动画制作公司和个人对大规模渲染的需求，具有很高的经济效益和社会意义。软件环境的搭建是平台建设极其重要的环节之一，因此，开发出适合于平台动画生产流程的渲染管理工具，构建一套能有效解决渲染问题的软件系统显得十分必要和迫切。2沈阳动漫平台现状使用分布式渲染器，能够大大节省了渲染时间、减轻了渲染劳动强度，同时能够为高效率地完成后续合成工作打下了坚实的
6、基础，这一点在中、大型建筑模型应用和计算机动画等多媒体制作领域作用尤为明显，但是在良莠不齐的繁多的渲染器中选择一种具有良好兼容性，稳定性的，也十分繁琐。沈阳动漫平台的动漫渲染集群采用的集群管理系统是Deadline，它是著名的Frantic Films电影特效制作公司开发的基于windows的网络渲染管理系统，允许在Windows上排列和分配，管理电影序列的渲染工作，提供强大高效的3D和ZD网络渲染解决方案。Deadline是在制作公司成长起来的最贴近用户的方案，其用户除了Frantic Films自己以外，还有欧美大部分大型游戏公司，包括著名的暴雪游戏公司。Deadline的主要优点：(l)
7、支持几乎所有的渲染引擎，Deadline包括已经定制了Maya、3dmax、softimage/XSI、After Effrct、shake、mental ray。等应用提交窗口，还支持Blender和Gelato。(2)支持Real Flow流体计算软件。(3) Deadline整合了Render Pass Manger管理系统，使它能够为3Dmax提供最优秀的支持。比如在同一台机器上调用多个3D max版本进行渲染，进行良好的用户体验。(4)工作优先权、机器Pools、限制组、特别工作黑名单、等功能允许明确控制分配了的渲染任务，管理不同部门的资源。Deadline提供了非常详细和精确的任务
8、日志，不仅可以很方便的找到问题的原因，以最快的速度解决问题。而且可以为项目管理人员提供详细的工作数据。(5) Deadline支持远程控制软件，如Realvnc等，通过远程计算机操作维护系统。(6) Deadline新版本支持半帧分割渲染。(7)节电模式。然而基于Deadline构建的渲染系统可能都面临一个共同的问题，那就是不能够彻底实现跨平台渲染，应用具有一定的局限性。比如，对于3dsMax等只有Windows版本的软件而言，还不能实现Linux等平台下渲染。这里尝试使用虚拟机技术实现3dsMax等软件的“跨平台”渲染。本论文主要研究探讨基于Deadline构建的集群渲染系统中存在的不足，并
9、增加改进相应功能，使该系统能更好的满足实际应用需求。3集群渲染系统功能扩展的开发与设计需要为集群渲染系统开发的功能主要包括两个部分，一是集群渲染可视化监控部分的开发，主要是开发集群环境下的一个针对Deadline渲染的可视化监控（图3.1）登录查询已提交任务选择待监控任务获得任务状态监控负载信息监控任务状态查看渲染结果监控集群状态系统性能分析结束未执行正在执行已完成普通用户管理员图 3.1 系统访问流程当用户访问系统时，可以看到可视化用户界面控制页，在这个界面里监测系统接收用户的输入信息，判断用户权限，如果是普通用户登录后，选择查看内容，根据请求显示负载信息、任务状态、渲染结果；如果是管理员用
10、户还可以查看集群状态以及系统性能分析。二是计费功能的开发，根据以上分析，可以看到整个系统完全需要重新构建的是计费模块，其他的都是针对原有的信息进行相关的分析处理和过滤，换言之，其他方面的需求都是以其为中心展开服务的。4可视化监控模块的开发设计4. 1 模块结构图从功能上可以划分为四个模块：节点负载信息收集模块、作业信息收集模块、数据收集模块，以及可视化模块。系统功能模模块如图4.1：可视化显示信息收集命令数据库服务器命令接受数据库客户端负载信息收集底层资源LSF作业信息收集主控机建立联系收集数据计算节点图4.1 系统功能模块结构图 (1)节点负载信息的监测一般采用client/server模式
11、在集群的各个节点上，设置一个负载信息管理器（LIM），即守护进程(Server daemon)在后台运行。Server daemon每隔一定时间就在后台收集负载信息记录在负载日志中。经过计算，得到该进程的系统资源利用情况，包括CPU利用率、内存利用率、磁盘可用率、系统中的进程数、系统负载、网络流量等信息Error! Reference source not found.。(2)作业信息收集模块主要是收集作业运行状态、执行主机、开始执行时问、结束时问等。(3)数据收集模块。由于大场景渲染中，运算时间比较长，节点的采样频率不能过快，否则会造成整个集群的性能下降；但若采样频率太慢，又容易漏掉对一些重
12、要的数据的采集。故在设计上宜采用灵活的采样频率，该采样频率可以由用户自定义设置。(4)可视化模块。该模块既可以伴随渲染作业的执行实时或事后形成视图。一个完整的视图可视化过程是这样的：首先对来自性能数据接收器中的数据进行简单加工(统计分析)和计算，再将这些性能数据映射到某种视图上，以形式化的方式得以表现，借以帮助管理员了解集群状态和性能。在主控节点上，用户可见到的只有可视化用户界面控制面板，在这个界面里监控系统接收用户的输入信息，识别用户是否有权限访问资源。根据用户需求向计算节点发送命令和数据，这些命令包括开始采集数据，设置采集频率等。主控节点的数据库部分把数据从数据库服务器提取出来后分析量化显
13、示出来，并对数据进行一定的对比操作，以图形形式提供给用户。计算节点部分是整个系统的关键部分，完成集群系统中硬件环境和软件环境的数据采集工作，同时把采集到的重要数据通过网络保存到数据库服务器。采集数据的实现方法主要通过LSF平台的LIM进程来实现。另外，在计算节点上不设置本地数据库系统，所有数据的保存全部通过网络来实现的：这样可以减少计算节点的负担，但是同时增加了网络通信的负担，这在以后的工作中需要进一步的优化。4.2 信息收集模块设计信息收集模块直接负责底层资源数据的收集，考虑我们要监控内容的区别，把负载信息和作业信息的收集分开来设计。(1)负载信息收集收集负载信息的方法通常有三种，周期性收集
14、策略，命令驱动策略，状态变化驱动策略周期性收集策略是指每隔一定的时间周期，每个节点就向其它节点报告(或查询)最近的负载状况。周期性策略需要很大的通讯开销，对系统状态变化的适应能力很差，在一定情况下会加重系统负载；命令驱动策略依赖于系统的状态，只有当节点成为发送节点或接受节点时才可向其它节点发送请求(迁入或者迁出任务)：状态变化驱动策略随着时间的变化，系统的负载状况会发生变化，节点仅在发生某种程度的变化时，它才发布自己的状态信息，可以是集中式或非集中式的。LSF系统是有LIM来管理负载信息的，每台机器上都分配了一个LIM，而且采取的是周期性的收集策略(图4.2)。监视负载信息发送负载信息更新负载
15、信息负载收集模块平衡负载负载排队管理节点LIM调度器图4.2 负载信息的传递过程在lsf.conf文件中定义的周期时间，默认值为5秒。即每个5秒的时间，LIM更新内部的负载信息。当调度器提出负载信息收集需求时，LIM将最新的负载信息发送到调度器中，从而为负载排队以及负载平衡提供依据调度所需的信息，如任务信息，目标机器信息等重要参数被记录在数据成员中，调度器依据这些信息为负载排队，并记录调度的结果，包括任务被调度的开始时间，结束时间等信息。调度程序运行时包含两个重要的头文件lsf.h和lssched.h。这两个文件定义了调度器支持的相关数据结构。5计费功能模块的基本结构设计本文针对Deadlin
16、e的部署特点和计费功能需要，提出其结构分布图。主要分为服务器端，计算节点端和用户接口端三个部分。服务器(Server)端:Manager、数据库、Data processor;计算节点(Nodes)端:Collector;用户接口:Collector Configure Console、Manager Configure Console、Web interface。各个模块功能说明如下:Manager:安装在服务器上，用于向Deadline Dispatcher Service查询节点信息和渲染任务信息，并向Collector发送命令;数据库:用于存储采集到Nodes的各种信息，包括进程资源占用率等，同
