《第二节网格的资源管理讲课教案》由会员分享，可在线阅读，更多相关《第二节网格的资源管理讲课教案（78页珍藏版）》请在金锄头文库上搜索。
1、第二节 网格的资源管理,网格和集群RMS面临的不同环境,广域 分布多域 规模庞大 资源种类多 异构性更强 共享和私有共存 更多的用户,网格资源管理核心结构,网格资源管理和分配 网格资源信息服务 网格资源监控 网格资源需求描述,资源管理和分配,资源信息服务,资源监控服务,网格资源管理和分配,多管理域协作的困难,不同地点管理域的安全机制不同，资源具有很强的异构性 schedulers, hardware architectures, operating systems, file systems） 用户对远端资源特性知之甚少，也不容易获取这样的信息。 分布式环境可能出现多种不同形式的错误 mult
2、i-site computing environment, computers, networks, and subcomputations都会出现失败 在多个管理域上完成计算任务所需要的跟踪记录工作十分繁重和困难 特别是在子计算之间的关系和错误出现,网格资源管理和分配要求,可扩展 在管理方面没有集中的瓶颈 适应多种应用和管理需求 有效 能够处理大量资源的管理和用户请求 灵活 可以和各种已经存在的资源管理和调度工具共同工作 灵活构架各种应用资源管理模型和结构,网格资源管理和分配任务,可扩展资源管理体系结构 规模可扩大 兼容各种现行系统 构建多种实现结构,各个结点缺乏和整个专项其它项目的沟通和交
3、流。,网格资源管理和分配任务,全局统一管理 统一视图 用户操作多个管理域的资源，如同在一个管理域 在日常的工作中，动态地发现、请求与管理计算资源 不受资源所在地理位置不同的影响 任务运行时间的长短以及运行该任务的开销,分布多域资源,网格资源管理和分配任务（续）,保持局部资源管理的自治特性 每个管理域都有自己的资源管理系统和控制策略，例如PBS，LSF等 相互之间是一个平等关系,网格资源管理和分配任务（续）,多种访问控制和授权机制协调 全局访问授权和局部访问授权 全局访问控制和局部访问控制 用户定义问题？网格用户和局部用户 多级访问控制？ 映射？,逻辑网格管理授权中心,社区授权服务CAS,问题:
4、一个社区给用户对大量资源集合进行访问授权 减少用户和资源提供者的负担 社区授权服务Community Authorization Service Community negotiates access to resources Resource outsources fine-grain authorization to CAS Resource only knows about “CAS user” credential CAS handles user registration, group membership User who wants access to resource asks
5、 CAS for a capability credential Restricted proxy of the “CAS user” cred., checked by resource,社区授权服务,User,网格资源管理和分配任务（续）,全局资源的联合分配 各个域的资源联合或独立工作解决一个问题，经过统一的协调和分配 一个问题的多个任务在不同管理域资源上运行的联合管理和统一调度 资源的预约和联合预约 资源的事务性原则保证等,网格资源管理和分配任务（续）,资源的统一公共接口 各种类型资源的操作接口不同 资源之间的相关性管理 不同级别的资源管理之间的关系,网格资源管理和分配任务（续）,队列
6、根据属性和资源要求 优先级别 执行、等待、挂起等 策略的管理 计算环境的高级自动控制机制 多种策略,资源需求描述,资源需求的描述 表达各种资源 表达各种资源的需求 表达各种任务 综合表达能力 资源需求的描述语言 语法 属性 标记,网格资源信息服务,网格资源信息服务GIS（grid Information Services）,信息服务：关于资源特性和状态的元数据收集、存储、管理和服务 提供资源状况描述资料的服务 对管理网格、应用网格的操作和构建至关重要 什么样的资源是合适的？ 资源发现 网格的状态是什么? 资源选择 如何优化使用资源？ 用户配置和自适应调节机制 需要一个通用的基础信息服务 回答上
7、述问题,信息服务的应用列举,调度：问题空间映射到资源空间 体系结构、操作系统，系统软件、应用软件性能、可用性、策略等 动态信息：负载以及未来资源可用性的预测 服务发现 记录虚拟组织成员可以得到的各种服务及其特征 此类服务信息的特点：信息相对稳定并且容易获得,信息服务的应用列举（续）,选择最合适的拷贝（数据管理）： 合适的数据往往在多个地方有拷贝，选择哪一个？ 依据：存储系统与网络的系统配置、即时性能与预测 自适应性保证： 应用程序与底层环境的各种组件 通过对运行的程序及其外部可用资源的监控，结合资源状态，调整应用程序的行为，达到提高效率的目的 性能诊断与故障排除： 第一步：发现异常行为 排除故
8、障的依据：信息 信息的特点：任意性，动态性，可以由故障排除器通过启发的方式确定,有用信息的例子,计算资源的特性 IP address, software available, system administrator, networks connected to, OS version, load 网络的特性 Bandwidth and latency, protocols, logical topology 系统的特性 Hosts, resource managers,网格环境信息服务的特点,资源信息多样，数量大 底层基础资源到上层应用和用户 资源信息来源地理位置分布 分布的状态很难获得 C
9、omplexity of global snapshot 资源信息动态变化 信息往往是过时 随时间而改变，需要有质量的数据 部件失败 服务规模大 可扩展性 低开销 多种不同的使用场景 不同的策略、不同的信息组织，etc.,网格资源信息服务的要求,提供统一、灵活的信息访问方式 访问系统及其组件的动态与静态信息 可扩展高效地访问动态数据 可以访问多个信息源 信息分布维护和保持,GIS 问题: 许多信息源，多个视图,R,R,R,R,R,R,R,R,R,R,R,R,R,R,R,R,R,网格资源信息服务GIS任务,资源的信息模型 资源的特性和状态 资源之间的关系 资源信息的描述 如何描述各种资源XML，
10、LDAP？ 如何描述资源之间的关系 资源的信息存储 资源状态信息存储分布还是集中？,网格资源信息服务GIS任务,资源信息的服务 提供有关系统的动态和静态信息的统一访问 检索、查询、更新、广播等 资源状态信息对外服务 网格资源注册协议 网格资源查询协议 灵活多级分布的资源信息服务 灵活分布多域的资源管理模型，适应不同的管理模型 灵活构建所需要的信息服务结构和机制 在异构和动态的网格环境中的系统配置和自适应的基础,两类信息服务器,资源描述服务 提供关于某个资源的信息 (e.g. Globus 1.1.3 GRIS). 汇集目录服务 汇集多个资源信息服务，形成信息集合 (e.g. Globus 1.
11、1.3 GIIS). 个性化命名和索引,GIS Architecture,A,A,Customized Aggregate Directories,R,R,R,R,Standard Resource Description Services,Registration Protocol,Users,Enquiry Protocol,信息服务总体结构,传统的资源信息服务不足之处。 Globus 1.1.3采用中心服务器模式的资源信息服务 网格系统的扩大，中心保存的信息越来越多，可扩展性差，一些比较动态的信息难以及时更新。 Globus目前采取了层次结构和分布式服务 各地点的资源信息服务可以分层，采
12、用GIIS和GRIS的模型完成。 为各地点的资源信息服务增加cache的功能，缓存其他地点的信息,信息服务总体结构,允许灵活的多级别信息服务总体结构的建立 层次式的信息服务 对等式的信息服务 混合式的信息服务等 多个访问入口 多级Cache 标准的查询和注册协议 兼容各种实现方式 通用的信息模型,逻辑层次结构部署,ISI,信息服务提供者,汇集,Grads,Gusto,协议,协议,协议,协议,汇集,汇集,更高级 汇集,更高级 汇集,资源信息模型,描述资源的特性和状态 采用OO思想建立信息模版 描述资源之间的关系 树型结构工具表示或平面结构等,C（国家）,O（组织）,Ou （机构）,dun,ns,
13、jn,GridCE,资源信息模版： 资源目录信息模型的基本结构树,应用,software,GridCluster,GridHost,GridLocalFS,GridRemoteFS,GridHostFile,GridHostFile,账号,C（国家）=CN（中国）,O(机构)=长沙,o=北京,o=上海,ou=计算中心,ou=计算所,Jn（任务）=job01,Sw（软件）=gcc,Hn（机器）=银河机器,Grp（小组）=GEN,Nd（结点）=node1,Cn（人员）=Tom,Ou（组织）=科大,资源信息的表示,Nd（结点）=node1,GridAdmin,举例：MPP资源信息,Objectcal
14、ss MassiveParallel Processor requires Objectclass, mpp name, / mpp 机器的主机名 integer Nodenumber，/节点个数 Nodetype，/节点类型 Topefficiency，/ 峰值性能 Operatingsystem，/操作系统， URL，/ url地址 Communicatebandwidth，/通讯带宽 Disk，/ 磁盘空间,Memory，/内存大小 Filesystem，/文件系统NFS、 Topological，/拓扑结构 Utilization，/利用率 Softwaresummary，/重要软件列
15、表 Parallelsoftware，/ 并行软件 Compiler，/ 机器上提供的编译器 Status，/状态，既是否可用， Description,举例：用户信息,登录名字 /具有唯一性 pwd， / Priority /优先级 Expense，/计帐信息 Rersourcelimit，/全网格内的资源使用限制 UserClass，/ 用户类别，正规、特殊、试用户 Setuptime，/ 用户帐号建立时间 Indate，/ 用户网格帐号的有效期 Dn Othergroup，/用户组 Authority，/用户权限，网格中的帐号状态 account /用户帐号 Name / 用户的真实名字
16、 Email Telephonenumber，/联系电话号码 Department，/工作单位，填写方式类似于description Profession，/职业，可在一定的程度上,一个信息服务结构案例,网格信息中心,全网格的信息 （实时更新）,结点信息管理器1,其它结点 备份信息 （定时更新）,结点1的 局部信息 （实时更新）,结点信息管理器2,结点信息管理器3,其它结点 备份信息 （定时更新）,其它结点 备份信息 （定时更新）,结点2的 局部信息 （实时更新）,结点3的局部信息（实时更新）,网格资源监控,网格资源监控要求,可扩展 在监控方面没有集中的瓶颈 监控数据发送接受数据方面没有集中的瓶颈 有效 能够处理许多高容量
