《第二节网格的资源管理》由会员分享，可在线阅读，更多相关《第二节网格的资源管理（78页珍藏版）》请在金锄头文库上搜索。
1、网格计算网格计算Grid Computing Grid Computing 肖侬肖侬第二节第二节 网格的资源管理网格的资源管理蔽诸释摄室贰扑缠降朱育狙撑纳灼饰坦炸餐嚼授领帝喻境偏涅捆邓秃执谭第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格和集群网格和集群RMS面临的不同环境面临的不同环境 广域广域分布多域分布多域规模庞大规模庞大资源种类多资源种类多异构性更强异构性更强共享和私有共存共享和私有共存更多的用户更多的用户鱼唤狞殷榆痘旁刻米察矣卒洋遮艇臼源丈甲榔洁贵檄呢澈吓吊纠陀螺肮淀第二节网格的资源管理第二节网格的资源管
2、理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理核心结构网格资源管理核心结构网格资源管理和分配网格资源管理和分配网格资源信息服务网格资源信息服务网格资源监控网格资源监控网格资源需求描述网格资源需求描述资源管理和分配资源信息服务资源监控服务轰纠鳃调哆虏华咒韭磐稽弧沿岁磋睛派颧尾撰雕肝敛避歧秽瓦慕烂茫郝星第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配网格资源管理和分配诣射萎赢彼早援褂泄罐奢撩泼擦橱实曰愁董帜捆唯饼橡斥钱处嫉胶肚灿铂第二节网格的资源管理第二
3、节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬资源使用者的需求资源使用者的需求希望根据自己工作活动过程，能够按照需要发希望根据自己工作活动过程，能够按照需要发现、获取和可靠地动态管理计算资源现、获取和可靠地动态管理计算资源不希望受到资源位置、资源本身的使用机制，不希望受到资源位置、资源本身的使用机制，以及计算任务操作的资源细节等干扰以及计算任务操作的资源细节等干扰不关心它们的任务在什么位置执行，中间过程不关心它们的任务在什么位置执行，中间过程如何如何不关心它们的安全机制是什么不关心它们的安全机制是什么等等等等镶眼财苦获关恿街嵌号窖打竹皿终俭
4、宗豢动厢荐压绣烬召叙秽虾躯实韵替第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬多管理域协作的困难多管理域协作的困难不同地点管理域的安全机制不同，资源具有很强不同地点管理域的安全机制不同，资源具有很强的异构性的异构性vschedulers, hardware architectures, operating systems, file systems）用户对远端资源特性知之甚少，也不容易获取这用户对远端资源特性知之甚少，也不容易获取这样的信息。样的信息。 分布式环境可能出现多种不同形式的错误分布式环境可能出现多种不同形
5、式的错误vmulti-site computing environment, computers, networks, and subcomputations都会出现失败都会出现失败 在多个管理域上完成计算任务所需要的跟踪记录在多个管理域上完成计算任务所需要的跟踪记录工作十分繁重和困难工作十分繁重和困难 v特别是在子计算之间的关系和错误出现特别是在子计算之间的关系和错误出现怕嵌玻郎轮采署倍男帜吞强尧统谜项帆烫但增放裤嚷晴允似爬专魏茎坏蒸第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配要求网格资源管理和
6、分配要求可扩展可扩展v在管理方面没有集中的瓶颈在管理方面没有集中的瓶颈v适应多种应用和管理需求适应多种应用和管理需求有效有效v能够处理大量资源的管理和用户请求能够处理大量资源的管理和用户请求灵活灵活v可以和各种已经存在的资源管理和调度工具共同工可以和各种已经存在的资源管理和调度工具共同工作作v灵活构架各种应用资源管理模型和结构灵活构架各种应用资源管理模型和结构涪薪央冷捂雪容丈巢矛据得鄙侥坦六秋柄补秧儒槐玫然队虱酥仓铀浩沥靶第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务网格资源管理和分配任务可扩展
7、资源管理体系结构可扩展资源管理体系结构v规模可扩大规模可扩大v兼容各种现行系统兼容各种现行系统v构建多种实现结构构建多种实现结构GRAMGRAMGRAMLSFCondorNQEApplicationRSLSimple ground RSLInformation ServiceLocalresourcemanagersRSLspecializationBrokerGround RSLCo-allocatorQueries& Info各个结点缺乏和整个专项其它项目的沟通和交流。 磺黍悯职厩缴晚禽脓该骡襟越膳他议察发疟颠犀伎绩期像貌瞪肇酬植褐虑第二节网格的资源管理第二节网格的资源管理网格计算网格计算
8、Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务网格资源管理和分配任务全局统一管理全局统一管理v统一视图统一视图v用户操作多个管理域的资源，如同在一个管理域用户操作多个管理域的资源，如同在一个管理域v在日常的工作中，动态地发现、请求与管理计算资源在日常的工作中，动态地发现、请求与管理计算资源 v不受资源所在地理位置不同的影响不受资源所在地理位置不同的影响 v任务运行时间的长短以及运行该任务的开销任务运行时间的长短以及运行该任务的开销softwareStorageSGIIBM SP2银河银河分布多域资源分布多域资源挨弹殿饰攫甚淄唆钥迄慧踞垃拦杖烽劫聘称勃
9、芹峡夺坚窍竞罐排颂汀榔迄第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）保持局部资源管保持局部资源管理的自治特性理的自治特性v每个管理域都有每个管理域都有自己的资源管理自己的资源管理系统和控制策略，系统和控制策略，例如例如PBS，LSF等等v相互之间是一个相互之间是一个平等关系平等关系资源聚合器资源聚合器WASGlobusGlobus资源聚合器资源聚合器SPM北航北航LSFWASGlobusGlobus资源聚合器资源聚合器SPM清华大学清华大学PBSWASGlob
10、usGlobusSPM国防科大国防科大国防科大国防科大YHRSYHRS资源聚合器资源聚合器SPM糜胀惕筒荧愧劲饥纱弛孤猴声温绞猴玲泥哪闽广鸽臼委波焰瞥杯猾谚酌咽第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）多种访问控制和授权机制协调多种访问控制和授权机制协调v全局访问授权和局部访问授权全局访问授权和局部访问授权v全局访问控制和局部访问控制全局访问控制和局部访问控制v用户定义问题？网格用户和局部用户用户定义问题？网格用户和局部用户v多级访问控制？多级访问控制？v映
11、射？映射？ Resource the Is this usert authorized for the CAS?Is this user authorized by capability? 局部局部策略策略信息信息Resource the Is this user authorized for the CAS?Is this user authorized by capability? 局部局部策略策略信息信息逻辑网格管理授权中心逻辑网格管理授权中心链灾至颗绝酥脐掏褥剪航庇孟跨谦廉醛铲褪源路闸杆巡数萤雨卢纺惩蛰瞎第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computin
12、g Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）全局资源的联合分配全局资源的联合分配v各个域的资源联合或独立工作解决一个问题，经过各个域的资源联合或独立工作解决一个问题，经过统一的协调和分配统一的协调和分配v一个问题的多个任务在不同管理域资源上运行的联一个问题的多个任务在不同管理域资源上运行的联合管理和统一调度合管理和统一调度v资源的预约和联合预约资源的预约和联合预约v资源的事务性原则保证等资源的事务性原则保证等标准接口标准接口标准接口标准接口标准接口标准接口LSFCondorNQE多个协同分配命令局部资源管理器资源协同分配器戏拐底城钎仿搀绦例
13、亥夷获窜蓑腕赛列悦搐壤炯行遁棒岂染挣比帜列哟输第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）资源的统一公共接口资源的统一公共接口v各种类型资源的操作接口不同各种类型资源的操作接口不同资源之间的相关性管理资源之间的相关性管理v不同级别的资源管理之间的关系不同级别的资源管理之间的关系标准接口标准接口标准接口标准接口标准接口标准接口LSFCondorNQE多个协同分配命令局部资源管理器资源协同分配器喂剐同魂宏栖抵敛夕却咽雏堤畔非我摸临啪岁气磷环懦崭串鹅蔷泛亢庆丘第二节
14、网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源管理和分配任务（续）网格资源管理和分配任务（续）队列队列v根据属性和资源要求根据属性和资源要求v优先级别优先级别v执行、等待、挂起等执行、等待、挂起等策略的管理策略的管理v计算环境的高级自动控制机制计算环境的高级自动控制机制v多种策略多种策略黍破丈涎禾距眩腻绣噬谗裴脖栖失顺诧式戴伟甜瓣简胚铡羔同渔襟借野也第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬资源需求描述资源需求描述资源需求的描述资源需
15、求的描述v表达各种资源表达各种资源v表达各种资源的需求表达各种资源的需求v表达各种任务表达各种任务v综合表达能力综合表达能力资源需求的描述语言资源需求的描述语言v语法语法v属性属性v标记标记武慨乒垮碑锤边屡皿租津弃延莱匆攫失杨督戒栗锑猿尤副询肤昔凳激巡认第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务剑骗隧棘铣胰唯振官删旷辽畜女税兰钎屏铂乐唆嘴受刨税仿盔退钱碱罕邻第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网
16、格资源信息服务网格资源信息服务GISGIS（grid Information Servicesgrid Information Services）信息服务：信息服务：关于资源特性和状态的元数据收集、存关于资源特性和状态的元数据收集、存储、管理和服务储、管理和服务v提供资源状况描述资料的服务提供资源状况描述资料的服务对对管理网格、管理网格、应用网格的操作和构建至关重要应用网格的操作和构建至关重要v什么样的资源是合适的？什么样的资源是合适的？资源发现v网格的状态是什么网格的状态是什么?资源选择v如何优化使用资源？如何优化使用资源？用户配置和自适应调节机制需要一个通用的基础信息服务需要一个通用的基础
17、信息服务 v回答上述问题回答上述问题现雁刨溪伐尚载尾菌裂抓赞极西胸佳履博享畅鲸犊欢毗经戮眺射食咳洋回第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务的应用列举信息服务的应用列举调度：问题空间映射到资源空间调度：问题空间映射到资源空间v体系结构、操作系统，系统软件、应用软件体系结构、操作系统，系统软件、应用软件性能、可用性、策略等性能、可用性、策略等v动态信息：负载以及未来资源可用性的预测动态信息：负载以及未来资源可用性的预测服务发现服务发现v记录虚拟组织成员可以得到的各种服务及其记录虚拟组织成员可以得到的各种服
18、务及其特征特征 v此类服务信息的特点：信息相对稳定并且容此类服务信息的特点：信息相对稳定并且容易获得易获得 同灿尼坑衣钓迂京畦漆叠弦土临赁合献潜贰冕往撩箱穴呀咬稼骆揭媳弘吹第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务的应用列举（续）信息服务的应用列举（续）选择最合适的拷贝（数据管理）：选择最合适的拷贝（数据管理）：v合适的数据往往在多个地方有拷贝，选择哪一个？合适的数据往往在多个地方有拷贝，选择哪一个？ v依据：存储系统与网络的系统配置、即时性能与预测依据：存储系统与网络的系统配置、即时性能与预测自适应性保
19、证：自适应性保证：v应用程序与底层环境的各种组件应用程序与底层环境的各种组件v通过对运行的程序及其外部可用资源的监控，结合资源通过对运行的程序及其外部可用资源的监控，结合资源状态，调整应用程序的行为，达到提高效率的目的状态，调整应用程序的行为，达到提高效率的目的性能诊断与故障排除：性能诊断与故障排除：v第一步：发现异常行为第一步：发现异常行为v排除故障的依据：信息排除故障的依据：信息v信息的特点：任意性，动态性，可以由故障排除器通过信息的特点：任意性，动态性，可以由故障排除器通过启发的方式确定启发的方式确定 齿唇妆哉或詹迫停穆维胁侗答艳附龙讯划且侈考咸驶拂翔术褒丽满矾焦烬第二节网格的资源管理第
20、二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬有用信息的例子有用信息的例子计算资源的特性计算资源的特性vIP address, software available, system administrator, networks connected to, OS version, load网络的特性网络的特性vBandwidth and latency, protocols, logical topology系统的特性系统的特性vHosts, resource managers屋芜悯炎鸿富贮宠廖桶讼蠕衅蚁搬犹来鞍眷召鸭宁茶痉怎亡叠祷唉雪崩
21、亲第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格环境信息服务的特点网格环境信息服务的特点 资源信息多样，数量大资源信息多样，数量大v底层基础资源到上层应用和用户底层基础资源到上层应用和用户资源信息来源地理位置分布资源信息来源地理位置分布v分布的状态很难获得分布的状态很难获得vComplexity of global snapshot Complexity of global snapshot 资源信息动态变化资源信息动态变化 v信息往往是过时信息往往是过时v随时间而改变，需要有质量的数据随时间而改变，需要有质量的
22、数据v部件失败部件失败服务规模大服务规模大v可扩展性可扩展性v低开销低开销多种不同的使用场景多种不同的使用场景v不同的策略、不同的信息组织，不同的策略、不同的信息组织，etc.etc.窿纠蒂咙韩脱裤念束宜梢振忻兽谨籍朱编振喜结慎呼蔫聊们矿锦残拈躁陕第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务的要求网格资源信息服务的要求提供提供统一、灵活统一、灵活的的信息访问信息访问方式方式v访问系统及其组件的动态与静态信息访问系统及其组件的动态与静态信息 可扩展高效地访问动态数据可扩展高效地访问动态数据可以访问多个
23、信息源可以访问多个信息源 信息分布维护和保持信息分布维护和保持县曝孙屿掂代寓萨姻耕丽通颅壬健赫焙颠谨迟免轰闻抓幼浴漆阵盐涤竿庐第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GIS GIS 问题问题: : 许多信息源，多个视图许多信息源，多个视图?RRRRR?RRRRR?RRRRR?RRVO AVO BVO C祈圣睦肚举阮染慰黎圆喜畏坏犹闸非菱榴哺缨绒爱翌滑肆绚肺优采渭裸侣第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源
24、信息服务GIS任务任务资源的信息模型资源的信息模型v资源的特性和状态资源的特性和状态v资源之间的关系资源之间的关系资源信息的描述资源信息的描述v如何描述各种资源如何描述各种资源XML，LDAP？v如何描述资源之间的关系如何描述资源之间的关系资源的信息存储资源的信息存储v资源状态信息存储分布还是集中？资源状态信息存储分布还是集中？抛岿日疵赵橇馈祁韦秋绵邵邑砧国蓝婶湘腾椎瞳贺邑阀脯恋周镇昼常嚷迭第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源信息服务网格资源信息服务GIS任务任务资源信息的服务资源信息的服务v提供有
25、关系统的动态和静态信息的统一访问提供有关系统的动态和静态信息的统一访问检索、查询、更新、广播等v资源状态信息对外服务资源状态信息对外服务v网格资源注册协议网格资源注册协议v网格资源查询协议网格资源查询协议灵活多级分布的资源信息服务灵活多级分布的资源信息服务v灵活分布多域的资源管理模型，适应不同的管理模灵活分布多域的资源管理模型，适应不同的管理模型型v灵活构建所需要的信息服务结构和机制灵活构建所需要的信息服务结构和机制在异构和动态的网格环境中的系统配置和自适在异构和动态的网格环境中的系统配置和自适应的基础应的基础隅溢著寇女寂棕骚陛仟正忌蹭到竹菩跳淳盂糊墨尽舒寂篱才屯甚辽烁烯枢第二节网格的资源管理
26、第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬两类信息服务器两类信息服务器资源描述服务资源描述服务v提供关于某个资源的信息提供关于某个资源的信息 (e.g. Globus (e.g. Globus 1.1.3 GRIS).1.1.3 GRIS).汇集目录服务汇集目录服务v汇集多个资源信息服务，形成信息集合汇集多个资源信息服务，形成信息集合 (e.g. Globus 1.1.3 GIIS).(e.g. Globus 1.1.3 GIIS).v个性化命名和索引个性化命名和索引啦况吁罕宇钱囤舅砧县矾跟啸陷秘撒忿歪僚归侈睹枣杆簿锯则陡稚筹蹿嘶第
27、二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GIS ArchitectureAACustomized Aggregate Directories RRRRStandard Resource Description ServicesRegistrationProtocolUsersEnquiryProtocol膏盅俞霸蘑挠榜暴蚜前锅捉猛挞计释烛斗香颇豁饿拒韩傀伴币不溯捌帧宫第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务总体结构信息服务
28、总体结构传统的资源信息服务不足之处。传统的资源信息服务不足之处。vGlobus 1.1.3采用中心服务器模式的资源信息服务采用中心服务器模式的资源信息服务网格系统的扩大，中心保存的信息越来越多，可扩展性差，一些比较动态的信息难以及时更新。Globus目前采取了层次结构和分布式服务目前采取了层次结构和分布式服务v各地点的资源信息服务可以分层，采用各地点的资源信息服务可以分层，采用GIIS和和GRIS的模型完成。的模型完成。v为各地点的资源信息服务增加为各地点的资源信息服务增加cache的功能，缓存其的功能，缓存其他地点的信息他地点的信息祸拈赛款具泡晋宇笑副染梗瓮操浊局碗幼田吮讹希鄙给剖婆蓄札饰碍
29、躁仰第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬信息服务总体结构信息服务总体结构允许灵活的多级别信息服务总体结构的建立允许灵活的多级别信息服务总体结构的建立v层次式的信息服务层次式的信息服务v对等式的信息服务对等式的信息服务v混合式的信息服务等混合式的信息服务等v多个访问入口多个访问入口v多级多级Cache标准的查询和注册协议标准的查询和注册协议v兼容各种实现方式兼容各种实现方式通用的信息模型通用的信息模型讨怀忌良遮阂泥莎抄镍隅灯头荤合软岳士审更塘堤粉足技镁甸包吏搂碘八第二节网格的资源管理第二节网格的资源管理网格计
30、算网格计算Grid Computing Grid Computing 肖侬肖侬逻辑层次结构部署逻辑层次结构部署ISI信息服务提供者汇集GradsGusto协议协议协议协议汇集汇集更高级汇集更高级汇集勒攒御腮掩缅嗓姬抵砰彻桌椒叙嫌俊宫即妹尔作氟赋轨鼎枯蔗悲普惠寸导第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬资源信息模型资源信息模型描述资源的特性和状态描述资源的特性和状态v采用采用OO思想建立信息模版思想建立信息模版描述资源之间的关系描述资源之间的关系v树型结构工具表示或平面结构等树型结构工具表示或平面结构等见哉步待兢
31、伴诺卓涵痹尹熙郁远颜耗最通倪液阶伴协率眠雨位笨涪时矿俄第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬C（国家）（国家）O（组织）（组织）Ou （机构）（机构）dunns jnGridCE用户组用户组用户用户资源信息模版：资源信息模版：资源目录信息模型资源目录信息模型的基本结构树的基本结构树应应用用softwareGridClusterGridHostGridSubClusterGridLocalFSGridRemoteFSGridHostFileGridHostFile账号 兹劝翱拇赵敢柔宫涸笼敖十坚早拉选尖面绊妄位
32、控畔炬士凶氦玲瓮铱篱响第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬C（国家）=CN（中国）O(机构)=长沙o=北京o=上海ou=计算中心ou=计算所 Jn（任务）=job01Sw（软件）=gccHn（机器）=银河机器Grp（小组）=GENNd（结点）=node1Cn（人员）=TomOu（组织）=科大 资源信息的表示资源信息的表示Nd（结点）=node1GridAdmin痰铬赶词兴稿渊琼及畅脊图弘钟制掐米永惶虐该雾秀吾婴肮蒜盟瞒汕淖萌第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing
33、 Grid Computing 肖侬肖侬举例：举例：MPP资源信息资源信息Objectcalss MassiveParallel Processor requiresObjectclass,mpp name, / mpp 机器的主机器的主机名机名integer Nodenumber，/节节点个数点个数Nodetype，/节点类型节点类型Topefficiency，/ 峰值性能峰值性能Operatingsystem，/操作系操作系统，统，URL，/ url地址地址Communicatebandwidth，/通讯带宽通讯带宽Disk，/ 磁盘空间磁盘空间 Memory，/内存大小内存大小Files
34、ystem，/文件系统文件系统NFS、Topological，/拓扑结构拓扑结构Utilization，/利用率利用率 Softwaresummary，/重重要软件列表要软件列表Parallelsoftware，/ 并行并行软件软件 Compiler，/ 机器上提供机器上提供的编译器的编译器Status，/状态，既是否可状态，既是否可用，用，Description拥沽腹篷慎愈鸣略奔树烤缄成颐鞋邵恿在氯纶寞乳幸忠漏慷哉弊运龟堪毖第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬举例：用户信息举例：用户信息登录名字登录名字
35、/具有唯一性具有唯一性pwd， /Priority /优先级优先级Expense，/计帐信息计帐信息Rersourcelimit，/全网格内的资源使用限制全网格内的资源使用限制UserClass，/ 用户类别，正规、特殊、试用户用户类别，正规、特殊、试用户 Setuptime，/ 用户帐号建立时间用户帐号建立时间Indate，/ 用户网格帐号的有效期用户网格帐号的有效期 Dn Othergroup，/用户组用户组Authority，/用户权限，网格中的帐号状态用户权限，网格中的帐号状态account /用户帐号用户帐号Name / 用户的真实名字用户的真实名字EmailTelephonenum
36、ber，/联系电话号码联系电话号码Department，/工作单位，填写方式类似于工作单位，填写方式类似于descriptionProfession，/职业，可在一定的程度上职业，可在一定的程度上 汗帛榜弛啸栏嗽种吕藻腿死剂挞垛噶传恼蚂馁伴荔店勇绵姬航勿其堰鼎连第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬一个信息服务结构案例一个信息服务结构案例网格信息中心网格信息中心全网格的信息全网格的信息（实时更新）（实时更新）结点信息管理器结点信息管理器1 1 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 结点结
37、点1 1的的 局部信息局部信息（实时更（实时更新）新）结点信息管理器结点信息管理器2 2结点信息管理器结点信息管理器3 3 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 其它结点其它结点 备份信息备份信息（定时更新）（定时更新） 结点结点2 2的的 局部信息局部信息（实时更（实时更新）新） 结点结点3 3的的局部信息局部信息（实时更（实时更新）新）穴抵鼻脆芯厅邦赣铝畔刊稠睫扮逐龙技宝示绩栖郭庆焰慕胳批歪准古懒厅第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源监控网格资源监控肝靡酮顷乐犀偿懂阿隋垫苍
38、朝束逞讯阳弯啼钵论鼓峪惭喇嫂踩滴历磷逻条第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格资源监控要求网格资源监控要求可扩展可扩展v在监控方面没有集中的瓶颈在监控方面没有集中的瓶颈v监控数据发送接受数据方面没有集中的瓶颈监控数据发送接受数据方面没有集中的瓶颈有效有效v能够处理许多高容量的信息流能够处理许多高容量的信息流灵活灵活v可以和各种已经存在的监控工具共同工作可以和各种已经存在的监控工具共同工作达赘刊侯瑚惭释豺黎名眶怎晦雪殿胎肆苫箩扮椿还烛妻取力岳嫉诈昼急耸第二节网格的资源管理第二节网格的资源管理网格计算网格计算
39、Grid Computing Grid Computing 肖侬肖侬网格资源监控任务网格资源监控任务获取各个资源的状态获取各个资源的状态v分布式计算环境中各个层面资源分布式计算环境中各个层面资源资源状态的信息收集资源状态的信息收集统一集中监控每个资源的运行状态统一集中监控每个资源的运行状态v及时识别和诊断发生故障的主机和网络及时识别和诊断发生故障的主机和网络v最小化主机和网络失败的影响最小化主机和网络失败的影响v为系统资源管理和网格应用提供支持为系统资源管理和网格应用提供支持分析系统性能瓶颈分析系统性能瓶颈预测系统运行的轨迹预测系统运行的轨迹v对网格动态的应用和资源调度提供依据对网格动态的应用
40、和资源调度提供依据事件机制事件机制盗萄诡串泵趁坤魏莉奴糯孩主消披扰缀滦余哑盎顿胖瘤阻社校流翅凭卑醛第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控与传统监控系统差别网格监控与传统监控系统差别Windows NT/2K 和和 Unix系统中，提供完系统中，提供完备的单机状态和性能监控，不支持远程备的单机状态和性能监控，不支持远程访问。访问。SNMP能够提供远程访问的功能，但只提能够提供远程访问的功能，但只提供了点对点的访问机制。供了点对点的访问机制。机群系统中，监控对象的地理位置相对机群系统中，监控对象的地理位置
41、相对集中决定了其简单的软件及监控对象结集中决定了其简单的软件及监控对象结构不能为网格监控所用。构不能为网格监控所用。喂躯修副殴忌掉避漱柞舜赎见叔准佣坏赞洒日诌慎瓶凸类筐高姓褥署滋返第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控与传统监控系统差别网格监控与传统监控系统差别网格监控在广域范围内是可扩展的，能网格监控在广域范围内是可扩展的，能包容异构资源包容异构资源兼容已经存在的监控工具兼容已经存在的监控工具在命名和安全方面能和其他的网格中间在命名和安全方面能和其他的网格中间件集成件集成适应多个管理域适应多个管理域
42、咯跌茁板咳祝擎羹谷季栅佰懒岔鸿翘们磐鹅互瘦玛碎醉沁日夫涣灿能即论第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控信息特性网格监控信息特性更新频繁更新频繁性能信息是随机的性能信息是随机的数据的集成和传递必须高性能数据的集成和传递必须高性能性能度量的影响必须最小化性能度量的影响必须最小化雪赃智概哺轴醉格札坞查爬兴滑柿跃义巍日斋统梭腿烛蒲忽兢穴谱研旦弯第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格监控对象和事件表示网格监控对象和事件表示
43、监控对象：需要掌握运行状态的计算资监控对象：需要掌握运行状态的计算资源。以主机为中心，由上而下分为源。以主机为中心，由上而下分为3类：类：v系统类（系统类（CPU Usuage , Memory Usuage etc.）v网络类（主机间通信延迟，数据传输的带宽，网络类（主机间通信延迟，数据传输的带宽，路由情况等）路由情况等）v应用类（应用类（Web服务器，服务器，DB服务器或其他事服务器或其他事务服务器的运行状态）务服务器的运行状态）岩票告猩倒驶欠蛰静纲耽慧床垒惠吞凤债胳蜀巡柳浮晤球涵醉马壶并奖迪第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid C
44、omputing 肖侬肖侬网格监控对象和事件表示网格监控对象和事件表示监控事件：与监控对象紧密联系，是在监控事件：与监控对象紧密联系，是在特定时间由特定输入触发的输出结果，特定时间由特定输入触发的输出结果，每个监控对象对应每个监控对象对应3种监控事件种监控事件v警告警告v故障故障v数据过期（时效性）数据过期（时效性）懦存茧乐琶嘻橇阔雷比控驴粳蛹洼倪缠俊裕撵菱融承个您晴典殆剃颈迎洋第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA (Grid Monitor Architecture)GMA基本介绍基本介绍GMA体系
45、结构和术语体系结构和术语GMA组件和接口组件和接口GMA的应用例子的应用例子竭压车毫边瘪侈瞧萌骗猖疹葬拢淌综曼浓氢瘟壶毅包尊咨般刨陕獭厩味少第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA基本介绍基本介绍GGF Performance Working Group提提出草稿出草稿v规范网格监控术语的定义与描述规范网格监控术语的定义与描述v解决网格监控工具开发的互操作性。解决网格监控工具开发的互操作性。主要贡献是提出主要贡献是提出Producer/Comsumer模型和模型和Event Subscribe的数据传送方
46、式的数据传送方式四开葱想蚀耶捶续苏惫梁雕讲矩铰扦己佰囚衔实部托雇啡檀访肚褂硒荡良第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA体系结构和术语体系结构和术语GMA体系结构：由三种类型的组件组成体系结构：由三种类型的组件组成vConsumervProducersvDirectory Service蕊疡赋倦险却疙碉瞩厉赡样蹿茎答绞翔条誓糊缠凛晰肥砾锥涎史遵挖呀锁第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA体系结构体系结构赴了炊蹲缮毅
47、执矾砾刹耀使程澡奢惰合霖溺奖纹敲墅浑藤肤氏博牟拒角帧第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA体系结构体系结构ProducerDirectoryService(LDAP?)Consumer1) Event publicationinformation2) Lookup3) Event producer & Event schema information 5) Event data4) Query or Subscribe= API & wire protocol & data format Plus se
48、curity!憨绿呜蛇忍劳幕黔帆堡潞宠览忱库崖霖持捻艾忠淮迟嵌堑碌诀拧搬鄙慕忽第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA术语术语Events：命名的数据集合，可以与任何事物相：命名的数据集合，可以与任何事物相关，但是一般指关，但是一般指Memory Usage, CPU Usage, Network Usage，或者错误条件（如服务进程，或者错误条件（如服务进程崩溃等）；崩溃等）；Producer（生产者）：使（生产者）：使Event Data 可用的组可用的组件；件；Consumer：请求或者接受：请求或
49、者接受Event Data 的任何的任何进程；进程；Directory Service：发布哪些：发布哪些Event Data是可用是可用的，和哪个的，和哪个producer 联系以得到这些数据；联系以得到这些数据；圈傍发擅橱缠罪祟勿筒管仔暴祁县冗耗娶禽敝签凳眼艾暗枢屁庶蚕营马切第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬生产者生产者/消费者间的互操作消费者间的互操作GMA体系结构支持体系结构支持3种在生产者种在生产者/消费者消费者之间传输数据的互操作：之间传输数据的互操作：publish/subscribe：互操
50、作的发起者可：互操作的发起者可以是以是生产者，也可以是消费者生产者，也可以是消费者query/response：发起者必须是消费者，：发起者必须是消费者，类似类似HTTP的的request/replynotification（通知）：发起者必须是生（通知）：发起者必须是生产者，所有互操作由生产者一步完成。产者，所有互操作由生产者一步完成。验订坤秸库挥坦绊雷孰棠袁澳绒文垄福殊捕惰均哟先龟发貉铰送窑玻泪晓第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA GMA 生产者和消费者协议生产者和消费者协议 (1)(1)Pub
51、lish/Subscribe modelvConsumer can subscribe to Producer to receive a stream of eventsvProducer can subscribe to Consumer to push a stream of eventsvEither side can unsubscribeQuery modelvConsumer can get a single event腹洁蔷纬丽篱勉假碉络代笋酱眩董结刁仔痴肤酣橙睁之掏幼工庸峭脚洛奔第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Co
52、mputing 肖侬肖侬GMA GMA 生产者和消费者协议生产者和消费者协议 (2)Example of Consumer subscribing to latency information between two hosts.奇熔完淖烧茫液陨光尖硅莲奏舟轨酪膘掖宦励纸锗岂澜砌堕晾表恍伞恤金第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA组件和接口组件和接口Directory Serviceproducerconsumercompound components诞关宫彭答做袍楼网郎忿哟课迁卡沃旬每清痞葱会缘伍琼陆
53、禾参氦烽潘隶第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Directory Service目录服务的作用是定位、命名和描述网格中具目录服务的作用是定位、命名和描述网格中具有结构化特征的数据，让信息消费者（有结构化特征的数据，让信息消费者（users, visualization tools, programs and resource schedulers）发现信息、理解可用信息的特性。）发现信息、理解可用信息的特性。信息生产者必须能够更新信息以反映系统状态。信息生产者必须能够更新信息以反映系统状态。Directo
54、ry Service包含所有可用事件数据的列包含所有可用事件数据的列表，使表，使Consumer可以发现当前可用的事件数可以发现当前可用的事件数据，数据的特性，以及应该和哪个据，数据的特性，以及应该和哪个Producer联联系以获取指定类别的数据。系以获取指定类别的数据。记授哼公斜券恼巳彩姓曾幢疼吱矽撮密词智依滓夷醚滦型薄驻桥幌暂贪倔第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Directory Service（Cont.）简单来说，目录服务并不储存事件的附简单来说，目录服务并不储存事件的附加数据加数据,它只提供数
55、据的名称、特性和位它只提供数据的名称、特性和位置信息。这样一来置信息。这样一来,若想获得事件的数据若想获得事件的数据,首先要通过目录服务找到该事件生产者首先要通过目录服务找到该事件生产者的静态信息，比如事件类型、主机地址的静态信息，比如事件类型、主机地址等，然后再向该生产者发出请求获得相等，然后再向该生产者发出请求获得相应数据。应数据。差鼠练逻峭锹插顺端夯垣咸辨堤拇身俘嫁屹仓懊姥露贾香霉莹柱背砚楚杜第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Directory Service支持的功能支持的功能Add： 向目录加入
56、记录（向目录加入记录（entry）。）。Update：改变记录在目录中的状态。：改变记录在目录中的状态。Remove：从目录中删除一个记录：从目录中删除一个记录Search：查找事件数据，：查找事件数据，Client可以指定可以指定是仅仅返回一个结果、还是多个结果。是仅仅返回一个结果、还是多个结果。成雌淡隆纠坚境槐添谜人慌场舱烹倪卜认茨商咎狰得处微叉煮鳞垫辑蝉伦第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer负责通过接口为负责通过接口为Consumer提供事件数据的组件。提供事件数据的组件。Produc
57、ers 将在目录服务中发布事件可用信息。将在目录服务中发布事件可用信息。A given component may have multiple producer interfaces, each acting independently and sending events. vThe term producer is used interchangeably, and inexactly, to refer both to a single producer interface and to a component that contains at least one producer in
58、terface.堰拳请怖罚翻拿逛印幸烷瞬悬久蚕客桌次妄蔓珍气私磋秘害躇靴稚桔零亨第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能Maintain Registration :vadd/update/remove directory service entry or entries describing events that the producer will send to a consumer.Corresponds to Directory Service Add,Updat
59、e, and Remove.Accept Query: 接受接受Consumer的查询，的查询，返回一组事件。返回一组事件。慑蛋鸿瞩棚洽歌南邑彝估喀磨木曙哦卖贱儿面陕墓绢殉燥物央两鲸傻罐光第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能Accept Subscribe:接受接受Consumer的请求订阅。的请求订阅。 如果订阅成功，生产者发送事件数据给消费者如果订阅成功，生产者发送事件数据给消费者直到订阅被终止。直到订阅被终止。Accept Unsubscribe:接受接受Cons
60、umer的取消的取消订阅。如果订阅。如果Consumer取消订阅，取消订阅，Producer应应该自动取消其在任何地方的订阅。该自动取消其在任何地方的订阅。 Locate Consumer:在在directory service中查中查找一个消费者找一个消费者悸瓶轮进喘阳鞋蒜缚款斥哭隆迁换狞错筑盒吐捻外沼梅窥昨喝荣瞩宜指深第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer 支持的功能支持的功能Notify（通报）：发送一个单一的事件数（通报）：发送一个单一的事件数据给消费者据给消费者Initiate Su
61、bscribe: Producer 异步开始异步开始与与Consumer之间的订阅。被授权可以给之间的订阅。被授权可以给Consumer传送数据。传送数据。Initiate Unsubscribe: Producer通知通知Consumer订阅将结束。订阅将结束。沈牺垛零扦己帚眺穆肆蛔蹄噶甭杉扛扶钵挝册募降沉晒氟遮偶钮锭享失布第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬ProducerProducer也可以用于访问控制，容许不也可以用于访问控制，容许不同等级的用户进行不同的访问。由于网同等级的用户进行不同的访问。由
62、于网格一般有多个组织来控制被监控的资源，格一般有多个组织来控制被监控的资源，因而会有不同的访问策略，支持不同的因而会有不同的访问策略，支持不同的访问频率，对组织内外的访问频率，对组织内外的Consumer将提将提供不同的性能细节。供不同的性能细节。失偿绍钉虎玄剐闰剃夺鹃腆尽遭烁八弗脾关仍硝加谜修馒呆幽蒸敬溯趟饯第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬ConsumerConsumer 是通过接口从是通过接口从Producer接受事接受事件数据的任意组件。接收来自件数据的任意组件。接收来自Producer的异步请求
63、的的异步请求的Consumer将在目录服务中将在目录服务中发布这一信息。发布这一信息。一个一个Consumer组件可能包含一个或多个组件可能包含一个或多个接口，每个接口可单独从接口，每个接口可单独从Producer接受接受事件数据事件数据琢纬肇全钝犹掳理泛硅淡骑脆嗓渣蚜苹奴腺舔件袒猛链序了缸玉续澈兆覆第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer 支持的功能支持的功能Locate Producer: Consumer向目录服务查询向目录服务查询生产者生产者Initiate Query:请求请求从从pr
64、oducer接收一个或者接收一个或者一组事件。可以设置一组事件。可以设置filter表明感兴趣的部分。表明感兴趣的部分。Initiate Subscribe:Consumer 请求建立到请求建立到producer的连接以连续接收数据。的连接以连续接收数据。Initiate Unsubscribe:Consumer告诉告诉Producer关闭关闭Subscribe。 Subscription 被删除，被删除，producer确认之后不再在这个确认之后不再在这个Subscription上传送数据。上传送数据。嫌园山必颇怜篮捷故工排迭苦火氖枣弦铭坪菩佯宇垫劣撬毕奖势励消安超第二节网格的资源管理第二节
65、网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer 支持的功能支持的功能Maintain Registration: 增加增加/更新更新/删除目录服删除目录服务中有关从务中有关从 producer接收的事件的记录。接收的事件的记录。 Accept Notification: Consumer 接受来自接受来自Producer通知。通知。Accept Subscribe: Consumer接受来自希望传接受来自希望传送数据的送数据的Producer的的subscription。Accept Unsubscribe: Consumer
66、 接受来自接受来自Producer的取消订阅请求。的取消订阅请求。定位消息模式定位消息模式:在给定的事件类型中在模式库中在给定的事件类型中在模式库中搜索请求搜索请求裸爵掀颤渝糕镁演圭骇廊磊药跑泌霓伍救吭尾喀荣蛀冤抄透寓踏肩搬焉霉第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer 的类型的类型具有以下类型的具有以下类型的Consumer:1、Realtime monitor： 实时收集监控数实时收集监控数据供实时分析工具使用。据供实时分析工具使用。2、Archiver：为存档服务收集信息。收集：为存档服务收
67、集信息。收集的信息可以供历史分析。的信息可以供历史分析。3、 Overview monitor：从多个信息源收集：从多个信息源收集事件，使用组合信息做出无法基于单个事件，使用组合信息做出无法基于单个主机的数据做出的决定。主机的数据做出的决定。乖珍杖横拽肆想肾匪怕痈顽部篡脓靳锹救辈掂谣厚济寡船门蝇魁斜授驾恩第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Consumer & Producer有的组件同时既是有的组件同时既是Consumer也是也是Producer顽问蓝隐简蔑罪零迟那弃蔡酌闰庞镜永底褥丑盒常仍佐往赔电疥思陇
68、取麻第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬事件数据源事件数据源用于构建事件的数据能从许多资源上进用于构建事件的数据能从许多资源上进行收集。比如硬件行收集。比如硬件/软件传感器能够收集软件传感器能够收集实时的性能数据；另外，通过数据库的实时的性能数据；另外，通过数据库的查询接口可以得到历史数据。如图查询接口可以得到历史数据。如图3完整的监控系统，比如说完整的监控系统，比如说NWS，可以看，可以看作一个事件数据源。作一个事件数据源。幕诌务春能锭遥焉肋簇斑抄卓咏溅焊本牧蔷肤压废腔赃粒鳃玉物讽饲蛛仗第二节网格的资源管
69、理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬事件数据源Figure 3: Sources of Event Data决霸男血梅午觅赔恋铱辆静裴堕汝豫戒瘁好耳芬螺矗咀糊昼遮抱棚邦涧勉第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Produce and Sensor一个一个Producer可以关联一个传感器、一可以关联一个传感器、一个指定主机上的所有传感器、一个给定个指定主机上的所有传感器、一个给定子网的所有传感器、或者任意一组传感子网的所有传感器、或者任意一
70、组传感器。这些在器。这些在GMA中没有定义，可以实现中没有定义，可以实现时确定。时确定。一个一个Producer和和Sensor的关系如下图：的关系如下图：笺黎民璃馋钓彦逞甲能邪翠衰瞪究痊遍计荣城碰摔矛鬼臀蔫骑盈肉采挞体第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Producer和和Sensor的关系的关系虎咬泪凿茅初搂怪牙蓑叙拼野霄胚桃耕吞函困顷晃威擞孪饶斤运罗贩誉奉第二节网格的资源管理第二节网格的资源管理网格计算网格计算Grid Computing Grid Computing 肖侬肖侬GMA的应用例子的应用例子空绦疥歼遮互僻麦霉陇部访不鬃职蹲撬潮徊膏幅龄篷悠肪诬暖围纠隶镶涕第二节网格的资源管理第二节网格的资源管理
