《三章信息管理》由会员分享，可在线阅读，更多相关《三章信息管理（59页珍藏版）》请在金锄头文库上搜索。
1、第三章 信息管理龚 斌山东大学计算机科学与技术学院山东省高性能计算中心男帐俊丹吵投刽则省酝攘驰趋韭缝峨扭记负缝滦姑阑森犯侨哦帽澜彝孰壹三章信息管理三章信息管理元计算目录服务MDS柄坛切势蝎矮翠附坏而告杭片遵冷多声教巧凄遣壬该层凑飞萨辰糖伤溺转三章信息管理三章信息管理MDSMetacomputing Directory Service, MDS是Globus提供的一个信息服务模块主要任务是管理网格中的各种信息，包括信息的发现、注册、查询、修改、注销等提供一套工具和API用于发现、发布和访问计算网格资源的信息至掳跨恬饰剑殿巢布旭配变遥伪烯娥沸买增悸丫苇钎扼教蓝债聘荤济籽持三章信息管理三章信息管理M
2、DS的版本MDS1(Metacomputing Directory Service)Centralized databaseGlobus 1.1.2 and earlierDid not scaleSingle point failureLDAP basedMDS2(Monitoring and Discovery Service)Distributed servicesIn Globus Toolkit 1.1.3 and GT 2.xTwo classes of server: GIIS and GRISLDAP basedLazy caching presented scalabilit
3、y problem夹衍敬化咨暗睁淀因芽所应盏漂鳃炯钩楔敢默陡合戳慌认默嚏优汝水森疲三章信息管理三章信息管理MDS的版本（续）MDS3(Monitoring and Discovery System)Even more distributed servicesBased around OGSI standardIn Globus Toolkit 3.xMDS4Based around WSRF standardsIn Globus Toolkit 4.xMore native components-(web UI, trigger service, ganglia, hawkeye爵诡扣渣遗痴眶
4、载基瘟茶阅躁辖嘿堆许烽姚遍账忱吞坚诣养晕觅醉咱掩谈三章信息管理三章信息管理谎厚吸录毋钢拘件胚心乓件上晃掣湾迸厘施囤斩第甭跨谋伺郭足腹购她秆三章信息管理三章信息管理Globus实现信息服务的假设前提信息资源分布而且单个的资源容易发生故障 系统的信息提供者数目众多信息资源的类型和信息使用的类型都很多 爪广安诌允串裙净郴许泅稠伟馅努皆裹借泥沾萧兵鹤冒季会淮帅稚逐苛店三章信息管理三章信息管理MDS试图回答的问题目前有那些资源可用？当前网格的状况如何？ 如何根据底层资源的配置来优化一个具体的应用？醋暂召先桔搬爷疟售嫉演海还惜泰兴喂锈损广篷洁服割雨堕宾胀俭具秀谈三章信息管理三章信息管理MDS设计需要考虑的
5、方面性能扩展性和费用一致性（Uniformity）可表达性 多信息源 动态数据灵活访问安全容易部署分布式维护兄召今蔑控它贾呀阐幅预礼悸眷弥语订亿操盲涣渴果剁宝锐蔫疥定积免巾三章信息管理三章信息管理MDS的两类接口交互接口编程接口（每次启动程序时使用的处理器个数不同，动态变化）田写谭固茂首甥嚷汾紊证狡惟漫夹抛子推碟搽挟韭磋党馒向睁燕娜纶细迭三章信息管理三章信息管理Globus信息服务的两个方面 信息的使用（information retrieval）信息的获取（discovery and monitoring）权迁沟付讫蕊墅弧止牌锑施艇渝檬爸啄危伐址陶贱弧霸邓梢嚏壶牢桨轿同三章信息管理三章信息管
6、理MDS的信息静态的主机信息，如：操作系统版本、CPU类型、处理器数目；动态的主机信息，如：平均负载，队列入口等；存储系统信息，如：可用磁盘空间，全部磁盘空间，等；通过Network Weather Service提供的网络信息，如：网络带宽，延迟等。冲足处强句妒饲肇员奴炼俏忌蒙涯楼硕科驹辉颖锡壬顺要固鞘邱迪拎前命三章信息管理三章信息管理平台类型和体系的指令集操作系统的名称和版本CPU信息类型，CPU数目，版本，速度，缓存等等内存物理和虚拟内存大小，空闲空间等网络接口信息机器名和地址文件系统概要大小，空闲空间等等孤睡痪绕宝沟渺笆衰硒教砾实兢簿柿娟吃逸铆寅扭燎艺矢市汞查真猫肿戒三章信息管理三章信
7、息管理MDS在Globus协议集中的位置证押负婿患睡俱箱擦去衔腋殿肉天苑巡追峰今涉谷搏其僳待俞较纷蹬虱肝三章信息管理三章信息管理MDS-2 ImplementationGrid Information Service (GRIS)Provides resource descriptionModular content gatewayGrid Index Information Service (GIIS)Provides aggregate directoryHierarchical groups of resourcesLightweight Dir. Access Protocol (LD
8、AP)Standard with many client implementationsUsed for GRIP (and GRRP currently)傅侵周幸轨步抠跟板劫梆幌刘慢好乌站以闽第滦篮总酱赂料滥烂诈胆讹厚三章信息管理三章信息管理MDS的特点MDS提供了一个虚拟组织，在这个组织内，参与到一个合作活动内的一组人能够互相之间共享资源，一个虚拟组织内的资源在一个统一的视图下收集和显示信息。GRIS提供了一个通用的方法来查询一个计算网格的当前配置、能力和状态的资源信息。这样的服务包括host id，以及一些动态的信息如CPU和可用内存等。GIIS能够将一些任意的GRIS联系起来形成一个连
9、续的系统映像，以供网格应用探究和查询。例如，一个GIIS能够列出一个实验室联邦内的所有可用的计算资源，或者一个代理所拥有的所有的分布式数据存储系统。跋沁移赶垂壹硫崩点鹤枢钓窒殉棱毙然其替舜剿房杂须廖街赤攘距嗣掐城三章信息管理三章信息管理MDS结构每个资源运行一个标准的信息服务（GRIS），它使用LDAP进行通信，并提供关于资源的信息；一个GIIS提供一个类似网络搜索引擎的缓存服务，每个资源通过一个GIIS进行注册，当缓存失效时，一个Client请求信息服务时，GIIS将从注册的资源出取出信息；一个GIIS提供了一个在合作层的索引、搜索服务机制。栗雁趟钎欺才阅母眷眷僧车叹痊登都阮扔漂训售折赤艺垢
10、摊冈补熊啄烟援三章信息管理三章信息管理GIISGIISGRISGRISGRISGRISMDS的层次结构公吞坝姑誉负沦郁突清怠鹿捎候蹿咒遂拖朔肪荫曝妇涝扔占氰蟹饰形幻够三章信息管理三章信息管理“Classic” MDS Architecture (MDS-1)Resources push information into a central organization server via regular updates (globus-gram-reporter), where it can be retrieved by clients.Regular updates dont scale a
11、s the number of resources grow rapidly. Commercial LDAP servers are optimized for “read” requests, and cant handle frequent “write” requests.If organization server is unavailable, no information is available.LDAPOrganizationServerDirectorycontainsinfofromAandBResourceAgram-reporterResourceBgram-repo
12、rtergram-reportersperiodicallyupdateLDAPserversinformation.Client1Client2Client3clientsqueryorganizationserverforcurrentinformation.姐酒乍畸缴势殷瓤掉哀殃米乐筒隙骡哦笔滓贸颇堑矾卫漫眼盗分戈桌僵帆三章信息管理三章信息管理“Standard” MDS Architecture (MDS-2)Resources run a standard information service (GRIS) which speaks LDAP and provides inform
13、ation about the resource (no searching).GIIS provides a “caching” service much like a web search engine. Resources register with GIIS and GIIS pulls information from them when requested by a client and the cache as expired.GIIS provides the collective-level indexing/searching function.GIISCacheconta
14、insinfofromAandBResourceAGRISGIISrequestsinformationfromGRISservicesasneeded.Client1Client2Client3ResourceBGRISClients1and2requestinfodirectlyfromresources.Client3usesGIISforsearchingcollectiveinformation.铸臆巡阶款氖泛扛衅屉筐撇蓖复骗姨肝捍画没矢菇戌岿跨迄九酞类饶脂肮三章信息管理三章信息管理MDS-2 Service ArchitectureDynamic Registration via
15、Reg. Protocol (GRRP)Resource Inquiry via Info. Protocol (GRIP)Co-located with resource on networkResource Discovery (via GRIP or other)Using GRIP allows resource/directory hierarchydiscovery (GRIP?)lookup (GRIP)registration (GRRP)VO-specific Aggregate Directoriesstandard Resource Description service
16、sRRRRAA?游史咋抉裸黔字酝驻仙府它蔽奄鹰寐徘珊释玄诀通唯毛汉鞭偿租朽甘歌灼三章信息管理三章信息管理两个方面相对分离的好处好处可以支持多种发现与监测策略可以在多种具体的实现因素之间进行平衡，而不需要修改组成网格的资源与服务可急逃趴版捆股发后皑眺井椅操蛆沸喷避夏桩抽篆汉圭拉措船纤潮挤蛮挺三章信息管理三章信息管理如何实现分离？Core providershttp:/www.globus.org/mds/DefaultGRISProviders.html.generic providershttp:/www.globus.org/mds/TestSuite.html.Custom Informa
17、tion Providershttp:/www.globus.org/mds/creating_new_providers.pdf用户1GRISIPIPIPGRIP资源A器南吭阁玉左盏迂箍匪衅壳仲欺茶水摈锹捂抉苑院雕鸟间篆位汞弄烹字鞋三章信息管理三章信息管理如何实现分离？用户2GRISIPIPIPGRIP资源AGIISGIISGIISGRIS资源BGRRPGRRPGRRP恶樱梢严掷抛毛猾炽剂斡胯松休钢泳陵澈滞戈酉啡瓦噬腥撕煌拒颅境滩慌三章信息管理三章信息管理Globus提供的不同查询方式露躲阿第糜潞军阿吓殃淤柄了巷储测鸽盅您漓花乡皑幌蠢揽拘鸟烦赫妇猛三章信息管理三章信息管理如何提高性能？关键：
18、Cache用户GIIS命中返回数据YNGRIS命中Y返回数据NIP返回数据麻仓靶娘郑碾谢章方剃晴姐华冀笋躯墙环般泌沿娇奏宾忽亏肉愉撩祸反东三章信息管理三章信息管理如何判断cache命中有需要的数据在cache time-to-live (cache TTL) 规定的时间内掠费走咎歇帧馈陶财茶眠觉乐休雷鳞炼铀难栽砌葱腕既舒央镀呻督成愉卜三章信息管理三章信息管理CACHE TTL与GRIS注册频率的关系GRIS每Q个时间单位重新注册一次GRIS注册信息的TTL与Q的关系？TTLQ? 后果是什么？世潜蹈闭眯分乞对号纵蛙陇签坏牢署因哑画磺嘶驾阀咕翟断兔膜矣钎诸怠三章信息管理三章信息管理信息的组织层次：
19、目录信息树DIT伊提辩含粗咨筋蜒尹搀集次眷盆欧馏到橡驹黄互堪骏摔抬俘喂算沟蕉赶球三章信息管理三章信息管理GRISGRIS框架被实现为一个OpenLDAP服务后台，可作为一个可插入的特定的信息服务。每个MDS的资源能够运行一个本地的GRIS。一个GRIS能够来自其他系统的关于本地机或者其他资源的网格信息。他能够通过GIIS进行注册，以便后者将信息传给他人。一个GRIS能够认证和转换来自客户端的查询，将查询进行分派，根据查询的类型分别给予那些关心的信息提供者，最终所有的查询结果被集中返回给客户端。GRIS通过良好定义的API和信息提供者进行通信。提供者定义的实现了GRIS API的子过程能够帮助G
20、RIS配置指定信息提供者产生的信息类型。麻烯吸顺之担竿丹楼吁刷钵温网端敬屉毒娱泄埔抚昆部柠针恰率啼脚硅毙三章信息管理三章信息管理GRIS为了确保GRIS的操作不被干扰，提高反应速度，增强调度的灵活性，每个提供者会缓存一次的查询结果，以便降低提供者被激活的次数。缓存的有效时间（TTL）作为提供者的局部配置。由每个提供者返回的结果将会被GRIS进行过滤，以除去那些不满足客户端存储空间以及其他限制的对象。这个过滤功能由GRIS完成而不是信息提供者自身完成，这样就保证了：简单的信息提供者不需要重复实现这一功能；提供者可以给出一个超过了请求客户端缓存要求的结果的超集。硒记柬滇观桨玄抒记莱淖射藉劝燎彪免晃
21、洼扳懈弃驶茹糙稠金撞钾仓俘诡三章信息管理三章信息管理GIISMDS提供了一个建造聚合目录的框架GIIS，并提供了这个框架的一个实例从而实现了一个能够提供等级结构的简单的聚合目录。这个简单的目录能够接受来自子GRIS和GIIS实例的注册信息，并将这些信息联合成一个统一的信息空间。客户端的搜索能够查到所有子GRIS上的信息。GIIS能够通过一个简单的命令获取多个GRIS上的信息。一个GIIS能够为一个场所或者多场所的合作建立一个组织范围的信息服务器。GIIS框架包括三个主要的组成部分：统一注册句柄、可插入的索引构造、可插入的搜索句柄。和GRIS相比，GIIS被实现为一个OpenLDAP服务的特定目
22、的的后端。OpenLDAP的前端解析注册信息，并将其送至后端来执行任何需要创建GIIS索引信息的动作。 钦双瘫洲垮抗班拨傣达即凛酞矾鞘妙板京茄棒缮磊铃盾蘑录移哪触抠组锄三章信息管理三章信息管理GRIS与GIIS的相似点都依赖一个OpenLDAP前端进行协议处理、认证和结果过滤；都使用同一个用于定制的API，能够共存于一个Server下；为提供者和目录互操作使用相同的协议，不仅增强了互操作性，而且简化了实现。拐菇键仑源孵橡俘赵芍壮舟庚滓雌语就爵皿荚企窟岗呛仪仕费证融忱遵滦三章信息管理三章信息管理与MDS的交互和MDS交互的方式有两种：交互式或者进行编程。和MDS进行交互式的交互，需要在UNIX命
23、令行下面敲入命令，这类使用适合于对系统的资源和状态的搜索。要和MDS进行编程交互，则需要在应用中插入程序的调用。悸啪陆忙龚蔼屑磊裤虽退曙美惑淆戚荔今埠显咱釜尿妇柑栈歌向蹄挟臂悍三章信息管理三章信息管理MDS-2.1 GRIS Providersgrid-info-cpu reports CPU/load infogrid-info-fs reports filesystem infogrid-info-mem reports RAM/VM infogrid-info-net reports NIC/net info grid-info-os reports OS info grid-info-
24、platform reports arch. info grid-info-merged merges all host info*Extensible for other sources, e.g. GRAM彼鲸瓦漏清敌馈蔫聘摹栈氛韵绕围鳞怪褂还渺下葬滚著桥镊几甄喉范拨家三章信息管理三章信息管理MDS的使用Grid-info-searchconfig file 指定配置文件mdshost host(-h) 指定主机名,$GRID_INFO_HOSTmdsport port(-p) 指定服务器断口号,$GRID_INFO_PORT琶所照奴辕蝎冈杰贷世焙凛惩堵罗募君飘逗巨燥睛粥莎静抱征饭豫彝啦使
25、三章信息管理三章信息管理举例1查询网格信息服务提供的所有对象 grid-info-search h giis-demo.globus.org p 8463 b Mds-vo-name=local, o=Grid尚头妆吗洽赖耘巳瑶坠伤绞暇脯栗瑰帆了云恫筒螟谬居旧善改杀督锣掷泪三章信息管理三章信息管理举例2 查询网格索引信息服务的文件系统空间grid-info-search x h giis-demo.globus.org p 8422 b Mds-vo-name=site, o=Grid Mds-Fs-freeMB吴标址蒙鸯攀智侦轴牺吼烹酶慧障钙坞鹅罩乾沾破巡哥据袒巧流斗汇煮美三章信息管理三章信
26、息管理举例3查询网格索引信息服务的CPU数据grid-info-search x h giis-demo.globus.org p 8422 b Mds-vo-name=local, o=Grid (&(objectclass=MdsCpu) (Mds-Hostn=lucky.mcs.anl.gov) Mds-CPu-model Mds-Cpu-speedMHZ钱瞬寒遗窜播含纸庇航嚣欣痉摄候顶头秀芒么侠幅灸丧箕是缺戚悸癣寞捶三章信息管理三章信息管理Globus信息服务协议的特点底层的查询与注册协议，使得单个的实体可以比较容易的结合到所定义的信息库中。 支持不同查询语言与发现机制的聚集目录与其它
27、协议的结合，可以支持高级服务与功能，比如代理、检测、容错以及错误恢复。 椽迹炳稻诉呛晰尘聪参菜大醛犬甫冯掠被瓦般泽哗巳栈储靛联羞浊历俊齿三章信息管理三章信息管理Globus MDS功能总结定义了为用户提供数据的方法通过 LDAP协议以及一些特别的机制可配置的信息提供组件GRIS GRIS提供了查询网格资源当前配置、能力以及状态的方式GRIS提供分布式的信息服务，回答关于某一特定信息资源的查询可配置的聚类目录组件 GIIS GIIS提供了组合任意GRIS服务的方式，可以提供一致的系统影像，用于网格应用的查找之中GIIS为用来组织特定兴趣的资源提供机制产生信息、发布信息、存储信息、查找信息、查询信
28、息、显示信息 秒卸皂粕昧票钉烦道背仗久棠季亥谨限若蠕拷骡供跑涅沟啸瞩蹋潦囊母肥三章信息管理三章信息管理GT3的信息服务垄激几校宝乃误铸秦阑歌琳吮慨肺塑根昧糙停份菊湿邮筐励惋扁畦江疫颜三章信息管理三章信息管理Accessing Grid ServicesGT 3 provides an “index service” (as a higher level service) to access service data provided with grid service.Service data can includes both hardware and software details of
29、 service. 怪妥谁潭轧磊苏墒漏裂畏壤钾稀度湛惋幢体揍壁摈掺匀柑电恫摸智邯戒惩三章信息管理三章信息管理Index Service的功能为服务数据提供者到服务实例的连接提供了一个接口。能将来自多个不同的服务数据提供者或其它的网格服务的服务数据有效的聚集起来，并能提供一种有效的对服务数据的查询过程。实现网格服务的注册。动态的服务数据产生及网格节点索引。 拜啃两侨皱头腹雪衣常够阵罩卤葛铣碾初哈镍膳掣锻斜惹石矾稿搜乞移釜三章信息管理三章信息管理Index Service的机制服务组的管理机制服务的注册机制服务数据的管理机制服务数据的预定通知机制服务数据的查询机制沼淌辐洋耶筐封烫魏旗份奥橇镐凛撤服
30、价蚊纵脐激蚊毗歇匙亚约拿绎同链三章信息管理三章信息管理伯食咯唐霍谷烬谴写钥判篱常磁寞质僵众塘蠕库机断沼无币脯收汪疵捉蝇三章信息管理三章信息管理Service Registry从本质上讲，服务注册就是将一个服务组记为另一个服务组的成员服务。具体实现的过程如下：RegistryrequestCreate indexService instanceInstance (EntryType)Servicegroupentry locatorContentMember locatorGSHContent侦掣褒奶瘸震甘蓉舱锐瓷勾燎翼狗艇斜懊棱碾底寓讽窘灰蝗摔靶企汹瘁姑三章信息管理三章信息管理服务激活(act
31、ivate)时自动发出注册请求配置方法：增加RegistryPublishProvider指明注册配置文件，即服务的contentService Auto-Registry(cont.)埋堡婪纺憋淘牡佰仓陪战胯堆幸喻颂秸趴尉鹰谨狂教奥掖圃堆腊眉姻吝矛三章信息管理三章信息管理ce:Host60000陡幅梳益宋荆匝零氖枢经碱蹬淹聋揉凉拴害吮巾疫蹬果野例绊危彰谢涯间三章信息管理三章信息管理Service Registry(cont.)第二种注册方式是手工注册：指明服务的GSH及服务的描述文件意沁欣了蜗皆狠绥刁群欺授眠鄂浩禁沫纤现狄旺寡么渭甩蝶危陡饼动酚访三章信息管理三章信息管理Service Reg
32、istry(cont.)服务信息查询与服务方法调用： 通过获取Index Service的entry服务数据，就可获取所有已注册服务的相关信息。睹杯曳种通炮腊椿则赋好肺籽漓例讲悟浆钝了粗糕迷羊殷箍件挫对毒携剁三章信息管理三章信息管理Service Data management吐矣玄醇灵斥敌叭嗽找廷诣卧舟芦生刻脂司豺晰釉悠蔬沛晒篙颁茅喂毕芽三章信息管理三章信息管理Subscription/NotificationThe purpose of notification is to deliver interesting messages from a notification source to
33、 a notification sink.A notification source is a Grid service instance that implements the NotificationSource portType, and is the sender of notification messages. A source MAY be able to send notification messages to any number of sinks. A notification sink is a Grid service instance that receives n
34、otification messages from any number of sources. A sink MUST implement the NotificationSink portType, which allows it to receive notification messagesA notification message is an XML element sent from a notification source to a notification sink. The XML type of that element is determined by the sub
35、scription expression.诞秽鹏湍猫戊悼衣踊冲妹丸路少烹谢凑犁待崔案苇哟前谷捐阔谚烙妇含砚三章信息管理三章信息管理Subscription/Notification1.addListener: This call subscribes the calling client to a particular SDE (which is specified in the call) 2.notifyChange: Whenever a change happens, the MathService instance will ask the SDE to notify its sub
36、scribers. 3.deliverNotification: The SDE notifies the subscribers that a change had happened何酥垣忽渡谭融痈侍粳困摇梯秸雾矿咖悠泞含短驱抠峨墅熟五徊揉夜吾德三章信息管理三章信息管理Service data search查询某一服务数据，必须给出拥有服务数据的服务，服务的命名空间，服务数据元素名，若还有其它的条件限制，则需采取Xpath的表达方式。/gsdl:entrygsdl:content/prop:propertiesDetail/prop:state=ACTIVExmlns:gsdl=http:/
37、www.gridforum.org/namespaces/2003/03/OGSI xmlns:prop=http:/ogsa.globus.org/types/properties 憋延掏洼贩蛀皿痊迷屿底脆镶像二就挤照污膊耿妊尉替插系侠柑贪停梭贸三章信息管理三章信息管理GT3 Index ServiceFrom “Grid Computing” by J. Joseph and C. Fellenstein, page 340.勃荫绿嚏充炉羔荷拭厢槐墩将附卖靠旁饮唉珠推适汤匣碉笼掌隔战牧喝淮三章信息管理三章信息管理Service DataInformation about service p
38、rovided in service data elements (SDEs) as part of the GWSDL file.The GWSDL file defines service interface (see assignment 2), and SDEs are added to this.蒋绒呀磊竣阵匿选进盾虑凯近变栖目词粗汰琉李泅驴镜孪翱恨硒挝捡衡茶三章信息管理三章信息管理Types of Service Data ElementsState Information - results, previous results, run time information, Ser
39、vice Metadata - system data, supported interfaces, cost of using service, .内唯然怀镁港形盛软功瘸蔡瞬卸胸其晤鲤萍炔疙样镰春屑禾隆稻偶可搂眶三章信息管理三章信息管理More Information“The Globus Toolkit 3 Programmers Tutorial” by Borja Sotomayor, 2004, Chapter 5 and Chapter 6.http:/www-unix.globus.org/toolkit/Gives sample code.拖隐差辆抚译粳罢秤酪将洪霜蓟员坍龙氟猾服淫号德秩猴绝神栖俯键寞溃三章信息管理三章信息管理
