《三章格体系结构》由会员分享，可在线阅读，更多相关《三章格体系结构（38页珍藏版）》请在金锄头文库上搜索。
1、网格计算网格计算Grid Computing Grid Computing 肖侬肖侬第三章网格体系结构第三章网格体系结构网格计算网格计算Grid Computing Grid Computing 肖侬肖侬内内 容容五层沙漏结构五层沙漏结构开放网格服务体系结构开放网格服务体系结构OGSAvOpen Grid Service ArchitectureWeb Service 资源服务框架资源服务框架WSRFvWeb Service Resource FrameWork网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网络计算体系结构的发展（续）网络计算体系结构的发展
2、（续）网格计算体系结构网格计算体系结构v层次体系结构层次体系结构v开放网格服务体系结构开放网格服务体系结构OGSAvOGSIWSRFWSRF（WSWSResource FrameworkResource Framework）网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Grid的主要问题的主要问题在动态变化的、多机构组成的虚拟组织（在动态变化的、多机构组成的虚拟组织（VO)内的协作资源共享和问题求解内的协作资源共享和问题求解1.1.允许分布的服务和资源集成允许分布的服务和资源集成2.2.采用通用的协议和基础支撑采用通用的协议和基础支撑3.3.获得较好的获得
3、较好的QOSQOS服务服务网格计算网格计算Grid Computing Grid Computing 肖侬肖侬一个虚拟组织例子一个虚拟组织例子: CERNs Large Hadron Collider1800 Physicists, 150 Institutes, 32 Countries 100 PB of data by 2010; 50,000 CPUs?网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Grid Communities & Applications:Data Grids for High Energy PhysicsTier2 Cent
4、re 1 TIPSOnline SystemOffline Processor Farm 20 TIPSCERN Computer CentreFermiLab 4 TIPSFrance Regional Centre Italy Regional Centre Germany Regional Centre InstituteInstituteInstituteInstitute 0.25TIPSPhysicist workstations100 MBytes/sec100 MBytes/sec622 Mbits/sec1 MBytes/secThere is a “bunch crossi
5、ng” every 25 nsecs.There are 100 “triggers” per secondEach triggered event is 1 MByte in sizePhysicists work on analysis “channels”.Each institute will have 10 physicists working on one or more channels; data for these channels should be cached by the institute serverPhysics data cachePBytes/sec 622
6、 Mbits/sec or Air Freight (deprecated)Tier2 Centre 1 TIPSTier2 Centre 1 TIPSTier2 Centre 1 TIPSCaltech 1 TIPS622 Mbits/secTier 0Tier 0Tier 1Tier 1Tier 2Tier 2Tier 4Tier 41 TIPS is approximately 25,000 SpecInt95 equivalentswww.griphyn.org www.eu-datagrid.org网格计算网格计算Grid Computing Grid Computing 肖侬肖侬
7、网格技术挑战网格技术挑战网格体系结构和网络计算模型网格体系结构和网络计算模型vInternet活动规律和特性活动规律和特性网格计算的资源共享和协同的基础理论网格计算的资源共享和协同的基础理论vAgent？v协同优化理论？协同优化理论？标准和协议体系标准和协议体系建立一个开放的信息处理基础设施平台建立一个开放的信息处理基础设施平台v一个开放的体系结构、标准和协议，以形成信息获一个开放的体系结构、标准和协议，以形成信息获取、传输、访问和处理的单一虚拟系统基础平台取、传输、访问和处理的单一虚拟系统基础平台 v屏蔽异构平台、异构语言屏蔽异构平台、异构语言网格计算网格计算Grid Computing G
8、rid Computing 肖侬肖侬网格技术挑战（续）网格技术挑战（续）虚拟组织的管理和协同工作虚拟组织的管理和协同工作v基于服务的协作集成技术等；基于服务的协作集成技术等；v多个系统的协调和集成多个系统的协调和集成v服务和应用的自治管理和优化服务和应用的自治管理和优化v自动配置和部署自动配置和部署网格的高可靠和可用性技术网格的高可靠和可用性技术v资源多层次和多方面的异构性资源多层次和多方面的异构性v系统状态的不确定性系统状态的不确定性 v异构分布的环境高可靠的保证异构分布的环境高可靠的保证v单点失败不导致系统，单点失败不导致系统，网格的安全机制和可信技术网格的安全机制和可信技术v多域的安全问
9、题多域的安全问题v访问控制模型访问控制模型v可信技术可信技术网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格技术挑战（续）网格技术挑战（续）高度灵活的共享关系定义和共享资源的高度灵活的共享关系定义和共享资源的复杂高级控制复杂高级控制v细粒度访问控制、代理细粒度访问控制、代理v灵活，可应付许多资源类型和共享方式灵活，可应付许多资源类型和共享方式v可扩展大量资源、许多的参与者和程序模块可扩展大量资源、许多的参与者和程序模块的调度和联合分配的调度和联合分配记帐技术记帐技术各个站点同时履行资源分配的合约，具各个站点同时履行资源分配的合约，具有事务性原则有事务性原
10、则网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格技术挑战（续）网格技术挑战（续）海量分布数据的存储、分发、访问和管理海量分布数据的存储、分发、访问和管理v高速透明访问多个地点的海量存储系统高速透明访问多个地点的海量存储系统v统一的数据操作和管理空间统一的数据操作和管理空间v结构化数据访问和管理结构化数据访问和管理v非结构化数据访问和管理，非结构化数据访问和管理，etc网格资源与服务的发现、组织和调度与管理的方法和网格资源与服务的发现、组织和调度与管理的方法和算法算法在线设备的数据自动注释和分类目录在线设备的数据自动注释和分类目录高性能分布数据密集型系统
11、必须使用网络级别、平台高性能分布数据密集型系统必须使用网络级别、平台级别和构件级别的并行和流水线级别和构件级别的并行和流水线高速系统的精确监控高速系统的精确监控v对于算法分析、问题监测和动态自适应配置非常重要对于算法分析、问题监测和动态自适应配置非常重要v资源、系统、应用的监控资源、系统、应用的监控网格系统的自治管理技术网格系统的自治管理技术v灵活的、自治的资源管理（自动的服务器重启、数据迁移、灵活的、自治的资源管理（自动的服务器重启、数据迁移、拥塞避免等）拥塞避免等）网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格技术挑战（续）网格技术挑战（续）网格的
12、编程模型和语言网格的编程模型和语言v我们需要突破传统的程序设计和并行程序设计语言与编程模我们需要突破传统的程序设计和并行程序设计语言与编程模型型vMPIG？网格环境下网格服务的应用形态和高层网格环境下网格服务的应用形态和高层shell语言语言网格工作流语言和机制网格工作流语言和机制v面向服务的工作流？面向服务的工作流？v多域环境下的工作流多域环境下的工作流网格系统的自适应技术和机制网格系统的自适应技术和机制v应用系统在异构分布环境中优化执行；应用系统在异构分布环境中优化执行；基于构件技术的网格应用开发环境和工具基于构件技术的网格应用开发环境和工具面向应用领域的基础支撑工具和服务。面向应用领域的
13、基础支撑工具和服务。网格计算网格计算Grid Computing Grid Computing 肖侬肖侬对体系结构基本要求对体系结构基本要求在技术上，从应用的角度看：在技术上，从应用的角度看：不能破坏现有系统，不能重蹈覆辙（分布操作不能破坏现有系统，不能重蹈覆辙（分布操作系统系统 ）为应用提供单一分布资源全局视图和聚集各种为应用提供单一分布资源全局视图和聚集各种分布的自治资源成为一个系统分布的自治资源成为一个系统不导致应用程序的重新编写不导致应用程序的重新编写v移植简单移植简单网格计算网格计算Grid Computing Grid Computing 肖侬肖侬对体系结构基本要求对体系结构基本要
14、求l不同组织之间的资源共享互操作是必不可少的不同组织之间的资源共享互操作是必不可少的v对资源直接访问，不单单是文件共享和交换对资源直接访问，不单单是文件共享和交换v体现在各种资源构件之间和机制之间体现在各种资源构件之间和机制之间标准的协议是至关重要的标准的协议是至关重要的v允许跨节点的允许跨节点的 interoperabilityv允许允许 shared infrastructure网格计算网格计算Grid Computing Grid Computing 肖侬肖侬需要标准的协议、服务是重要的需要标准的协议、服务是重要的标准的标准的APIs/SDKs是重要的是重要的v允许应用可移植允许应用可移
15、植v没有标准协议互操作很难没有标准协议互操作很难 (every SDK speaks every protocol?)基本服务的定义基本服务的定义v可共享，避免重复开发和安装可共享，避免重复开发和安装vE.g., one port/service/protocol for remote access to computing, not one per tool/applnvE.g., Certificate Authorities: expensive to run网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格体系结构设计网格体系结构设计在技术上，从在
16、技术上，从Grid 实现者的角度：实现者的角度：v一个层次型中间件服务集合（一个层次型中间件服务集合（like 现行的系统）现行的系统）v按照现代软件系统的设计原则，以服务的方式为应按照现代软件系统的设计原则，以服务的方式为应用工具和应用的开发提供支持；用工具和应用的开发提供支持；v服务的实现必须能够自由地使用各个层次上的功能服务的实现必须能够自由地使用各个层次上的功能和服务进行构造。和服务进行构造。（这和许多系统的设计原则不同）（这和许多系统的设计原则不同）网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Grid “体系结构体系结构”从标准协议、服务角度分
17、析从标准协议、服务角度分析Grid 系统系统结果是一个层次协议体系结构结果是一个层次协议体系结构五层沙漏体系结构五层沙漏体系结构vIan Foster等描述了一种具有代表性的体系等描述了一种具有代表性的体系结构结构网格计算网格计算Grid Computing Grid Computing 肖侬肖侬沙漏结构设计原则沙漏结构设计原则保持参与的开销最小保持参与的开销最小v核心协议较少的，要普遍支持核心协议较少的，要普遍支持v提供一些核心服务为基础提供一些核心服务为基础v类似类似OS内核，移植方便内核，移植方便管辖多种资源，允许局部控管辖多种资源，允许局部控制制用来构建高层的、特定领域用来构建高层的、
18、特定领域 的应用服务的应用服务支持适应性支持适应性“IP hourglass” modelDiverse global services核心服务核心服务Local OSA p p l i c a t i o n s 高层功能向瓶颈部分的映射瓶颈部分功能向底层的映射瓶颈部分网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Hourglass网格计算网格计算Grid Computing Grid Computing 肖侬肖侬 Grid Architecture比较比较Internet ArchitectureApplication构造层构造层Fabric“Cont
19、rolling things locally”: Access to, & control of, resources连通层连通层“Talking to things”: 通讯通讯 (Internet protocols) & 安全安全资源层资源层Resource“共享单个资源共享单个资源”: 协商访问协商访问, 控制使用控制使用聚合层聚合层Collective“管理多个资源管理多个资源”: 无处不在的底层基础服无处不在的底层基础服务务services应用层“Specialized services”: 面向用户面向用户或面向应用的分布式服务或面向应用的分布式服务 servicesIntern
20、etTransportApplicationLinkInternet Protocol Architecture网格计算网格计算Grid Computing Grid Computing 肖侬肖侬每一层存在的协议、服务和接口每一层存在的协议、服务和接口Languages/FrameworksFabric LayerApplicationsLocal Access APIs and ProtocolsCollective Service APIs and SDKsCollective ServicesCollective Service ProtocolsResource APIs and SD
21、KsResource ServicesResource Service ProtocolsUser Service ProtocolsUser Service APIs and SDKsUser ServicesConnectivity APIsConnectivity Protocols网格计算网格计算Grid Computing Grid Computing 肖侬肖侬详细构成详细构成 工具与应用目录代理诊断与监控等资源与服务的安全访问 应用层汇聚层资源与连接层 各种资源，比如计算机，存储介质，网络，传感器等 构造层 网格计算网格计算Grid Computing Grid Computing
22、 肖侬肖侬Grid体系结构各层说明体系结构各层说明构造层构造层(Fabric)：提供一套对局部资源控制的：提供一套对局部资源控制的工具和接口；工具和接口；v计算、存储、网络、数据和目录等计算、存储、网络、数据和目录等v对所控制的共享资源进行局部管辖和调度对所控制的共享资源进行局部管辖和调度v实现各种资源本身的一些控制管理机制实现各种资源本身的一些控制管理机制v不同类型资源不同的控制管理机制不同类型资源不同的控制管理机制YH资源和作资源和作业管理系统业管理系统SGI资源和作资源和作业管理系统业管理系统IBM资源和作资源和作业管理系统业管理系统网格计算网格计算Grid Computing Grid
23、 Computing 肖侬肖侬特定构造层资源及其功能特性构造层资源举例构造层资源举例 功能特性功能特性 计算资源计算资源启动程序，监控和控制进程的执行，控制进程资源分配的启动程序，监控和控制进程的执行，控制进程资源分配的管理机制，提前预留机制，查询功能管理机制，提前预留机制，查询功能.存储资源存储资源存放与获取文件的机制，第三方高性能传输方式，读写文存放与获取文件的机制，第三方高性能传输方式，读写文件子集机制，远程数据选取与归约机制，对分配用于数据件子集机制，远程数据选取与归约机制，对分配用于数据传输资源的控制管理机制，提前预约机制，查询功能传输资源的控制管理机制，提前预约机制，查询功能.网络
24、资源网络资源对对网络传输资源的管理机制，查询功能（用来得到网络特网络传输资源的管理机制，查询功能（用来得到网络特性和负载）性和负载）.代码库代码库源代码和目标代码管理机制，比如源代码和目标代码管理机制，比如CVS控制系统控制系统.目录目录目录查询与更新操作机制，比如关系数据库目录查询与更新操作机制，比如关系数据库网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Grid体系结构各层说明体系结构各层说明连通层连通层(connectivity):定义定义了了Grid网络事务网络事务处理的通信和验证协议，基于处理的通信和验证协议，基于Internet协议；协议；v基
25、于基于Internet协议，完成通信；协议，完成通信；v认证和安全通信认证和安全通信网格计算网格计算Grid Computing Grid Computing 肖侬肖侬连接层安全认证特性特点特点描述描述单一登陆单一登陆用户只需登陆一次，就可以以该身份访问不同的构造层用户只需登陆一次，就可以以该身份访问不同的构造层网格资源，不需要对不同的资源多次重复登陆，也不需网格资源，不需要对不同的资源多次重复登陆，也不需要用户进一步介入要用户进一步介入.代理代理用户必须有让程序以自己身份运行的能力，因此程序就用户必须有让程序以自己身份运行的能力，因此程序就能够访问用户认证的不同资源能够访问用户认证的不同资源
26、.该程序还能够有条件将它该程序还能够有条件将它的部分权限授予另一个程序（受限制的代理）的部分权限授予另一个程序（受限制的代理）.与与局部安全方法局部安全方法的集成的集成不同的资源可以使用其局部的安全方案，但是网格安全不同的资源可以使用其局部的安全方案，但是网格安全方案必须与那些局部的方案进行互操作方案必须与那些局部的方案进行互操作.不要求网格安全不要求网格安全方案完全代替局部安全方案，但是它必须能够实现向局方案完全代替局部安全方案，但是它必须能够实现向局部安全的映射部安全的映射.基于用户的信任基于用户的信任机制机制用户可以使用多个提供者提供的资源，但并不是要求资用户可以使用多个提供者提供的资源
27、，但并不是要求资源提供者在安全环境中协同操作或互操作源提供者在安全环境中协同操作或互操作.即如果一个用即如果一个用户有权使用站点户有权使用站点A和和B的资源，用户能够将的资源，用户能够将A和和B的资源结的资源结合起来使用，并不要求合起来使用，并不要求A和和B的安全管理相互作用的安全管理相互作用.网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Grid体系结构各层说明（续）体系结构各层说明（续）资源层（资源层（Resource)：定义了一些对单个的资定义了一些对单个的资源共享操作协议源共享操作协议v定义了某类资源的管理和操作等的标准协议和接口定义了某类资源的管
28、理和操作等的标准协议和接口v可以远程统一的访问和共享操作资源可以远程统一的访问和共享操作资源v如交换、启动、监视、控制、记帐和支付等，以及如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；应用程序接口和软件包；例如：标准的作业管理系统接口和标准网格计算网格计算Grid Computing Grid Computing 肖侬肖侬资源层的协议类型与描述协议类型协议类型描述描述信息协议信息协议得到资源的结构和状态信息，比如配置，当前负载，使用得到资源的结构和状态信息，比如配置，当前负载，使用策略等策略等.管理协议管理协议通过判断访问共享资源，指出资源需求以及执行的操作通过判断访问共享
29、资源，指出资源需求以及执行的操作.初初始化共享关系，保证要求的协议操作与底层共享资源提供始化共享关系，保证要求的协议操作与底层共享资源提供的共享策略一致的共享策略一致.还要考虑记账和付费的问题，协议还可能还要考虑记账和付费的问题，协议还可能需要具有监控操作的状态并控制某些操作的功能需要具有监控操作的状态并控制某些操作的功能.网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Grid体系结构各层说明（续）体系结构各层说明（续）聚合聚合(Collective)：提供多个资源协同工作提供多个资源协同工作v联合资源调度和预约，信息服务，数据复制服务、联合资源调度和预约
30、，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记资源发现服务、团体授权服务、协作服务和分布记帐服务等；帐服务等；例如：标准的作业管理系统接口和标准联合分配网格计算网格计算Grid Computing Grid Computing 肖侬肖侬汇聚层服务和协议服务与功能名称服务与功能名称描述描述目录服务目录服务允许虚拟组织参加者发现存在的资源或者是存在的资源的特允许虚拟组织参加者发现存在的资源或者是存在的资源的特性，允许用户根据名字或者属性来查询资源性，允许用户根据名字或者属性来查询资源.协同分配，调度以协同分配，调度以及代理服务及代理服务允许虚拟组织参加者申请一个或者更多的资
31、源，并且在相应允许虚拟组织参加者申请一个或者更多的资源，并且在相应的资源上进行任务调度的资源上进行任务调度.监控和诊断服务监控和诊断服务用于监视虚拟组织资源的失败，恶意的攻击，入侵检查，过用于监视虚拟组织资源的失败，恶意的攻击，入侵检查，过载等等载等等.数据复制服务数据复制服务支持虚拟组织存储，网络与计算的管理，按照响应时间，可支持虚拟组织存储，网络与计算的管理，按照响应时间，可靠性，费用等标准优化数据访问性能靠性，费用等标准优化数据访问性能.网格支持下的编程网格支持下的编程系统系统可以才网格中提供熟悉的编程模型，使用不同的网格服务解可以才网格中提供熟悉的编程模型，使用不同的网格服务解决资源发
32、现，安全，资源分配以及其它问题决资源发现，安全，资源分配以及其它问题.负载管理系统与协负载管理系统与协同分配工作框架同分配工作框架提供描述，使用以及管理多步，异步以及多组件工作流提供描述，使用以及管理多步，异步以及多组件工作流.软件发现服务软件发现服务基于求解问题的参数发现和选择最好的软件实现和执行平台基于求解问题的参数发现和选择最好的软件实现和执行平台协作服务协作服务用于潜在较大的用户社团内的协同交换信息，包括同步和异用于潜在较大的用户社团内的协同交换信息，包括同步和异步两种方式步两种方式.网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Grid体系结构各
33、层说明（续）体系结构各层说明（续）应用层：提供应用层：提供Grid的系统开发和应用开发工的系统开发和应用开发工具、环境具、环境v程序设计语言和应用开发方法、环境程序设计语言和应用开发方法、环境v可视化工具可视化工具v资源发布和预定工具资源发布和预定工具v工作流管理工具工作流管理工具vWeb Portalsv应用代码构件应用代码构件v应用应用网格计算网格计算Grid Computing Grid Computing 肖侬肖侬五层结构应用 例1应用层应用层多多科学模拟科学模拟光线追踪光线追踪汇聚层（面汇聚层（面向问题）向问题）联合求解器，联合求解器，分布式数据文档分布式数据文档检查点，作业管理，故
34、障避免，检查点，作业管理，故障避免，分段运输分段运输汇聚层（通汇聚层（通用）用）资源发现，资源代理，系统监控，社团授权，收回证书资源发现，资源代理，系统监控，社团授权，收回证书资源层资源层访问计算，访问数据，访问系统结构，状态与性能信息访问计算，访问数据，访问系统结构，状态与性能信息连接层连接层通信（通信（IP），），服务发现（服务发现（DNS），），认证，授权，代理认证，授权，代理构造层构造层存储系统，计算机，网络，代码库，目录存储系统，计算机，网络，代码库，目录网格计算网格计算Grid Computing Grid Computing 肖侬肖侬五层结构应用 例2应用层应用层高高吞吐率系统吞
35、吐率系统汇聚层（面向问汇聚层（面向问题）题）检查点，作业管理，故障避免，分段运输检查点，作业管理，故障避免，分段运输.汇聚层（通用）汇聚层（通用）代理，证书授权代理，证书授权.资源层资源层计算访问，数据访问计算访问，数据访问,网络性能访问网络性能访问.连接层连接层通信通信，服务发现（服务发现（DNS），），认证，授权，代理认证，授权，代理构造层构造层存储系统，调度存储系统，调度网格计算网格计算Grid Computing Grid Computing 肖侬肖侬五层结构应用 例3应用层应用层特定科学的数据网格应用特定科学的数据网格应用汇聚层（面向问汇聚层（面向问题）题）移植性控制，选择复制，任务
36、管理，虚拟数据目录，虚拟数移植性控制，选择复制，任务管理，虚拟数据目录，虚拟数据代码目录据代码目录.汇聚层（通用）汇聚层（通用）目录复制，复制管理，协同分配，证书授权，元数据目录目录复制，复制管理，协同分配，证书授权，元数据目录.资源层资源层数据访问数据访问,计算访问计算访问,网络性能访问网络性能访问.连接层连接层通信通信，服务发现（服务发现（DNS），），认证，授权，代理认证，授权，代理构造层构造层存储系统，机群，网络，网络缓存存储系统，机群，网络，网络缓存.网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格计算网格计算Grid Computing Gr
37、id Computing 肖侬肖侬Layered ArchitectureApplicationsLocal ServicesHigh-level Services and Tools网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格计算网格计算Grid Computing Grid Computing 肖侬肖侬网格计算网格计算Grid Computing Grid Computing 肖侬肖侬Open Grid ArchitectureData HandlingSystemsStorageResourcesAPI that provides“glue”
38、to underlyingstorage, QoS, etc.GASS, IBP, SRBRemoteProcedureExecutionDPSS, DFS, NFSHPSS, ADSM, DMF, Unitree, NASstore, DB2, Oracle, Informix, Sybase, O2, ObjectStore, ObjectivityAPI that provides “glue” to underlying data handling systems (security, scheduling, QoS, access protocol, data format/mode
39、l, adaptivity, info discovery, location control)Data ModelManagementApplicationStorageSystemDescriptionInformationDiscoveryArmadaDagents,FEL, ADRGRAM,SRB+ authentication+ authorizationDynamicInfoDiscoveryGloPerf, Netlogger, NWS(e.g., filtering)Condor, GASS, NILE, SRB, I-2 caching, ADRDTD, ADR, object classLDAP, Database, Flat file, Object database
