清华计算机操作系统：第12章

《清华计算机操作系统：第12章》由会员分享，可在线阅读，更多相关《清华计算机操作系统：第12章（56页珍藏版）》请在金锄头文库上搜索。

1、第12章 网格操作系统的雏形 GLOBUS本章知识点： 12.1 网格简介 12.2 Globus初探1 网格（Grid）技术以计算资源的广域分布、 网络技术的不断发展为基础，迎合了不断增 长的对资源共享的需求。 网格通过网络的连接，形成一个集成的资源 环境，利用网格提供的计算能力来求解问题 ，就是所谓的网格计算（Grid Computing）。 网格计算也可以理解为分布式计算（ Distributed Computing）的一种延伸。 212.1 网格简介 网格技术是近年来兴起的一种重要信息技术，它的 目标是在网络环境上实现各种资源的共享和大范围 协同工作，消除信息孤岛和资源孤岛，利用聚沙成

2、 塔而成的计算能力廉价的解决各种问题。 网格发展的最终目的，就是要向电力网供给电力、 自来水管网供给自来水一样，给任何需要的用户提 供充足的计算资源和其他资源。“一插就亮，一开就 流，然后，一算就有，即用即算，而且随算随用”。 这种模式下，用户没有本机的概念，运算能力和效 率不由本机的芯片、存储、软件决定。用户使用它 ，不用考虑其后隐藏的任何细节，只需要提出运算 要求，然后获得结果，虽然这个结果很可能是在地 球的另一端得出的。312.1.1 网格的特点网格被称为新一代的Internet，作为一种新兴的基础 设施，它具有以下特点： 1. 分布性 这一点是网格最主要的特点，除了早期在实验室中 为了

3、研究目的构成的网格，投入商业应用的网格必 定是建立在资源广域分布的基础之上。而网格资源 在物理上的分布，又决定了网格计算必然是一种分 布式计算，而不可能是集中式的。 有必要强调的是，网格资源的离散分布不应该影响 对资源的共享，这是建立的网格的基本目标。分布 是资源的物理特征，而共享则可以由网格软件的逻 辑构造来保证。412.1.1 网格的特点2. 动态性与多样性 网格里的资源不是一成不变的，他们可能因 损坏、迁移、故障等原因而不可用，同时也 可能不断有新的资源加入进来。动态性意味 着资源的增加或减少。 网格包含的资源多种多样，而且是异构的。 因此，解决好不同结构不同类别的计算机系 统之间的通信

4、和共享问题是网格软件包的一 个重要任务。512.1.1 网格的特点3. 自相似特性 所谓自相似性，指的是局部的很多地方可以 发现全局的影子，而全局的特征在局部也有 体现。 我们可以把一个大的网格看成是许多小的子 网格叠加的结果，大的网格比子网格拥有更 多的资源，需要更强有力的管理。当然，这 种叠加不是简单的1+1=2，大的系统往往要比 小系统面对更多的实际问题和困难。612.1.1 网格的特点4. 管理的多重性 网格的目的是发挥闲散资源的能力，因 此资源的控制与管理权是双重的，既应 该承认资源拥有者对资源的所有权，也 要强调在资源空闲而被网格利用时，网 格对资源的管理权。712.1.2 网格的

5、体系结构要实现一个网格，我们必须了解它的基 本组成部分，每一部分的作用，这些部 件之间存在的关系等。而所谓的网格体 系结构，就是包含了上述信息，并且描 述了怎样建造网格及支持网格有效运转 的技术。812.1.2 网格的体系结构1.几个重要的概念 在开始介绍网格体系结构的有关模型之前，有必要先理解下面一些 概念： 协议：在分布式系统的各个组成部分确定一种通用的交互方式 。实际上就是定义了一种“相互交流的规范-协议”。而所谓的标准 协议，就是将协议按统一规则标准化的结果。 服务：我们将协议实现的功能称之为服务。由标准协议定义的 标准服务增强了提供服务的能力，抽象掉了与资源相关的细节。 API/SD

6、K：应用程序接口（Application Programming Interface） 和软件开发包（Software Development Kits）,可以使开发人员跳过 对于互操作、协议、服务这些低级的开发，而直接针对高级应用进 行工作 共享：网格中的共享，更侧重于对于包括硬件软件在内的各种 资源的直接访问。 虚拟组织：基于某些共享规则，由一些个人或团体形成的集合 体。 912.1.2 网格的体系结构2.五层沙漏结构 五层沙漏结构是一个以协议为中心同时 强调服务和API/SDK重要性的结构，但 它并不侧重于协议的具体定义，而是着 重于协议的描述，因此它非常容易理解 。1012.1.2 网

7、格的体系结构五层结构示意及与TCP/IP协议对比 ：1112.1.2 网格的体系结构 五层结构之所以被称为漏斗，是 因为每个层次所包含的协议数量 是不相等的。 有一部分协议称为核心协议,这类 协议需要在所以支持网格技术的 地点都被支持。上层协议向核心 协议的映射以及核心协议向下层 协议的映射都应该可以实现。 核心协议部分形成了沙漏的瓶颈 部分1212.1.2 网格的体系结构3OGSA体系结构 开放网格服务结构OGSA（Open Grid Services Architecture）是一种以服务为核心的结构，这与五 层沙漏模型以协议为中心的结构形成鲜明对照。 五层沙漏模型中强调的是资源的共享，而

8、OGSA则强 调服务的共享，这里的服务概念是广义的，不仅指 由资源提供的服务，也包括资源本身。 为了使OSGA中的服务的含义更清晰和明确，出现了 网格服务（Grid Service）的概念：网格服务是Web Service的一种，提供了由良好定义的接口构成的集 合，以及遵循特殊的、为支持网格而制订的规范。1312.1.2 网格的体系结构 OSGA将一切都视为服务，因此网格在这里 也可以看成可扩展的网格服务构成的集合。 五层模型的构造过程更多的是基于协议本身 的需要，即更注重实体对象本身；而OGSA 强调的则是与协议对应的服务，即更注重实 体对象所表现出来的行为特征。 OGSA以下三个方面的特点

9、值得我们注意： 面向服务的体系结构(Service-oriented Architecture)。 与Web Service技术的联系。 和商业应用需要的紧密联系。 1412.1.2 网格的体系结构 在OGSA体系中存在两种服务，临时服务 (TransientServices)和持久服务（ PersistentServices）,但是临时服务占了绝大多 数。针对这一特点，OSGA具备了相应的基 本结构： A) 使用标准WSDL规范及其扩展来描述和对 服务结构化。在Web Service中，WSDL用来 描述服务、实现接口以及完成访问的方法。 为了适应网格服务中临时服务居多的特点， OGSA对W

10、SDL进行了必要的扩展。1512.1.2 网格的体系结构网格服务的结构: 1612.1.2 网格的体系结构 B) 为了进一步提高效率，增强为虚拟组织用 户服务的能力，OGSA针对核心服务定义了 一些标准接口和行为： 命名和绑定：每一个服务实例都有唯一的名字 网格服务句柄GSH(Grid Service Handle)，以方 便发现其支持的绑定。 Factory接口：这个接口定义了CreateService操作 ，通过这个操作可以创建一个新的GS(Grid Service)实例，并且返回一个GSH。 GridService接口：这是唯一一个在OGSA所有服务 中都必须包含的接口。通过这一接口，我

11、们实现 了对于临时服务的生命周期管理。 1712.1.2 网格的体系结构 Registry接口：用来发现服务实例的集合， 主要作用是注册一个GSH。 Service Data：它是服务数据元素的集合， 包括基本的内部信息、接口的特殊信息和 应用的数据，其实质是一个XML片段，封 装在标准容器中，可以通过 FindServiceData操作来查询这些信息。 Notification接口：负责对服务的存在（如 创建一个新的服务实例）和数据的变化进 行通知。 1812.1.3 网格技术网格技术大致可以分为以下几类： 应用技术：包括分布式超级计算、数据密集 型计算等等。 编程技术：在合适编程工具和编程

12、环境的支 持下，实现在网格上进行程序设计。 核心管理技术：连接网格底层和高层的纽带 ，协调整个网格运转的中枢。 底层支撑技术：网格最底层所需的支撑技术 ，是构建网格的基础。包括计算节点的构建 技术、网络协议等。1912.1.3 网格技术1. 任务分配与调度技术 网格上有大量共享资源的应用，任务分配与 调度技术的主要目的就是使得这些运行的应 用获得最高的性能。 首先，要在空间上对数据和资源进行分配， 将它们分配给需要的任务。 然后，在时间上进行定序，这里既包括对于 同一资源上的不同任务的排序，也包括不同 任务间通信的排序。2012.1.3 网格技术2. 资源管理技术 与高性能计算侧重响应时间长短

13、不同，存在 一种侧重整个系统效率的计算高吞吐率 计算（High Throughput Computing）。高吞 吐率计算关注的是在一段时间内，系统完成 的任务或者资源能够提供的服务的多少。这 种高吞吐率计算特别适合于网格计算环境。 而要发挥高吞吐率计算的长处，就必须重视 资源管理技术。2112.1.3 网格技术3. 性能数据搜集、分析与交互 在调度与分配技术中，要获得网格的动态信息，就必须 借助于性能数据搜集技术。我们除了要能从操作系统、 处理机、应用程序等一般性目标中获取数据外，还要求 能从网格的各个层次各个节点获取全面的数据。 获得数据后，进一步的工作就是要分析。分析包括定量 分析、自动

14、性能诊断和扰动分析等。我们进行分析的主 要目的在于建立性能数据与初始源代码之间的联系。 分析得到的结果，不能仅仅让机器明白是什么意思，必 须进行可视化的转化。 性能数据的搜集、分析与交互这三个环节密切相关。2212.2 GLOBUS初探 在所有与网格计算相关的项目中， Globus是目前最有影响力的项目之一。 该项目的主要研究目标有两个： 其一是网格技术的研究； 其二是相应软件的开发和标准的制定。 2312.2.1 Globus工具包GlobusToolkit主要实现了以下的内容： 1. 网格资源管理 在网格环境中，需要不同于局域网的、更高层次的 资源管理技术。 Globus资源分配管理GRA

15、M(GLOBUS Resource Allocation Manager)是网格环境中的任务执行中心， 它负责远程应用的资源需求处理、远程任务的分配 与调度以及远程任务的管理，并根据资源的实时情 况报告把资源的更新信息发送给元计算目录服务 MDS。 资源描述语言RSL(Resource Specification Language ) 的主要作用是传递应用程序对资源的请求，把这些 请求交给GRAM进行分析和处理 2412.2.1 Globus工具包GRAM中有两个最重要的组成部分： Gatekeeper:位于远程计算机上的一个进程 ，主要负责处理任务分配请求。它具有单一 的入口地点，在收到客户

16、(client)的任务分配 请求以后，它将和客户互相进行安全认证， 若客户通过认证，则将被Gatekeeper映射到本 地安全环境，同时，启动一个具有本地权限 的任务管理者JobManager，并把RSL中包含 的任务分配参数传递给JM。 2512.2.1 Globus工具包 JobManager：任务管理者，由Gatekeeper 创建。主要负责在本地系统中启动和管理任 务，以及与其他用户间通信。任务管理者主 要有两个部分组成： 机器相关组件，负责实现诸如本地系统调用，向 MDS传递信息等一些本地环境中的内部API； 通用组件，主要负责把Gatekeeper发出的信息转变 为机器相关组件可执行的内部API，并把机器相关 组件发出的信息转化为应用管理者可以理解的信 息格式并传送给管理者。 261