《网格应用的一些相关技术》由会员分享，可在线阅读，更多相关《网格应用的一些相关技术（44页珍藏版）》请在金锄头文库上搜索。
1、网格及其应用的一些相关技术高能所计算中心于传松n网格简介nLCG 一个最接近实用化的网格n应用中的一些技术问题介绍高能所的一些科研成果网格简介n应用需求及发展史n网格体系结构n网格安全n网格信息系统n网格数据管理n网格工作流程n网格软件的发展网络技术发展的三次浪潮n n第一次浪潮：第一次浪潮：InternetInternet的产生（的产生（8080年代）年代）n n局域网的相互连接产生互联网局域网的相互连接产生互联网n nFTPFTP、TelnetTelnet、EmailEmailn nnewsgroupnewsgroup、BBSBBSn n第二次浪潮：第二次浪潮：WWWWWW（8080年代末
2、年代末- 90- 90年代中期）年代中期）n n超文本文件由超文本文件由httphttp协议连接协议连接n nWWWWWW的产生（的产生（19891989年由年由CERNCERN科学家发明）科学家发明）n n第三次浪潮：第三次浪潮：GridGrid（9090年代后半期年代后半期-.-.）n n各种资源统一通过网格技术连接各种资源统一通过网格技术连接n n根据用途不同分为数据网格、计算网格根据用途不同分为数据网格、计算网格. .为什么需要网格n大型科学研究n生物、生化研究（基因研究、新药研究）n地学研究（地震研究与预测）n大气物理与气象预报n高能物理理论与实验n提出的需求n计算密集型、I/O密集
3、型、数据密集型计算的需求n需要使用位于远处的大型、位置固定的仪器设备n大型国际合作项目的需求首先是科学研究提出需求，然后扩展到其他领域什么是网格ArgonneArgonne实验室的实验室的I. FosterI. Foster认为网格是一种规模大小可认为网格是一种规模大小可变的变的虚拟组织虚拟组织：由动态合作的个体、研究单位和资源：由动态合作的个体、研究单位和资源所有者之间的灵活的、安全的、协调的所有者之间的灵活的、安全的、协调的资源共享资源共享n n虚拟组织的成员虚拟组织的成员分布在世界各地的，为了完成同分布在世界各地的，为了完成同一件事情的研究机构、大学、科学家个体一件事情的研究机构、大学、
4、科学家个体n n资源资源计算机、存储设备、网络、大型科学仪器、计算机、存储设备、网络、大型科学仪器、数据库、软件、信息数据库、软件、信息用户的观点：用户的观点：希望使用网上资源像使用电力、希望使用网上资源像使用电力、自来水那样方便，不必关心是从哪里来的资源，自来水那样方便，不必关心是从哪里来的资源，也不必考虑用多用少，总能满足需求。也不必考虑用多用少，总能满足需求。网格所需要实现的技术n通信：Internet功能 n资源信息服务 n资源管理和调度 n网格安全：认证和授权n虚拟组织及用户管理 n全局名字服务 n网格文件系统n监视系统 n记帐 n用户图形界面GRID的协议分层体系结构应用层基础层资
5、源及它们的访问与控制：存储系统、计算机群、网络连接层通信协议与安全：通信、认证、授权、VO管理资源层共享单一资源: 协商访问、控制使用资源分配、文件传输与访问，网格状态信息访问会聚层汇聚多个资源:元目录服务、资源代理、复制服务、任务管理、协同、预留Globus Toolkit网格工具包（Globus Toolkit）n资源信息及发现服务n资源管理n数据传输服务n网格安全体系网格安全体系GSInGlobus的标准：GSI 基于PKI X.509n用户向安全认证中心CA申请证书n用户用证书向网格站点自己的VO注册n用户获得网格的授权后可以根据自己的角色使用网格的资源n长时间作业需要授权代理的支持网
6、格信息系统GIS信息服务解决以下问题：n什么资源可资利用-资源发现。n资源的状态如何-资源的选择。n如何优化资源的使用-应用配置和应变。Grid信息服务：n系统成分的静态和动态资源。n提供在异构、动态环境中配置和自适应的基础。n统一而灵活的信息访问，可扩展的、高效的动态数据的访问，多信息源的访问，分散的维护。分级的信息服务结构Top GIISGIIS GIISGRISGRISGRIS网格数据管理n基本的协议Gridftp（安全、并行的 ftp）n对存储系统的接口是SRM（存储资源管理器）nRLS（复制定位系统）跟踪文件的位置n文件移动、复制的基本工具RM（复制管理器）nGFAL（网格文件访问库
7、）提供透明的用户访问工作流程n服务将资源和作业连接起来n用户申请作业n查询资源情况n将作业与资源（计算能力、存储空间、软件、库）匹配，向调度提交作业n执行作业（计算）n跟踪作业的状态n假如失败，重新提交n返回结果n使用许多服务：GIS，RLS，GSI网格软件的发展Globus美国Agonne实验室五层沙漏模型Web ServiceIBM、SUN、微软Web调用API，基于SOAPOGSAGGF制订的标准吸收了Web Service的技术与思想适用于更复杂的应用P2P 对等网已经发展了三代，目前正在发展第四代LCG 一个最接近实用化的网格nLCG的总体规划nLCG站点LHC计算需求每年产生的数据
8、: 12-14 PetaBytes/yearLHC刻度、重建、模拟等计算所需的 CPU： 100 Million SPECint2000(大约10万个Intel最新CPU）Tier2 CenterOnline SystemCERN Computer Center 20 TIPSUSA CenterFrance Center Italy Center UK Center InstituteInstituteInstituteInstitute 0.25TIPS100 MBytes/sec100 - 1000 Mbits/secPhysicists work on analysis “channe
9、ls”.Each institute has 10 physicists working on one or more channelsPhysics data cachePBytes/sec2.5 Gbits/secTier2 CenterTier2 CenterTier2 Center622 Mbits/secTier 0 +1Tier 3Tier 4Tier2 Center Tier 2ExperimentCERN/Outside Resource Ratio 1:2Tier0/( Tier1)/( Tier2) 1:1:1LCG站点的分布n参加LCG计算的有31个国家。n站点数达到95
10、个。n总的CPU数达到9528个世界上最大的计算机系统。Grid组件Grid组件nUI（用户接口）nCE（计算单元）nWNs（工作节点）nSE（存储单元）nRB（资源代理）nMyProxy（证书代理）nBDII（顶级网格信息服务）CA及VOn认证中心CAn基于PKIn由CA服务器和安全Web服务器组成n负责证书的颁发、签署和撤销nCA的策略发布n虚拟组织管理VOMSn用户注册到自己的VO，获得自己的组信息和角色信息nVOMS向用户授权，生成代理证书工作流程图示LCG软件的发展Globus 2 basedWeb services basedgLite-2gLite-1LCG-2LCG-1EDGV
11、DT. . .LCG. . .AliEnLCG gLite应用中的一些技术问题（介绍高能所的一些科研成果）n基础设施中的问题与解决方法n网格文件系统n网格的用户界面基础设施中的问题与解决方法n新一代计算环境挑战与方案n超大型计算基础设施的系统结构n超大型计算基础设施的自动化管理n负载平衡与作业调度新一代计算环境挑战与方案n系统的稳定性n可管理性n高效性n服务质量保证n安全性n高效的存储系统n关键数据的备份超大型计算基础设施的系统结构登录节点登录节点计算节点计算节点计算节点计算节点Disk ServerDisk ServerDisk ServerTape ServerTape ServerTap
12、e Server磁带库批处理机群交互机群LCG站点Internet园区网络自动化管理n超大规模计算中心面临的管理问题n管理的工作量n管理的有序性n管理的有效性n超大型计算基础设施管理系统ELFmsn节点配置、安装、管理Quattorn系统/服务监控LEMONn硬件/状态管理LEAF负载平衡与作业调度n意义在于资源的共享和提高可管理性不同VO的用户共享不同来源的设备n基于抢占的调度策略实现作业的现场保存与恢复n大规模作业的提交n满足高能物理数据处理与分析的需要网格文件系统n广域网文件存储面临的难题n实现网格文件系统存在的问题n实现网格文件系统的目标广域网文件存储n网格数据需要全球共享，需要广域网
13、上的文件存储服务n广域网文件存储面临的难题n延迟：光速的限制；多次往返通信n缺乏可靠性：打开/保存文件超时；丢失数据n异构的存储系统n存储资源动态变化实现网格文件系统存在的问题n名字服务器的结构与效率问题n名字服务器用于检索和定位资源，因此效率及可靠性与结构有关，应该采用什么样的结构？n存储资源整合与需求多样化的问题n网格上的存储资源和用户的需求是多种多样的n动态复制问题n数据复制是提高性能和可靠性的重要手段，动态复制策略？n文件访问方式问题n写操作引起的副本一致性问题n文件传输方式选择n存在众多的文件传输/访问协议，没有统一的标准实现网格文件系统的目标n将动态变化、异构的、全球分布的存储资源
14、虚拟成一个稳定的、单一的文件系统视图n提供分级的文件名字空间n提供POSIX文件访问接口(Open/Seek/Read/Write/Close) n应用程序无须任何修改就可以访问网格存储空间（local virtual file system）n自动透明的副本创建和选择机制n延迟管理、性能优化、安全保证等网格文件系统的一种实现HEP-GridFS的体系结构物理存储系统（castor/HPSS/NFS等）网格文件系统体系结构网格五层沙漏结构网格安全认证体系GSI存储资源管理SRM网格文件名字服务网格文件访问接口构造层：可供共享的资源 物理和逻辑实体连接层：提供安全通信资源层：共享单一资源汇聚层：
15、协调各种资源（目录 服务、调度、复制等）应用层：应用程序、工具广域网传输网格文件系统的一种实现 HEP-GridFS组件及其相互关系网格文件名字服务器1网 格 文 件 访 问 接 口本地数据传输海量存储系统存储资源管理SRMWIN32客户端LINUX客户端其它客户端本地数据传输海量存储系统存储资源管理SRM本地数据传输海量存储系统存储资源管理SRM网格文件名字服务器n网格的用户界面n研究网格Portal的目的、意义n网格Portal的体系结构n网格Portal的基础功能n关于遗留代码网格网格Portal的目的的目的n网格环境中包含着各种异构计算机、软件、数据库等，要想充分使用这些资源，使它们协
16、同工作，需要对复杂的网格环境有清晰的认识和配置，而这并不容易n作为网格这一新技术而言，只有当用户感觉到这项新技术容易使用，操作不复杂，才能得以推广网格网格Portal的意义的意义提供一个相对简单而且适合用户使用习惯的Web交互界面，提供了对身份认证、任务提交、信息查询等访同网格资源的方便的操作接口，简化了客户端的软件配置n对用户隐藏底层网格系统的细节n提供可视化的资源视图n可以快速利用网格的计算能力n用户的工作不受网格变化的影响n提供一整套利用网格服务和网格资源来完成科学计算的工具n负责管理后端网格中的计算资源网格Portal的体系结构n客户端浏览器：为了传输的安全，客户端浏览器需要支持SSL
17、 nWeb应用服务器：也即网格portal容器，为网页提供服务，它是网格Portal所在，主要用来处理客户端的HTTP请求 n网格服务层：主要由网格服务如文件传输、作业提交等服务构成 网格Portal的基础功能n安全访问服务用户注册、登录、认证、授权、代理、会话控制n作业管理服务作业提交、启动、停止、迁移、返回作业状态和结果n数据服务网格文件管理、数据传输服务n信息及监控服务提供信息查询、作业监视特定任务关于遗留代码n遗留代码是指那些在传统计算环境中运行良好、有科学计算用户在长期的科学研究中积累的一些经常使用的程序n这类程序主要针对传统计算环境而设计，一般可以运行在一种或几种指定的计算平台上，
18、成熟、稳定性好、拥有一定的用户、又在网格计算环境中继续使用的价值，但是，这些遗留代码大多不具备对网格计算环境的适应能力n为了在网格计算环境下充分使用这些遗留代码，将他们进行web 服务包装n遗留代码进行web 服务包装后，将其融入网格portal之中，方便用户的使用总结n四年前报告的结论nGrid是继Internet和WWW之后网络技术的新发展n目前Grid技术尚未成熟，许多问题有待解决n各国的科学家和IT业正在努力发展Grid相关技术nGrid将在科学研究、工商业及生活中得到广泛应用nGrid将在几年内走到你身边n今天的发展现状nGrid技术已经接近成熟n科学界的Grid正在大规模部署，在两、三年内将正式投入使用n商业和其他领域也将进入普遍应用n中国科学家已经完成了许多卓有成效的研究工作（上述介绍的大多是是高能所科学家的工作）谢谢！
