计算机新技术学术讲座

《计算机新技术学术讲座》由会员分享，可在线阅读，更多相关《计算机新技术学术讲座（132页珍藏版）》请在金锄头文库上搜索。

1、计算机新技术学术讲座报告人：黄 超个人简介复旦大学计算机软件与理论 博士 东南大学电子商务系 副教授 东南大学经济决策与信息管理研究所 副所长主要研究方向：数据库/数据仓库、数据挖掘与知识发现、智能信息处 理。已在国内外计算机类核心期刊发表论文十余篇， 其中多篇论文被EI检索。 研究课题：n数据挖掘应应用平台研制及应应用 （国家863项目）n智能交通数据挖掘平台（信息产业部攻关项目）n环球多市场金融信息平台（上海市科委攻关项目）2主要内容n计算机硬件与互联网技术n计算机软件技术n智能信息处理技术3计算机硬件与互联网技术n集群计算技术n网格计算技术n普适计算n本体论与语义网络4集群计算技术n什么

2、是集群n集群是使用两台或两台以上的服务器组成的 服务器集合，用以提供高性能的不停机服务 ，每台服务器均承担部分计算任务和容错任 务，但是整体上表现为一个单一系统。n与传统的并行计算模型相比，集群中各节点 的复杂度中等，但是在单一系统映像、可靠 性和可伸缩性上更优越。由于集群大多使用 标准的商用部件，因此能够大幅度降低企业 成本，如下页表所示。5集群计算技术特征MPPSMP集群分布式系统节点个数100-100010-10010010-1000节点复杂性低中中高中高节点通信消息传递 、 共享变量共享存储器消息传递共享文件、 PRC、消息单一系统映 像部分支持支持完全支持不支持任务调 度主机单一队

3、列单一运行队 列多队列协同独立运行队列系统可用性中低高中系统可扩展 性低中（100CPU 以下）高中6集群计算技术n集群系统的组成部分n后台共享存储设备n集群内部网络通讯n公共网络n虚拟的前台界面n无虚拟内存的的集群系统n为了进一步提高集群系统的效率，使用高速网络将 各主机的内存连接起来，当一个任务的内存不够时 ，它可以通过远程缺页的方式使用远程结点的内存 ，这样可以通过高速网络共享全局内存。7集群计算技术n无虚拟内存集群系统的难点n整个资源的分配概念发生了变化，它是基于内存的 资源分配；n一个结点可能需要访问另外一个结点的内存，这就 需要解决结点内存的所有权和自治问题；n需要解决全局内存管理

4、问题（集中式还是分散式） ，通过全局内存管理，应能达到减少网络流量，降 低延迟和数据本地优化的目的。目前的操作系统还没有实现上述的处理，我们需要重 构操作系统以方便内存资源共享。8集群计算技术n集群的分类n科学计算集群n该集群主要用于大规模数值计算，解决复杂的科 学问题。这种集群上一般运行专用软件，能够将 数据分布到不同的服务器上进行解决。针对不同 的科学计算任务，一般有以下两种方式：n任务分片方式：将任务分成多个子任务并分 配到各节点，每个节点单独运行出结果，最 后汇总计算结果；n并行计算方式：各个节点可以进行具有强藕 合关系的运算，运算中交换大量数据。9集群计算技术n负载均衡集群n该集群的

5、目的是使负载尽量在各个节点中 均衡分布，如计算负载、网络流量负载等 。n高可用性集群n该集群的目的是使服务系统的运行速度和 响应速度尽可能快，通过将程序运行在冗 余节点上，集群具有更好的容错性。n高可用性集群可以分为主从方式、双机备 份方式和多机备份方式。10集群计算技术n并行数据库集群n近年来兴起的集群类型，同时具有并行计算、高 可用性和负载均衡等多种特征，主要用于高端数 据库领域，如Oracle RAC和 IBM DB2 EEE。nOracle RAC系统每台主机拥有独立的CPU和内 存，但是共享磁盘空间，主要针对于大量用户并 行的访问，I/O冲突采用数据库的锁机制解决；nDB2 EEE中

6、各计算机拥有独立的CPU、内存和 磁盘，并且高速相连，对每一次访问，每个节点 查询本地表中的相应结果，返回给协调程序，最 后汇总成最终查询结果。11网格计算技术n网格的基本概念n什么是网格（GRID）n网格是以Internet技术和分布计算技术为基础， 将地理上分散的各类计算资源、存储资源、数据 资源、应用资源、仪器设备等构成统一的虚拟环 境，采用开放标准的协议，实现资源的有效共享 ，为动态参与的、由多机构所形成的虚拟组织协 同完成高性能计算、信息处理等各类应用，提供 可扩展的、安全的、一致的、不同等级质量的服 务。网格是集群系统的进一步发展。12网格计算技术n网格计算的产生背景n分布式计算、

7、高性能计算、大规模的资源共享、 协同工作、数据密集型的科学计算。n网格的本质特征是n分布与资源共享n高度抽象n自相似n动态性和多样性n高可扩展性n网格计算的示例（见下页图所示）13网格计算技术Tier 1Tier 1Tier2 Centre 1 TIPSOnline SystemOffline Processor Farm 20 TIPSCERN Computer CentreFermiLab 4 TIPSFrance Regional Centre Italy Regional Centre Germany Regional Centre InstituteInstituteInstitut

8、eInstitute 0.25TIPSPhysicist workstations100 MBytes/sec100 MBytes/sec622 Mbits/sec1 MBytes/secPhysics data cachePBytes/sec622 Mbits/sec or Air Freight (deprecated)Tier2 Centre 1 TIPSTier2 Centre 1 TIPSTier2 Centre 1 TIPSCaltech 1 TIPS622 Mbits/secTier 0Tier 0Tier 2Tier 2Tier 4Tier 414网格计算技术n网格的系统结构（

9、见下页图所示）n网格结点：地理上独立的计算和信息中心，由 Internet 上孤立、异构的各类资源组成；n网格中间件：网格体系结构的核心部分，其功能是 屏蔽网格资源层中计算资源的分布、异构性，向网 格应用层提供透明、一致的服务接口，如远程进程 管理、资源分配、存储访问和安全控制等。n网格应用工具层：提供更为专业化的服务和组建不 同类型的应用。n网格应用层：应用层包括各种应用软件的研究、高 速网格的建设等，它可以使用户方便地共享网格中 的各种资源。15网格计算技术16网格计算技术n典型的网格系统（1）Globus系统n什么是GlobusnGlobus 是一个研究性的项目，其主要的研究目 标是网格

10、基础技术研究，以及相应软件的开发和 标准的制定。Globus 是网格技术的典型代表， 也是目前事实上的规范。 nGlobus 是一种软件基础设施，它以单一虚拟机 的方式处理分布异构的计算资源，其核心在于 Globus Metacomputing Toolkit ( GMT) ，它提 供了建构一个计算网格所需的基本服务，如安全 、资源定位、管理和调度、通讯服务等。17网格计算技术nGlobus的五层结构应用层多科学模拟光线追踪汇聚层（面 向问题）联合求解器， 分布式数据文档检查点，作业管理，故障避免， 分段运输汇聚层（通 用）资源发现，资源代理，系统监控，社团授权，收回证书资源层访问计 算，访问

11、数据，访问系统结构，状态与性能信息连接层通信（IP），服务发现 （DNS），认证，授权，代理构造层存储系统，计算机，网络，代码库，目录18网格计算技术n典型的网格系统（2）TeraGrid系统nTeraGrid网格系统基本情况与主要应用nTeraGrid网格系统最初包括4个节点，后扩充到9 节点，节点间通过 10-30 GB/s 的专用网络互联 ，具有超强的计算能力和存储能力。n协作进行分布式数据集的分析和交换：各节点进 行独立的数据分析，整个项目的完成依赖于快速 和频繁的分析结果交换，如研究宇宙射线项目；n多个机构共享的分布式模拟：例如规模庞大的地 震模拟计算在不同的节点进行，任何节点的科学

12、 家可以通过高速网络快速获取各个不同阶段的计 算结果；19网格计算技术n网格计算的关键技术n安全技术n网格安全机制相当复杂，各种自治资源交互时既 不能影响资源本身的可用性，又不能在系统中引 入漏洞。nGlobus 提出了网格安全基础设施GSI ，GSI 主 要集中在网络的传输层和应用层，采用X1509 认 证和安全套接层（SSL）通信协议，GSI 中的主 要安全技术包括安全认证、安全身份相互鉴别、 通信加密等。20网格计算技术n异构系统的单一系统映像技术n网格包含多种异构资源，实现异构机器间的合作 和转换，向用户提供统一、透明的服务是首要问 题。nGlobus 中使用使用轻量级目录访问协议（L

13、DAP ）作为访问该信息的接口。 通过使用LDAP服务 器，MDS 在公共接口中提供了中间件信息，从 而将统一的图像放在全异资源的顶部。21网格计算技术n网格统一资源管理技术n网格资源管理包括资源信息的组织、查询与更新 等， 网格资源分为计算类和非计算类资源。 n计算类资源信息包括所有网格结点及网络的静态 和动态信息，如结点计算能力、存储能力、网络 结构和性能指标；非计算类资源信息指网格中服 务于系统和用户的信息，如网格用户信息、软件 信息、服务功能信息等。nGlobus 使用GRAM 处理资源请求、执行远程应 用、分配资源等任务，并根据计算资源的情况， 把资源更新信息发送给MDS。22网格计

14、算技术n网格技术的缺陷和局限n网格系统对数据通讯速率要求很高，影响了系统效 率或提高了成本；n网格系统的维护费用比集群等高得多；n由于目前网络带宽比CPU资源昂贵得多，且因特网 成本降低的速度低于芯片成本降低的速度，因此网 格系统目前比较适合于计算复杂、但数据传输量小 的应用。对于大多数应用，集群系统方案综合看来 更优越。23网格计算技术n网格技术在数字油藏模拟中的应用n背景n当前被模拟的油藏模型从几十万个单元到几千万 个单元， 运行平台主要是专业的并行机。随着 老油区开发难度的增大，油藏模型的面积和数量 将会明显地增加和扩大，继续用传统的并行计算 机来模拟，为了达到理想的模拟速度和效果，其

15、硬件平台的投资将很高。同时随着随着并行机市 场不断萎缩，其系统的扩容、维护等都存在很大 的问题。24网格计算技术n目的n为获得低成本、高性能的计算平台，以满足企业 对油藏模拟不断增长的计算需求，国外石油公司 逐步采用了基于网格技术的PC 集群系统（即以 PC 集群作为网格主节点，再通过网格中间件并 入其他异构系统）替代并行机来进行油藏模拟。n对比实验n选择了国外某油田100 万个网格 、8 个断层、7 个组分、100 个井的模型，模拟时间20 年。n对比IBM SP2并行机与基于千兆以太网、 Myrinet 高速交换技术和AMD Opteron 64 位 CPU的PC 集群系统。（基于VIP

16、模拟软件） 25网格计算技术n实验结果（新疆油田勘探开发研究院提供）n在模拟计算的精度和稳定性上，PC集群系统与 并行机结果相当；n到IBM SP2 的4 个节点8 CPU 的并行机上模拟， 系统运行了30.2 个小时后，同样CPU 个数的基 于Myrinet 的PC 集群的运算时间为11.66 小时； 基于千兆以太网的PC集群运算时间是16 小时， 在运算速度上，比IBM SP2 提高了2.61.9 倍；nVIP 软件的计算节点之间需要大量的数据交换， 去计算相邻网格单元边缘处的偏移。在PC 集群 系统中，当计算节点很多时，存在着访问网络的 瓶颈问题。26普适计算n普适计算n普适计算的定义n普适计算是信息空间与物理空间的融合，在这个 融合的空间中人们可以随时随地、透明地获得数 字化的服务。n随时随地是指人们可以在工作、生活的现场就可 以获得服务，甚至是由系统主动提供；透