ITIT新技术新技术7.1 高性能计算一、高性能计算的概念一、高性能计算的概念•高性能计算高性能计算简称简称HPC(High Performance Computing)HPC(High Performance Computing)，泛，泛指量大、快速、高效的运算指量大、快速、高效的运算•高性能计算通常使用高性能计算通常使用多个处理器多个处理器( (作为单个机器的一部分作为单个机器的一部分) )或者或者某一集群中组织的多台计算机某一集群中组织的多台计算机( (作为单个计算资源作为单个计算资源操作操作) )建立计算系统和环境，主要用于解决计算复杂度高建立计算系统和环境，主要用于解决计算复杂度高和计算量大的科学问题和计算量大的科学问题7-2 ITIT新技术新技术二、高性能二、高性能计算机的算机的发展展现状状7.1 高性能计算7-3 ITIT新技术新技术日期日期系统系统厂商厂商国家国家处理核数处理核数目目实测浮点运算次数峰实测浮点运算次数峰值值20012001年年ASCI WHITEASCI WHITEIBMIBM公司公司美国美国8192819212TFLOPS12TFLOPS20022002年年—20042004年上年上半年半年Earth-SimulatorEarth-SimulatorNECNEC公司公司日本日本5120512040TFLOPS40TFLOPS20042004年下半年年下半年—20072007年年BlueGeneBlueGeneIBMIBM公司公司美国美国212992212992478TFLOPS478TFLOPS20082008年年6 6月月RoadrunnerRoadrunnerIBMIBM公司公司美国美国1224001224001.026PFLOPS1.026PFLOPS20092009年年6 6月月RoadrunnerRoadrunnerIBMIBM公司公司美国美国1296001296001.105PFLOPS1.105PFLOPS20092009年年1111月月- 2010- 2010年年6 6月月JaguarJaguarCrayCray公司公司美国美国1296001296001.759PFLOPS1.759PFLOPS20102010年年1111月月TH-1ATH-1A国防科技大学国防科技大学中国中国1863681863682.566PFLOPS2.566PFLOPS20112011年年6 6月月-11-11月月K computerK computer富士通公司富士通公司日本日本70502470502410.51PFLOPS10.51PFLOPS20122012年年6 6月月SequoiaSequoiaIBMIBM公司公司美国美国1572864157286416.325PFLOPS16.325PFLOPS20122012年年1111月月TitanTitanCrayCray公司公司美国美国56064056064017.59PFLOPS17.59PFLOPS20132013年年6 6月月Tianhe-2Tianhe-2国防科技大学国防科技大学中国中国3120000312000033.86PFLOPS33.86PFLOPS7.1 高性能计算全球高性能计算机全球高性能计算机Top500Top500榜首变化榜首变化7-4 ITIT新技术新技术•对称多处理器对称多处理器 （（symmetric multiple symmetric multiple processor, SMPprocessor, SMP）技术）技术•非一致访问分布共享存储（非一致访问分布共享存储（non uniform memory non uniform memory access, NUMAaccess, NUMA）技术）技术•大规模并行处理机（大规模并行处理机（massively parallel massively parallel processor, MPPprocessor, MPP）技术）技术•…………7.1 高性能计算三、高性能计算机的体系结构三、高性能计算机的体系结构7-5 ITIT新技术新技术1.1.对称称多多处理器技理器技术•多个处理器运行操作系统的单一复本，同时共享内存和多个处理器运行操作系统的单一复本，同时共享内存和计算机的其它资源计算机的其它资源7.1 高性能计算7-6 ITIT新技术新技术2 2. . 非一致非一致访问分布共享存分布共享存储技技术•每个处理器与本地存储器和高速缓存相连，多个处理器通每个处理器与本地存储器和高速缓存相连，多个处理器通过处理器、存储器互联网络相连，处理器还通过处理器和过处理器、存储器互联网络相连，处理器还通过处理器和I/OI/O网络访问共享的网络访问共享的I/OI/O和外围设备和外围设备7.1 高性能计算7-7 ITIT新技术新技术3 3. .大大规模并行模并行处理机技理机技术•能够将更多的处理器纳入一个系统的存储器。
具有多个节点，并且每个节点都有自己的存储器，通过单个的节点相互连接形成一个总系统7.1 高性能计算7-8 ITIT新技术新技术四、高性能计算的应用与展望四、高性能计算的应用与展望7.1 高性能计算•地球科学地球科学•工业制造工业制造•海量信息处理海量信息处理7-9 ITIT新技术新技术一、网格一、网格计算的概念算的概念7.2 网格计算•网格网格（（GridGrid）是一个基础体系结构）是一个基础体系结构•网格是把地理位置上分散的资源集成起来的一种网格是把地理位置上分散的资源集成起来的一种基础基础设施设施----用户不需要了解这个基础设施上资源的具体细用户不需要了解这个基础设施上资源的具体细节就可以使用自己需要的资源节就可以使用自己需要的资源•分布式资源分布式资源和和通信网络通信网络是网格的物理基础是网格的物理基础•网格上的资源包括计算机、集群、计算机池、仪器、网格上的资源包括计算机、集群、计算机池、仪器、设备、传感器、存储设施、数据、软件等实体设备、传感器、存储设施、数据、软件等实体•这些实体工作时需要的相关软件和数据也属于网格资这些实体工作时需要的相关软件和数据也属于网格资源源7-10 ITIT新技术新技术7.2 网格计算•按照网格客体的不同层次，可将网格分为按照网格客体的不同层次，可将网格分为资源网格、资源网格、信息网格和知识网格信息网格和知识网格•网格的主要功能是从底层的数据和信息中网格的主要功能是从底层的数据和信息中发掘知识、发掘知识、处理知识、应用知识处理知识、应用知识一、网格一、网格计算的概念算的概念7-11 ITIT新技术新技术7.2 网格计算二、网格体系结构二、网格体系结构•五五层沙漏沙漏结构（构（Five-Level Sandglass Five-Level Sandglass ArchitectureArchitecture））•伊安•福斯特等人在早些时候提出•开放网格服开放网格服务体系体系结构构 (Open Grid Services (Open Grid Services ArchitectureArchitecture，，OGSA)OGSA)•在工业界的影响下，考虑到Web技术的发展与影响后，伊安•福斯特等结合五层沙漏结构和Web Service提出的•WebWeb服服务资源框架（源框架（Web Service Resource Web Service Resource FrameworkFramework，，WSRFWSRF））•由Globus联盟、IBM和HP于2004年初共同提出7-12 ITIT新技术新技术7.2 网格计算二、网格体系结构二、网格体系结构----五层沙漏结构五层沙漏结构根据根据该结构中构中各各组成部分成部分与共享与共享资源的距离源的距离，将，将对共享共享资源源进行操作、管理行操作、管理和使用的功能分散在五个和使用的功能分散在五个不同的不同的层次，由下至上分次，由下至上分别为构造构造层(Fabric(Fabric) )、、连接接层(Connectivity)(Connectivity)、、资源源层(Resource)(Resource)、、汇聚聚层(Collective)(Collective)和和应用用层(Application(Application) )7-13 ITIT新技术新技术包括两大关键技术，即包括两大关键技术，即网网格技术格技术和和Web ServiceWeb Service技术，技术，它是在五层沙漏结构的基它是在五层沙漏结构的基础上，结合础上，结合Web ServiceWeb Service技技术提出来的，解决了两个术提出来的，解决了两个重要问题重要问题————标准服务接标准服务接口的定义和协议的识别口的定义和协议的识别7.2 网格计算二、网格体系结构二、网格体系结构----开放网格服务体系结构开放网格服务体系结构7-14 ITIT新技术新技术•WSRFWSRF采用了与网格服务完全不同的定义：资源是有状采用了与网格服务完全不同的定义：资源是有状态的，服务是无状态的态的，服务是无状态的•WSRFWSRF推出的目的在于定义出一个通用且开放的架构，推出的目的在于定义出一个通用且开放的架构，利用利用WebWeb服务对具有状态属性的资源进行存取，并包含服务对具有状态属性的资源进行存取，并包含描述状态属性的机制，另外也包含如何将机制延伸至描述状态属性的机制，另外也包含如何将机制延伸至WebWeb服务中的方式服务中的方式•对于对于WSRFWSRF本身而言，由于其提出不久，其规范还有待本身而言，由于其提出不久，其规范还有待在实践中得到进一步应用证明，并逐步得到完善在实践中得到进一步应用证明，并逐步得到完善7.2 网格计算二、网格体系结构二、网格体系结构--WSRF--WSRF网格服务体系结构网格服务体系结构7-15 ITIT新技术新技术三、网格计算的关键技术三、网格计算的关键技术7.2 网格计算•编程技程技术•编程支持系统，面向对象编程技术、商品化技术•中中间件件•网格中最关键的一层，是网格系统中连接上层应用和下层资源的纽带，它提供对网格的管理功能•核心服核心服务技技术•高吞吐率网格资源管理•数据收集、信息优化技术•网格中作业调度技术•网格安全技术7-16 ITIT新技术新技术7.2 网格计算四、网格计算的应用与发展四、网格计算的应用与发展•分布式超分布式超级计算算•高吞吐率高吞吐率计算算•数据密集型数据密集型计算算•基于广泛信息共享的人与人交互基于广泛信息共享的人与人交互•据据《《Forbes ASAPForbes ASAP》》预测，网格技，网格技术将将带来因特网的新来因特网的新生生•有有业界界专家家预测，网格，网格计算将可能成算将可能成为未来网未来网络市市场发展的展的热点点7-17 ITIT新技术新技术7.3 云计算•20062006年年3 3月，月，亚马逊（（AmazonAmazon）推出）推出弹性性计算云算云（（Elastic Compute CloudElastic Compute Cloud，，EC2EC2）服）服务•20062006年年8 8月月9 9日，日，GoogleGoogle首席首席执行官埃里克行官埃里克• •施密特施密特（（Eric Emerson SchmidtEric Emerson Schmidt）提出）提出““云云计算算””的概念，自此的概念，自此云云计算的迅速算的迅速发展跨越了学展跨越了学术和科技界，融入到了和科技界，融入到了许多多社会行社会行业，并已，并已经引起了广泛的关注引起了广泛的关注•20122012年云年云计算已算已经被公被公认为是普遍性的信息技是普遍性的信息技术，云，云计算被算被认为是是继个人个人电脑、互、互联网网之后之后电子信息子信息领域的第域的第三次三次ITIT革命革命7-18 ITIT新技术新技术一、云一、云计算的基本概念算的基本概念7.3 云计算•云云计算是一种算是一种按使用量付按使用量付费的模式，的模式，这种模式提供种模式提供可可用的、便捷的、按需的用的、便捷的、按需的网网络访问•云计算是基于云计算是基于互联网互联网相关服务的增加、使用和交付模相关服务的增加、使用和交付模式式•云计算本质上是一种云计算本质上是一种共享服务共享服务，提供定制化的按需使，提供定制化的按需使用服务，将海量的信息资源进行整合，并通过网络的用服务，将海量的信息资源进行整合，并通过网络的方式将这些资源分配给需要的用户，与此同时，可以方式将这些资源分配给需要的用户，与此同时，可以对资源进行对资源进行动态分配动态分配并进行并进行灵活扩充灵活扩充 7-19 ITIT新技术新技术一、云一、云计算的基本概念算的基本概念7.3 云计算•云云计算的特征算的特征•以网以网络为中心中心•以服以服务为提供方式提供方式•资源池与透明化源池与透明化•高高扩展、高可靠性展、高可靠性•云云计算的分算的分类( (根据云的部署模式和服根据云的部署模式和服务对象象) )•公共云公共云•私有云私有云•混合云混合云•云云计算的算的标准化准化7-20 ITIT新技术新技术二、云计算的技术架构二、云计算的技术架构7.3 云计算•根据云的服根据云的服务层次和服次和服务类型，云型，云计算主要包括以下算主要包括以下三个三个层次的服次的服务：：•基基础设施即服施即服务(作作为一种服一种服务提供的基提供的基础设施施)•平台即服平台即服务(作作为一种服一种服务提供的平台提供的平台)•软件即服件即服务(作作为一种服一种服务提供的提供的软件件)7-21 ITIT新技术新技术二、云计算的技术架构二、云计算的技术架构7.3 云计算•基基础设施即服施即服务(Infrastructure as a Service，，简称称IaaS)•IaaS 为用户提供按需付费的弹性基础服务，其核心技术是虚拟化，它将硬件设备等基础资源，包括计算、存储和网络等，封装成服务供用户使用，典型的如亚马逊的弹性计算云 EC2（Elastic Compute Cloud）和简单存储服务 S3（Simple Storage Service）7-22 ITIT新技术新技术二、云计算的技术架构二、云计算的技术架构7.3 云计算•平台即服平台即服务(Platform as a Service，，简称称PaaS) •PaaS面向广大互联网应用开发者，它将一个完整的应用开发平台都作为一种服务提供给客户•在这种服务模式中，客户不需要购买硬件和软件，只需要利用 PaaS 平台，就能够创建、测试和部署应用和服务•PaaS 负责资源的动态扩展、容错管理和结点间的配合，但与此同时，用户的自主权降低，必须使用特定的编程环境并遵照特定的编程模型7-23 ITIT新技术新技术二、云计算的技术架构二、云计算的技术架构7.3 云计算•软件即服件即服务 (Software as a Service，，简称称SaaS））•SaaS 是指将某些特定应用软件功能封装成服务，如 Salesforce 公司提供的客户关系管理 CRM 服务•SaaS 既不像 IaaS 一样提供计算或存储资源类型的服务，也不像 PaaS 一样提供运行用户自定义应用程序的环境，它只提供某些专门用途的服务调用7-24 ITIT新技术新技术三、云计算的关键技术三、云计算的关键技术7.3 云计算•虚虚拟化技化技术•实现类物理资源的逻辑抽象和统一表示•主要包括：计算虚拟化、存储虚拟化、网络虚拟化、应用虚拟化等•分布式分布式编程模型与程模型与计算算•实现了在后台自动地将用户的程序分解为高效的分布式计算或并行计算模式•海量数据分布式存海量数据分布式存储技技术•采用分布式存储的方式存储数据可以满足云计算系统并行地为大量用户提供服务的需求7-25 ITIT新技术新技术三、云计算的关键技术三、云计算的关键技术7.3 云计算•海量数据管理技海量数据管理技术•云计算的数据管理技术必须具备高效管理大量分布式数据的能力，满足云计算对分布式存储的海量数据进行处理和分析的需求•虚虚拟资源的管理与源的管理与调度度•大量的虚拟化资源协同工作，方便地进行业务部署和开通，快速发现和恢复系统故障，实现大规模系统的可靠运行•云云计算相关的安全技算相关的安全技术•云计算模式带来一系列的安全问题，包括用户隐私的保护、用户数据的备份、云计算基础设施的防护等，这些问题都需要更强的技术手段7-26 ITIT新技术新技术三、云计算应用与展望三、云计算应用与展望7.3 云计算•云云计算的算的现状状•欧盟委员会在2012年9月启动“释放欧洲云计算潜力”的战略计划•国家发改委、工信部将北京、上海、深圳、杭州、无锡、哈尔滨市确定为国家云计算服务创新发展试点城市•亚马逊、IBM、微软、Google等国际知名IT公司均提供了云计算相关的商业服务•百度、腾讯、联想、阿里巴巴等公司相继进入云计算领域，着力开发适合我国客户的云计算解决方案•……7-27 ITIT新技术新技术三、云计算应用与展望三、云计算应用与展望7.3 云计算•云云计算的算的应用用领域域•医药医疗领域•制造领域•金融与能源领域•电子政务领域•教育科研领域•……7-28 ITIT新技术新技术三、云计算应用与展望三、云计算应用与展望7.3 云计算•云云计算的展望算的展望•私有云将首先发展起来•混合云架构将成为企业IT趋势 •云计算概念逐渐平民化 •……7-29 ITIT新技术新技术•物物联网（网（The Internet of things）是通）是通过射射频识别、、红外感外感应器、全球定位系器、全球定位系统、激光、激光扫描器描器等信息等信息传感感设备，，按按预先先约定的定的协议，，把任何物品与互把任何物品与互联网网连接起来接起来，，进行行信息交信息交换和通和通讯，以，以实现智能化智能化识别、定位、跟踪、、定位、跟踪、监控控和管理的一种网和管理的一种网络•物物联网就是网就是“物物相物物相连的互的互联网网”•两两层含含义•通过装置在物体上的各种信息传感设备赋予物体智能，并通过接口与互联网相连而形成一个物品与物品相连的巨大分布式协同网络•物理世界与信息世界的无缝连接7.4 物联网技术一、物联网的概念一、物联网的概念7-30 ITIT新技术新技术7.4 物联网技术二、国内外物联网的发展二、国内外物联网的发展•1995年年，，比尔比尔·盖茨盖茨在在《《未来之路》未来之路》中提到中提到中提到物联网中提到物联网概念概念；；•1999年，年， (EPC) global的前身麻省理工的前身麻省理工Auto-ID中心提中心提出出“ Internet of Things”的构想的构想；；•2005年，国际电信联盟发布名为《年，国际电信联盟发布名为《Internet of Things》》的技术报告，正式提出的技术报告，正式提出“物联网物联网”的概念的概念；；•2009年年8月，无锡市率先建立了月，无锡市率先建立了“感知中国感知中国”研究中心研究中心；；•2010年，我国提出的传感器网络协同信息处理国际标准获年，我国提出的传感器网络协同信息处理国际标准获正式立项正式立项，互联网在各个领域开展了广泛的应用；，互联网在各个领域开展了广泛的应用；• ……7-31 ITIT新技术新技术7.4 物联网技术二、国内外物联网的发展二、国内外物联网的发展 物体协同分布式网络无缝连接的物理世界7-32 ITIT新技术新技术7.4 物联网技术二、国内外物联网的发展二、国内外物联网的发展•未来物联网的发展预测未来物联网的发展预测•2010年之前RFID被广泛应用于物流、零售和制药领域•2010~2015年物体互联•2015~2020年物体进入半智能化•2020年之后物体进入全智能化•……7-33 ITIT新技术新技术•物物联网网具具备三个特征三个特征：：7.4 物联网技术三、三、物联网体系架构及关键技术物联网体系架构及关键技术7-34 ITIT新技术新技术7.4 物联网技术三、三、物联网体系架构及关键技术物联网体系架构及关键技术•物物联网的体系网的体系结构构•感知层：识别物体，采集信息•网络层：信息传递和处理•应用层：与行业需求结合，实现广泛智能化7-35 ITIT新技术新技术•感知感知层技技术•感知层是物联网发展和应用的基础，RFID技术、传感和控制技术、短距离无线通讯技术是感知层涉及的主要技术。
其中又包括芯片研发，通讯协议研究，RFID材料，智能节点供电等细分技术•网网络层技技术•物联网的网络层将建立在现有的移动通讯网和互联网基础上，通过各种接入设备与移动通讯网和互联网相连也包括信息存储查询，网络管理等功能网络层中的感知数据管理与处理技术是实现以数据为中心的物联网的核心技术•应用用层技技术•应用层关键问题在于信息的社会化共享和开发利用、以及信息安全的保障，利用经过分析处理的感知数据，为用户提供丰富的特定服务7.4 物联网技术三、三、物联网体系架构及关键技术物联网体系架构及关键技术7-36 ITIT新技术新技术7.4 物联网技术四、物联网的应用四、物联网的应用•城市管理城市管理•智能交通，智能建筑，文物保护和数字博物馆，古迹、古树实时监测，数字图书馆和数字档案馆•数字家庭数字家庭•定位导航定位导航•现代物流现代物流管理管理•食品安全食品安全控制控制•零售零售•数字数字医疗医疗•防入侵防入侵系统系统•……7-37 ITIT新技术新技术7.5 大数据技术一、大数据的概念一、大数据的概念•大数据的定大数据的定义•Edd Dumbill （O‘Reilly Radar公司首席分析师）：大数据因为量太大或者变化太快等原因而超出了传统数据库系统处理能力范围的数据，想要挖掘其中蕴含的价值，必须采用不同的方法。
•麦肯锡公司：大数据是其体量超出了传统数据库软件工具的采集、存储、管理和分析能力的数据•道格·兰尼(Doug Laney)（ Gartner公司分析师） ：大数据具有量大、变化快和多样性高的特点，需要新型的处理方式进行决策支持、科学探索和优化处理 共同点：共同点：大数据因为其特征使得传统的数据处理系统无能大数据因为其特征使得传统的数据处理系统无能为力，需要新型的理论、硬件、软件处理技术为力，需要新型的理论、硬件、软件处理技术7-38 ITIT新技术新技术7.5 大数据技术二、大数据的特性二、大数据的特性•大数据的特性（大数据的特性（5V））•Volume（大量）：指的是大数据量大的特性，不仅量大而且增长速度快， IDC最新“数字宇宙”研究结果显示，全世界的信息量每两年以超过翻番的速度增长，其增长速度超过摩尔定律•Velocity（高速）：主要是指数据的流动性很大，变化迅速，需要极强的处理能力以便能够随时响应数据的变化•Variety（多样）：指的是数据的多样性，这种多样性包括类型多样以及来源多样•Value（价值）：价值是决定大数据应用的根本属性•Veracity（真实）：只有准确的数据才会准确的反映真实世界，数据越准确，通过数据获取的关于真实世界的信息也就也准确。
7-39 ITIT新技术新技术7.5 大数据技术三、大数据的处理技术三、大数据的处理技术•采用多机互采用多机互联构建分布式集群是构建分布式集群是现阶段大数据段大数据问题的主流的主流解决方案解决方案•分布式集群的核心功能主要包括存分布式集群的核心功能主要包括存储以及以及处理理•存储：用于文件存储的分布式文件系统、具有数据管理功能的分布式数据库等•处理：面向数据密集型任务的分布式处理架构、面向计算密集型任务的分布式处理架构等7-40 ITIT新技术新技术7.5 大数据技术三、大数据的处理技术三、大数据的处理技术•Hadoop家族家族•HDFS(Hadoop Distributed File System)：可扩展、自动容错、高可用的分布式文件系统•MapReduce：用于大规模数据处理、支持细粒度容错的分布式计算架构•Hbase：：高可靠性、高性能、面向列、可伸缩的分布式存储系统•Hive：：将存储在HDFS中的结构化数据文件映射为一张数据表•Pig：：基于Hadoop平台的大规模数据分析系统•……•大数据领域的分布式大数据领域的分布式系统系统还还有很多有很多：：Storm、、用于用于集群计集群计算的算的Spark、分布式列式存储系统、分布式列式存储系统Cassandra、分布式文、分布式文档存储系统档存储系统MongoDB等等7-41 ITIT新技术新技术7.5 大数据技术四、大数据的应用与挑战四、大数据的应用与挑战•大数据大数据的的应用用•电子商务领域•移动互联网领域•物联网领域•医疗领域•社交媒体领域•环境领域•交通领域•……7-42 ITIT新技术新技术7.5 大数据技术四、大数据的应用与挑战四、大数据的应用与挑战•大数据大数据带来的威来的威胁•隐私泄露•可信度低•数据垄断•……7-43 ITIT新技术新技术小结•主要内容主要内容•高性能计算•网格计算•云计算•物联网•大数据技术•介绍介绍方式方式•概念定义•体系结构•关键技术•研究现状、应用及展望•学习意义学习意义•有助于了解信息时代的新知识、新技术及发展趋势，是学习更深层次IT技术的基础7-44 。