《云计算与大数据基础》由会员分享，可在线阅读，更多相关《云计算与大数据基础（87页珍藏版）》请在金锄头文库上搜索。
1、云计算与大数据技术云计算与大数据技术 人民邮电出版社王鹏 黄焱 安俊秀 张逸琴 编著 并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024目目 录录 CONTENTS CONTENTSpp第第第第1 1 1 1章章章章 云计算与大数据基础云计算与大数据基础云计算与大数据基础云计算与大数据基础 pp第第第第2 2 2 2章章章章 云计算与大数据的相关技术云计算与大数据的相关技术云计算与大数据的相关技术云计算与大数据的相关技术 pp第第第第3 3 3 3章章章章 虚拟化技术虚拟化技术虚拟化技术虚拟化技术 pp第第第第4 4 4 4章章章章 集群系统基础集群系统基础集
2、群系统基础集群系统基础 pp第第第第5 5 5 5章章章章 MPI MPI MPI MPI面向计算面向计算面向计算面向计算pp第第第第6 6 6 6章章章章 Hadoop Hadoop Hadoop Hadoop分布式大数据系统分布式大数据系统分布式大数据系统分布式大数据系统pp第第第第7 7 7 7章章章章 HPCC HPCC HPCC HPCC面向数据的高性能计算集群系统面向数据的高性能计算集群系统面向数据的高性能计算集群系统面向数据的高性能计算集群系统 pp第第第第8 8 8 8章章章章 Storm Storm Storm Storm基于拓扑的流数据实时计算系统基于拓扑的流数据实时计算系
3、统基于拓扑的流数据实时计算系统基于拓扑的流数据实时计算系统pp第第第第9 9 9 9章章章章 服务器与数据中心服务器与数据中心服务器与数据中心服务器与数据中心 pp第第第第10101010章章章章 云计算大数据仿真技术云计算大数据仿真技术云计算大数据仿真技术云计算大数据仿真技术第第1 1章云计算与大数据基础章云计算与大数据基础pp云计算与大数据技术云计算与大数据技术 并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024第第1 1章章 云计算与大数据基础云计算与大数据基础pp1.11.1云计算技术概述云计算技术概述1.1.11.1.11.1.11.1.1云计算简介
4、云计算简介云计算简介云计算简介1.1.21.1.21.1.21.1.2云计算的特点云计算的特点云计算的特点云计算的特点1.1.31.1.31.1.31.1.3云计算技术分类云计算技术分类云计算技术分类云计算技术分类pp1.21.2大数据技术概述大数据技术概述1.2.11.2.11.2.11.2.1大数据简介大数据简介大数据简介大数据简介1.2.21.2.21.2.21.2.2主要的大数据处理系统主要的大数据处理系统主要的大数据处理系统主要的大数据处理系统1.2.31.2.31.2.31.2.3大数据处理的基本流程大数据处理的基本流程大数据处理的基本流程大数据处理的基本流程pp1.31.3云计算
5、与大数据的发展云计算与大数据的发展 并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241.1.11.1.1云计算简介云计算简介pp云计算技术是硬件技术和网络技术发展到一定阶段云计算技术是硬件技术和网络技术发展到一定阶段云计算技术是硬件技术和网络技术发展到一定阶段云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型而出现的一种新的技术模型而出现的一种新的技术模型而出现的一种新的技术模型pp云计算并不是对某一项独立技术的称呼，而是对实云计算并不是对某一项独立技术的称呼，而是对实云计算并不是对某一项独立技术的称呼，而是对实云计算并不是对某一项独立技术
6、的称呼，而是对实现云计算模式所需要的所有技术的总称。现云计算模式所需要的所有技术的总称。现云计算模式所需要的所有技术的总称。现云计算模式所需要的所有技术的总称。并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp云计算技术的内容很多云计算技术的内容很多云计算技术的内容很多云计算技术的内容很多包括分布式计算技术、虚拟化技术、网络技术、服务器技术、包括分布式计算技术、虚拟化技术、网络技术、服务器技术、包括分布式计算技术、虚拟化技术、网络技术、服务器技术、包括分布式计算技术、虚拟化技术、网络技术、服务器技术、数据中心技术、云计算平台技术、存储技术等。数据中心技术、
7、云计算平台技术、存储技术等。数据中心技术、云计算平台技术、存储技术等。数据中心技术、云计算平台技术、存储技术等。pp从广义上说，云计算技术几乎包括了当前信息技术中的从广义上说，云计算技术几乎包括了当前信息技术中的从广义上说，云计算技术几乎包括了当前信息技术中的从广义上说，云计算技术几乎包括了当前信息技术中的绝大部分。绝大部分。绝大部分。绝大部分。1.1.11.1.1云计算简介云计算简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp维基百科维基百科维基百科维基百科中对中对中对中对云计算云计算云计算云计算的的的的定义定义定义定义为：为：为：为：云计算是一种
8、基于互联网的计算方式，通过这种方式，共享的软硬件资源和云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。信息可以按需求提供给计算机和其他设备。信息可以按需求提供给计算机和其他设备。信息可以按需求提供给计算机和其他设备。pp2012201220122012年的年的年的年的国务院政府工作报告国务院政府工作报告国务院政府工作报告国务院政府工作报告将云计算作为将云计算作为将云计算作为将云计算作为国家战略性新国家战略性新
9、国家战略性新国家战略性新兴产业兴产业兴产业兴产业给出了给出了给出了给出了定义定义定义定义：云计算是基于互联网的服务的增加、使用和交付模式，通常涉及云计算是基于互联网的服务的增加、使用和交付模式，通常涉及云计算是基于互联网的服务的增加、使用和交付模式，通常涉及云计算是基于互联网的服务的增加、使用和交付模式，通常涉及通过互联网来提供动态、易扩展且经常是虚拟化的资源。通过互联网来提供动态、易扩展且经常是虚拟化的资源。通过互联网来提供动态、易扩展且经常是虚拟化的资源。通过互联网来提供动态、易扩展且经常是虚拟化的资源。云计算是传统计算机和网络技术发展融合的产物，它意味着计算能力也云计算是传统计算机和网络
10、技术发展融合的产物，它意味着计算能力也云计算是传统计算机和网络技术发展融合的产物，它意味着计算能力也云计算是传统计算机和网络技术发展融合的产物，它意味着计算能力也可作为一种商品通过互联网进行流通。可作为一种商品通过互联网进行流通。可作为一种商品通过互联网进行流通。可作为一种商品通过互联网进行流通。1.1.11.1.1云计算简介云计算简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp云计算技术的出现改变了信息产业传统的格局。云计算技术的出现改变了信息产业传统的格局。云计算技术的出现改变了信息产业传统的格局。云计算技术的出现改变了信息产业传统的格局。传统的
11、信息产业企业既是资源的整合者又是资源的使用者；传统的信息产业企业既是资源的整合者又是资源的使用者；传统的信息产业企业既是资源的整合者又是资源的使用者；传统的信息产业企业既是资源的整合者又是资源的使用者；这这种格局并不符合现代产业分工高度专业化的需求，同时也不这这种格局并不符合现代产业分工高度专业化的需求，同时也不这这种格局并不符合现代产业分工高度专业化的需求，同时也不这这种格局并不符合现代产业分工高度专业化的需求，同时也不符合企业需要灵敏地适应客户的需要。符合企业需要灵敏地适应客户的需要。符合企业需要灵敏地适应客户的需要。符合企业需要灵敏地适应客户的需要。1.1.11.1.1云计算简介云计算简
12、介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024传统的计算资源和存储资源大小通常是相对固定的，面对客户高传统的计算资源和存储资源大小通常是相对固定的，面对客户高传统的计算资源和存储资源大小通常是相对固定的，面对客户高传统的计算资源和存储资源大小通常是相对固定的，面对客户高波动性的需求时会非常的不敏捷，企业的计算和存储资源要么是波动性的需求时会非常的不敏捷，企业的计算和存储资源要么是波动性的需求时会非常的不敏捷，企业的计算和存储资源要么是波动性的需求时会非常的不敏捷，企业的计算和存储资源要么是被浪费，要么是面对客户峰值需求时力不从心。被浪费，要么是面对客户峰
13、值需求时力不从心。被浪费，要么是面对客户峰值需求时力不从心。被浪费，要么是面对客户峰值需求时力不从心。云计算技术使资源与用户需求之间是一种弹性化的关系，资源的云计算技术使资源与用户需求之间是一种弹性化的关系，资源的云计算技术使资源与用户需求之间是一种弹性化的关系，资源的云计算技术使资源与用户需求之间是一种弹性化的关系，资源的使用者和资源的整合者并不是一个企业，资源的使用者只需要对使用者和资源的整合者并不是一个企业，资源的使用者只需要对使用者和资源的整合者并不是一个企业，资源的使用者只需要对使用者和资源的整合者并不是一个企业，资源的使用者只需要对资源按需付费，从而敏捷地响应客户不断变化的资源需求
14、，这一资源按需付费，从而敏捷地响应客户不断变化的资源需求，这一资源按需付费，从而敏捷地响应客户不断变化的资源需求，这一资源按需付费，从而敏捷地响应客户不断变化的资源需求，这一方法降低了资源使用者的成本，提高了资源的利用效率。方法降低了资源使用者的成本，提高了资源的利用效率。方法降低了资源使用者的成本，提高了资源的利用效率。方法降低了资源使用者的成本，提高了资源的利用效率。1.1.11.1.1云计算简介云计算简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp云计算时代基本的云计算时代基本的云计算时代基本的云计算时代基本的3 3 3 3种角色：种角色：种角
15、色：种角色： 资源的整合运营者、资源的使用者、终端客户。资源的整合运营者、资源的使用者、终端客户。资源的整合运营者、资源的使用者、终端客户。资源的整合运营者、资源的使用者、终端客户。资源的整合运营者就像是发电厂负责资源的整合输出；资源的整合运营者就像是发电厂负责资源的整合输出；资源的整合运营者就像是发电厂负责资源的整合输出；资源的整合运营者就像是发电厂负责资源的整合输出；资源的使用者负责将资源转变为满足客户需求的各种应用；资源的使用者负责将资源转变为满足客户需求的各种应用；资源的使用者负责将资源转变为满足客户需求的各种应用；资源的使用者负责将资源转变为满足客户需求的各种应用；终端客户为资源的最
16、终消费者。终端客户为资源的最终消费者。终端客户为资源的最终消费者。终端客户为资源的最终消费者。1.1.11.1.1云计算简介云计算简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp云计算这种新的模式的出现被认为是信息产业的一云计算这种新的模式的出现被认为是信息产业的一云计算这种新的模式的出现被认为是信息产业的一云计算这种新的模式的出现被认为是信息产业的一大变革，吸引了大量企业重新布局：大变革，吸引了大量企业重新布局：大变革，吸引了大量企业重新布局：大变革，吸引了大量企业重新布局：IBMIBMIBMIBM、微软、谷歌、微软、谷歌、微软、谷歌、微软、谷歌、
17、DELLDELLDELLDELL等企业等企业等企业等企业国内企业：华为、中兴、腾讯、阿里、联想、浪潮、国内企业：华为、中兴、腾讯、阿里、联想、浪潮、国内企业：华为、中兴、腾讯、阿里、联想、浪潮、国内企业：华为、中兴、腾讯、阿里、联想、浪潮、五舟等企业五舟等企业五舟等企业五舟等企业1.1.11.1.1云计算简介云计算简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024云计算技术作为一项涵盖面广且对产业影响深远的技云计算技术作为一项涵盖面广且对产业影响深远的技云计算技术作为一项涵盖面广且对产业影响深远的技云计算技术作为一项涵盖面广且对产业影响深远的技术，未来将逐
18、步渗透到信息产业和其他产业的方方面术，未来将逐步渗透到信息产业和其他产业的方方面术，未来将逐步渗透到信息产业和其他产业的方方面术，未来将逐步渗透到信息产业和其他产业的方方面面，并将深刻改变产业的结构模式、技术模式和产品面，并将深刻改变产业的结构模式、技术模式和产品面，并将深刻改变产业的结构模式、技术模式和产品面，并将深刻改变产业的结构模式、技术模式和产品销售模式，进而深刻影响人们的生活；销售模式，进而深刻影响人们的生活；销售模式，进而深刻影响人们的生活；销售模式，进而深刻影响人们的生活；云计算会逐步成为人们生活中必不可少的技术；云计算会逐步成为人们生活中必不可少的技术；云计算会逐步成为人们生活
19、中必不可少的技术；云计算会逐步成为人们生活中必不可少的技术；1.1.11.1.1云计算简介云计算简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024移动互联网的出现使云计算应用走向了人们的指间，移动互联网的出现使云计算应用走向了人们的指间，移动互联网的出现使云计算应用走向了人们的指间，移动互联网的出现使云计算应用走向了人们的指间，推动了云计算技术的应用发展，今后云计算将是一项推动了云计算技术的应用发展，今后云计算将是一项推动了云计算技术的应用发展，今后云计算将是一项推动了云计算技术的应用发展，今后云计算将是一项随时、随地、随身为我们提供服务的技术；随时、随地
20、、随身为我们提供服务的技术；随时、随地、随身为我们提供服务的技术；随时、随地、随身为我们提供服务的技术；云计算的出现也将如电的出现一般，为信息产业的发云计算的出现也将如电的出现一般，为信息产业的发云计算的出现也将如电的出现一般，为信息产业的发云计算的出现也将如电的出现一般，为信息产业的发展提供无限的想象空间，使应用的创新能力得到完全展提供无限的想象空间，使应用的创新能力得到完全展提供无限的想象空间，使应用的创新能力得到完全展提供无限的想象空间，使应用的创新能力得到完全释放。释放。释放。释放。1.1.11.1.1云计算简介云计算简介并行计算实验室并行计算实验室 http:/www.qhoa.or
21、g7/21/2024pp1.1.21.1.21.1.21.1.2云计算的特点云计算的特点云计算的特点云计算的特点1 1 1 1资源池弹性可扩张资源池弹性可扩张资源池弹性可扩张资源池弹性可扩张2 2 2 2按需提供资源服务按需提供资源服务按需提供资源服务按需提供资源服务3 3 3 3虚拟化虚拟化虚拟化虚拟化4 4 4 4网络化的资源接入网络化的资源接入网络化的资源接入网络化的资源接入5 5 5 5高可靠性和安全性高可靠性和安全性高可靠性和安全性高可靠性和安全性1.1.21.1.2云计算的特点云计算的特点并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp与传统
22、的资源提供方向相比，云计算具有以下特点：与传统的资源提供方向相比，云计算具有以下特点：与传统的资源提供方向相比，云计算具有以下特点：与传统的资源提供方向相比，云计算具有以下特点：（1 1 1 1）资源池弹性可扩张）资源池弹性可扩张）资源池弹性可扩张）资源池弹性可扩张云计算系统的一个重要特征就是云计算系统的一个重要特征就是云计算系统的一个重要特征就是云计算系统的一个重要特征就是资源的集中管理和输出资源的集中管理和输出资源的集中管理和输出资源的集中管理和输出，这就是所谓的资源池。，这就是所谓的资源池。，这就是所谓的资源池。，这就是所谓的资源池。从资源低效率的分散使用到资源高效的集约化使用正是云计算
23、的基本特征之一。从资源低效率的分散使用到资源高效的集约化使用正是云计算的基本特征之一。从资源低效率的分散使用到资源高效的集约化使用正是云计算的基本特征之一。从资源低效率的分散使用到资源高效的集约化使用正是云计算的基本特征之一。分散的资源使用方法造成了资源的极大浪费，现在每个人都可能有一到两台自己分散的资源使用方法造成了资源的极大浪费，现在每个人都可能有一到两台自己分散的资源使用方法造成了资源的极大浪费，现在每个人都可能有一到两台自己分散的资源使用方法造成了资源的极大浪费，现在每个人都可能有一到两台自己的计算机，但对这种资源的利用率却非常的低，计算机在大量时间都是在等待状的计算机，但对这种资源的
24、利用率却非常的低，计算机在大量时间都是在等待状的计算机，但对这种资源的利用率却非常的低，计算机在大量时间都是在等待状的计算机，但对这种资源的利用率却非常的低，计算机在大量时间都是在等待状态或是在处理文字数据等低负荷的任务。态或是在处理文字数据等低负荷的任务。态或是在处理文字数据等低负荷的任务。态或是在处理文字数据等低负荷的任务。资源集中起来后资源的利用效率会大大地提高，随着资源需求的不断提高，资源资源集中起来后资源的利用效率会大大地提高，随着资源需求的不断提高，资源资源集中起来后资源的利用效率会大大地提高，随着资源需求的不断提高，资源资源集中起来后资源的利用效率会大大地提高，随着资源需求的不断
25、提高，资源池的弹性化扩张能力成为云计算系统的一个基本要求，云计算系统只有具备了资池的弹性化扩张能力成为云计算系统的一个基本要求，云计算系统只有具备了资池的弹性化扩张能力成为云计算系统的一个基本要求，云计算系统只有具备了资池的弹性化扩张能力成为云计算系统的一个基本要求，云计算系统只有具备了资源的弹性化扩张能力才能有效地应对不断增长的资源需求。源的弹性化扩张能力才能有效地应对不断增长的资源需求。源的弹性化扩张能力才能有效地应对不断增长的资源需求。源的弹性化扩张能力才能有效地应对不断增长的资源需求。大多数云计算系统都能较为方便地实现新资源的加入。大多数云计算系统都能较为方便地实现新资源的加入。大多数
26、云计算系统都能较为方便地实现新资源的加入。大多数云计算系统都能较为方便地实现新资源的加入。1.1.21.1.2云计算的特点云计算的特点并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024（2 2 2 2）按需提供资源服务）按需提供资源服务）按需提供资源服务）按需提供资源服务云计算系统带给客户最重要的好处就是敏捷地云计算系统带给客户最重要的好处就是敏捷地云计算系统带给客户最重要的好处就是敏捷地云计算系统带给客户最重要的好处就是敏捷地适应用户对资源不适应用户对资源不适应用户对资源不适应用户对资源不断变化的需求断变化的需求断变化的需求断变化的需求；云计算系统实现云计算
27、系统实现云计算系统实现云计算系统实现按需向用户提供资源按需向用户提供资源按需向用户提供资源按需向用户提供资源能大大节省用户的硬件资源能大大节省用户的硬件资源能大大节省用户的硬件资源能大大节省用户的硬件资源开支，用户不用自己购买并维护大量固定的硬件资源，只需向自开支，用户不用自己购买并维护大量固定的硬件资源，只需向自开支，用户不用自己购买并维护大量固定的硬件资源，只需向自开支，用户不用自己购买并维护大量固定的硬件资源，只需向自己实际消费的资源量来付费；己实际消费的资源量来付费；己实际消费的资源量来付费；己实际消费的资源量来付费；按需提供资源服务使应用开发者在逻辑上可以认为资源池的大小按需提供资源
28、服务使应用开发者在逻辑上可以认为资源池的大小按需提供资源服务使应用开发者在逻辑上可以认为资源池的大小按需提供资源服务使应用开发者在逻辑上可以认为资源池的大小是不受限制的，应用开发者的主要精力只需要集中在自己的应用是不受限制的，应用开发者的主要精力只需要集中在自己的应用是不受限制的，应用开发者的主要精力只需要集中在自己的应用是不受限制的，应用开发者的主要精力只需要集中在自己的应用上。上。上。上。1.1.21.1.2云计算的特点云计算的特点并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024（3 3 3 3）虚拟化）虚拟化）虚拟化）虚拟化现有的云计算平台的重要特点是
29、利用软件来实现硬件资源的虚拟现有的云计算平台的重要特点是利用软件来实现硬件资源的虚拟现有的云计算平台的重要特点是利用软件来实现硬件资源的虚拟现有的云计算平台的重要特点是利用软件来实现硬件资源的虚拟化管理、调度及应用。化管理、调度及应用。化管理、调度及应用。化管理、调度及应用。在云计算中利用虚拟化技术可大大降低维护成本和提高资源的利在云计算中利用虚拟化技术可大大降低维护成本和提高资源的利在云计算中利用虚拟化技术可大大降低维护成本和提高资源的利在云计算中利用虚拟化技术可大大降低维护成本和提高资源的利用率。用率。用率。用率。1.1.21.1.2云计算的特点云计算的特点并行计算实验室并行计算实验室 h
30、ttp:/www.qhoa.org7/21/2024 （4 4 4 4）网络化的资源接入。）网络化的资源接入。）网络化的资源接入。）网络化的资源接入。从最终用户的角度看从最终用户的角度看从最终用户的角度看从最终用户的角度看，基于云计算系统的应用服务通常都是通过，基于云计算系统的应用服务通常都是通过，基于云计算系统的应用服务通常都是通过，基于云计算系统的应用服务通常都是通过网络来提供的，应用开发者将云计算中心的计算、存储等资源封网络来提供的，应用开发者将云计算中心的计算、存储等资源封网络来提供的，应用开发者将云计算中心的计算、存储等资源封网络来提供的，应用开发者将云计算中心的计算、存储等资源封装
31、为不同的应用后往往会通过网络提供给最终的用户。装为不同的应用后往往会通过网络提供给最终的用户。装为不同的应用后往往会通过网络提供给最终的用户。装为不同的应用后往往会通过网络提供给最终的用户。云计算技术必须实现资源的网络化接入才能有效地向应用开发者云计算技术必须实现资源的网络化接入才能有效地向应用开发者云计算技术必须实现资源的网络化接入才能有效地向应用开发者云计算技术必须实现资源的网络化接入才能有效地向应用开发者和最终用户提供资源服务。和最终用户提供资源服务。和最终用户提供资源服务。和最终用户提供资源服务。以网络技术的发展是推动云计算技术出现的首要动力。以网络技术的发展是推动云计算技术出现的首要
32、动力。以网络技术的发展是推动云计算技术出现的首要动力。以网络技术的发展是推动云计算技术出现的首要动力。1.1.21.1.2云计算的特点云计算的特点并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024 （5 5 5 5）高可靠性和安全性。）高可靠性和安全性。）高可靠性和安全性。）高可靠性和安全性。用户数据存储在服务器端，而应用程序在服务器端运行，计算由用户数据存储在服务器端，而应用程序在服务器端运行，计算由用户数据存储在服务器端，而应用程序在服务器端运行，计算由用户数据存储在服务器端，而应用程序在服务器端运行，计算由服务器端来处理。所有的服务分布在不同的服务器上，
33、如果什么服务器端来处理。所有的服务分布在不同的服务器上，如果什么服务器端来处理。所有的服务分布在不同的服务器上，如果什么服务器端来处理。所有的服务分布在不同的服务器上，如果什么地方（节点）出问题就在什么地方终止它，另外再启动一个程序地方（节点）出问题就在什么地方终止它，另外再启动一个程序地方（节点）出问题就在什么地方终止它，另外再启动一个程序地方（节点）出问题就在什么地方终止它，另外再启动一个程序或节点，即或节点，即或节点，即或节点，即自动处理失败节点自动处理失败节点自动处理失败节点自动处理失败节点，从而保证了应用和计算的正常进，从而保证了应用和计算的正常进，从而保证了应用和计算的正常进，从而
34、保证了应用和计算的正常进行。行。行。行。数据被复制到多个服务器节点上有多个副本（备份），存储在云数据被复制到多个服务器节点上有多个副本（备份），存储在云数据被复制到多个服务器节点上有多个副本（备份），存储在云数据被复制到多个服务器节点上有多个副本（备份），存储在云里的数据即使遇到意外删除或硬件崩溃也不会受到影响。里的数据即使遇到意外删除或硬件崩溃也不会受到影响。里的数据即使遇到意外删除或硬件崩溃也不会受到影响。里的数据即使遇到意外删除或硬件崩溃也不会受到影响。1.1.21.1.2云计算的特点云计算的特点并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241.1.
35、31.1.3云计算技术分类云计算技术分类pp1.1.31.1.31.1.31.1.3云计算技术分类云计算技术分类云计算技术分类云计算技术分类1 1 1 1按技术路线分类按技术路线分类按技术路线分类按技术路线分类2 2 2 2按服务对象分类按服务对象分类按服务对象分类按服务对象分类3 3 3 3按资源封装的层次分类按资源封装的层次分类按资源封装的层次分类按资源封装的层次分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp目前已出现的云计算技术种类非常多，对于云计算的分类可目前已出现的云计算技术种类非常多，对于云计算的分类可目前已出现的云计算技术种类非常多，
36、对于云计算的分类可目前已出现的云计算技术种类非常多，对于云计算的分类可以有多种角度：以有多种角度：以有多种角度：以有多种角度：从技术路线角度可以分为资源整合型云计算和资源切分型云计算；从技术路线角度可以分为资源整合型云计算和资源切分型云计算；从技术路线角度可以分为资源整合型云计算和资源切分型云计算；从技术路线角度可以分为资源整合型云计算和资源切分型云计算；从服务对像角度可以被分为公有云和私有云；从服务对像角度可以被分为公有云和私有云；从服务对像角度可以被分为公有云和私有云；从服务对像角度可以被分为公有云和私有云；按资源封装的层次来分可以分为：按资源封装的层次来分可以分为：按资源封装的层次来分可
37、以分为：按资源封装的层次来分可以分为：l l基础设施即服务（基础设施即服务（基础设施即服务（基础设施即服务（Infrastructure as a ServiceInfrastructure as a ServiceInfrastructure as a ServiceInfrastructure as a Service，IaaSIaaSIaaSIaaS）l l平台即服务（平台即服务（平台即服务（平台即服务（Platform as a ServicePlatform as a ServicePlatform as a ServicePlatform as a Service，PaaSPaaS
38、PaaSPaaS）l l软件即服务（软件即服务（软件即服务（软件即服务（Software as a ServiceSoftware as a ServiceSoftware as a ServiceSoftware as a Service，SaaSSaaSSaaSSaaS）。）。）。）。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241 1 1 1按技术路线分类按技术路线分类按技术路线分类按技术路线分类资源整合型云计算：资源整合型云计算：资源整合型云计算：资源整合型云计算：这种类型的云计算系统在技术实现方面大
39、多这种类型的云计算系统在技术实现方面大多这种类型的云计算系统在技术实现方面大多这种类型的云计算系统在技术实现方面大多体现为集群架构，通过将大量节点的计算资源和存储资源整合后体现为集群架构，通过将大量节点的计算资源和存储资源整合后体现为集群架构，通过将大量节点的计算资源和存储资源整合后体现为集群架构，通过将大量节点的计算资源和存储资源整合后输出。输出。输出。输出。l l这类系统通常能实现跨节点弹性化的资源池构建，核心技术这类系统通常能实现跨节点弹性化的资源池构建，核心技术这类系统通常能实现跨节点弹性化的资源池构建，核心技术这类系统通常能实现跨节点弹性化的资源池构建，核心技术为分布式计算和存储技术
40、。为分布式计算和存储技术。为分布式计算和存储技术。为分布式计算和存储技术。l lMPIMPIMPIMPI、HadoopHadoopHadoopHadoop、HPCCHPCCHPCCHPCC、StormStormStormStorm等都可以被分类为资源整合等都可以被分类为资源整合等都可以被分类为资源整合等都可以被分类为资源整合型云计算系统。型云计算系统。型云计算系统。型云计算系统。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024资源切分型云计算：资源切分型云计算：资源切分型云计算：资源切分型云计算：这种类型最为典
41、型的就是虚拟化系统，这类这种类型最为典型的就是虚拟化系统，这类这种类型最为典型的就是虚拟化系统，这类这种类型最为典型的就是虚拟化系统，这类云计算系统通过系统虚拟化实现对单个服务器资源的弹性化切分，云计算系统通过系统虚拟化实现对单个服务器资源的弹性化切分，云计算系统通过系统虚拟化实现对单个服务器资源的弹性化切分，云计算系统通过系统虚拟化实现对单个服务器资源的弹性化切分，从而有效地利用服务器资源，其核心技术为虚拟化技术。从而有效地利用服务器资源，其核心技术为虚拟化技术。从而有效地利用服务器资源，其核心技术为虚拟化技术。从而有效地利用服务器资源，其核心技术为虚拟化技术。l l这种技术的优点是用户的系
42、统可以不做任何改变接入采用虚这种技术的优点是用户的系统可以不做任何改变接入采用虚这种技术的优点是用户的系统可以不做任何改变接入采用虚这种技术的优点是用户的系统可以不做任何改变接入采用虚拟化技术的云系统，是目前应用较为广泛的技术，特别是在拟化技术的云系统，是目前应用较为广泛的技术，特别是在拟化技术的云系统，是目前应用较为广泛的技术，特别是在拟化技术的云系统，是目前应用较为广泛的技术，特别是在桌面云计算技术上应用得较为成功；桌面云计算技术上应用得较为成功；桌面云计算技术上应用得较为成功；桌面云计算技术上应用得较为成功；l l缺点是跨节点的资源整合代价较大；缺点是跨节点的资源整合代价较大；缺点是跨节
43、点的资源整合代价较大；缺点是跨节点的资源整合代价较大；l lKVMKVMKVMKVM、VMwareVMwareVMwareVMware都是这类技术的代表。都是这类技术的代表。都是这类技术的代表。都是这类技术的代表。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20242 2按服务对象分类按服务对象分类公有云：公有云：公有云：公有云：指服务对象是面向公众的云计算服务，公有云对云指服务对象是面向公众的云计算服务，公有云对云指服务对象是面向公众的云计算服务，公有云对云指服务对象是面向公众的云计算服务，公有云对云计算系统的稳
44、定性、安全性和并发服务能力有更高的要求。计算系统的稳定性、安全性和并发服务能力有更高的要求。计算系统的稳定性、安全性和并发服务能力有更高的要求。计算系统的稳定性、安全性和并发服务能力有更高的要求。私有云：私有云：私有云：私有云：指主要服务于某一组织内部的云计算服务，其服务指主要服务于某一组织内部的云计算服务，其服务指主要服务于某一组织内部的云计算服务，其服务指主要服务于某一组织内部的云计算服务，其服务并不向公众开放，如企业、政府内部的云服务。并不向公众开放，如企业、政府内部的云服务。并不向公众开放，如企业、政府内部的云服务。并不向公众开放，如企业、政府内部的云服务。公有云与私有云的界限并不是特
45、别清晰，有时服务于一个地公有云与私有云的界限并不是特别清晰，有时服务于一个地公有云与私有云的界限并不是特别清晰，有时服务于一个地公有云与私有云的界限并不是特别清晰，有时服务于一个地区和团体的云也被称为公有云。所以这种云计算分类方法并区和团体的云也被称为公有云。所以这种云计算分类方法并区和团体的云也被称为公有云。所以这种云计算分类方法并区和团体的云也被称为公有云。所以这种云计算分类方法并不是一种准确的分类方法，主要是在商业领域的一种称呼。不是一种准确的分类方法，主要是在商业领域的一种称呼。不是一种准确的分类方法，主要是在商业领域的一种称呼。不是一种准确的分类方法，主要是在商业领域的一种称呼。1.
46、1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20243 3 3 3按资源封装的层次分类按资源封装的层次分类按资源封装的层次分类按资源封装的层次分类基础设施即服务（基础设施即服务（基础设施即服务（基础设施即服务（Infrastructure as a ServiceInfrastructure as a ServiceInfrastructure as a ServiceInfrastructure as a Service，IaaSIaaSIaaSIaaS）：）：）：）：l l把单纯的计算和存储资源把单纯的计算和存储资
47、源把单纯的计算和存储资源把单纯的计算和存储资源不经封装不经封装不经封装不经封装地直接通过网络地直接通过网络地直接通过网络地直接通过网络以服务以服务以服务以服务的形式的形式的形式的形式提供的用户使用。提供的用户使用。提供的用户使用。提供的用户使用。l l这类云计算服务用户的自主性较大，就像是发电厂将发的这类云计算服务用户的自主性较大，就像是发电厂将发的这类云计算服务用户的自主性较大，就像是发电厂将发的这类云计算服务用户的自主性较大，就像是发电厂将发的电直接送出去一样。电直接送出去一样。电直接送出去一样。电直接送出去一样。l l这类云服务的对象往往是这类云服务的对象往往是这类云服务的对象往往是这类
48、云服务的对象往往是具有专业知识能力具有专业知识能力具有专业知识能力具有专业知识能力的资源使用者，的资源使用者，的资源使用者，的资源使用者，传统数据中心的主机租用等可能作为传统数据中心的主机租用等可能作为传统数据中心的主机租用等可能作为传统数据中心的主机租用等可能作为IaaSIaaSIaaSIaaS的典型代表。的典型代表。的典型代表。的典型代表。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024平台即服务（平台即服务（平台即服务（平台即服务（Platform as a ServicePlatform as a Se
49、rvicePlatform as a ServicePlatform as a Service，PaaSPaaSPaaSPaaS）：）：）：）：l l计算和存储资源经计算和存储资源经计算和存储资源经计算和存储资源经封装封装封装封装后，后，后，后，以某种接口和协议的形式以某种接口和协议的形式以某种接口和协议的形式以某种接口和协议的形式提提提提供给用户调用，资源的使用者不再直接面对底层资源。供给用户调用，资源的使用者不再直接面对底层资源。供给用户调用，资源的使用者不再直接面对底层资源。供给用户调用，资源的使用者不再直接面对底层资源。l l平台即服务需要平台软件的支撑，可以认为是从资源到平台即服务需
50、要平台软件的支撑，可以认为是从资源到平台即服务需要平台软件的支撑，可以认为是从资源到平台即服务需要平台软件的支撑，可以认为是从资源到应用软件的一个应用软件的一个应用软件的一个应用软件的一个中间件中间件中间件中间件，通过这类中间件可以大大减小，通过这类中间件可以大大减小，通过这类中间件可以大大减小，通过这类中间件可以大大减小应用软件开发时的技术难度。应用软件开发时的技术难度。应用软件开发时的技术难度。应用软件开发时的技术难度。l l这类云服务的对象往往是云计算应用软件的这类云服务的对象往往是云计算应用软件的这类云服务的对象往往是云计算应用软件的这类云服务的对象往往是云计算应用软件的开发者开发者开
51、发者开发者，平，平，平，平台软件的开发需要使用者台软件的开发需要使用者台软件的开发需要使用者台软件的开发需要使用者具有一定的技术能力具有一定的技术能力具有一定的技术能力具有一定的技术能力。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024软件即服务（软件即服务（软件即服务（软件即服务（Software as a ServiceSoftware as a ServiceSoftware as a ServiceSoftware as a Service，SaaSSaaSSaaSSaaS）：）：）：）：l l将计算和
52、存储资源将计算和存储资源将计算和存储资源将计算和存储资源封装封装封装封装为为为为用户可以直接使用用户可以直接使用用户可以直接使用用户可以直接使用的应用并通过网的应用并通过网的应用并通过网的应用并通过网络提供给用户；络提供给用户；络提供给用户；络提供给用户；l lSaaSSaaSSaaSSaaS面向的服务对象为面向的服务对象为面向的服务对象为面向的服务对象为最终用户最终用户最终用户最终用户，用户只是，用户只是，用户只是，用户只是对软件功能进行对软件功能进行对软件功能进行对软件功能进行使用使用使用使用，无需了解任何云计算系统的内部结构，也不需要用户，无需了解任何云计算系统的内部结构，也不需要用户，
53、无需了解任何云计算系统的内部结构，也不需要用户，无需了解任何云计算系统的内部结构，也不需要用户具有专业的技术开发能力。具有专业的技术开发能力。具有专业的技术开发能力。具有专业的技术开发能力。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024图图1.1云计算服务体系结构云计算服务体系结构如图所示，云计算系统按资源封装的层次分为如图所示，云计算系统按资源封装的层次分为如图所示，云计算系统按资源封装的层次分为如图所示，云计算系统按资源封装的层次分为IaaSIaaSIaaSIaaS、PaaSPaaSPaaSPaaS、Sa
54、aSSaaSSaaSSaaS，分为对底层硬件资源不同级别的封装，从而实现将资源转变为服务分为对底层硬件资源不同级别的封装，从而实现将资源转变为服务分为对底层硬件资源不同级别的封装，从而实现将资源转变为服务分为对底层硬件资源不同级别的封装，从而实现将资源转变为服务的目的。的目的。的目的。的目的。传统的信息系统资源的使用者通常是以直接占有物理硬件资源的形式来使传统的信息系统资源的使用者通常是以直接占有物理硬件资源的形式来使传统的信息系统资源的使用者通常是以直接占有物理硬件资源的形式来使传统的信息系统资源的使用者通常是以直接占有物理硬件资源的形式来使用资源的，而云计算系统通过用资源的，而云计算系统通
55、过用资源的，而云计算系统通过用资源的，而云计算系统通过IaaSIaaSIaaSIaaS、PaaSPaaSPaaSPaaS、SaaSSaaSSaaSSaaS等不同层次的封装将物等不同层次的封装将物等不同层次的封装将物等不同层次的封装将物理硬件资源封装后，以服务的形式利用网络提供给资源的使用者。理硬件资源封装后，以服务的形式利用网络提供给资源的使用者。理硬件资源封装后，以服务的形式利用网络提供给资源的使用者。理硬件资源封装后，以服务的形式利用网络提供给资源的使用者。在这里资源的使用者可能是资源的二次加工者，也可能是最终应用软件的在这里资源的使用者可能是资源的二次加工者，也可能是最终应用软件的在这里
56、资源的使用者可能是资源的二次加工者，也可能是最终应用软件的在这里资源的使用者可能是资源的二次加工者，也可能是最终应用软件的使用者，通常使用者，通常使用者，通常使用者，通常IaaSIaaSIaaSIaaS、PaaSPaaSPaaSPaaS层面向的资源使用者往往是资源的二次加工者，层面向的资源使用者往往是资源的二次加工者，层面向的资源使用者往往是资源的二次加工者，层面向的资源使用者往往是资源的二次加工者，这类资源的使用者并不是资源的最终消费者，他们将资源转变为应用服务这类资源的使用者并不是资源的最终消费者，他们将资源转变为应用服务这类资源的使用者并不是资源的最终消费者，他们将资源转变为应用服务这类
57、资源的使用者并不是资源的最终消费者，他们将资源转变为应用服务程序后以程序后以程序后以程序后以SaaSSaaSSaaSSaaS的形式提供给资源的最终消费者。的形式提供给资源的最终消费者。的形式提供给资源的最终消费者。的形式提供给资源的最终消费者。实现对物理资源封装的技术并不是惟一的，目前不少的软件都能实现，甚实现对物理资源封装的技术并不是惟一的，目前不少的软件都能实现，甚实现对物理资源封装的技术并不是惟一的，目前不少的软件都能实现，甚实现对物理资源封装的技术并不是惟一的，目前不少的软件都能实现，甚至有的系统只有至有的系统只有至有的系统只有至有的系统只有SaaSSaaSSaaSSaaS层，并没有进
58、行逐层的封装。层，并没有进行逐层的封装。层，并没有进行逐层的封装。层，并没有进行逐层的封装。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024云计算的服务层次是根据服务类型即服务集合来划分，与大家熟云计算的服务层次是根据服务类型即服务集合来划分，与大家熟云计算的服务层次是根据服务类型即服务集合来划分，与大家熟云计算的服务层次是根据服务类型即服务集合来划分，与大家熟悉的计算机网络体系结构中层次的划分不同。悉的计算机网络体系结构中层次的划分不同。悉的计算机网络体系结构中层次的划分不同。悉的计算机网络体系结构中层次的划
59、分不同。在计算机网络中每个层次都实现一定的功能，层与层之间有一定在计算机网络中每个层次都实现一定的功能，层与层之间有一定在计算机网络中每个层次都实现一定的功能，层与层之间有一定在计算机网络中每个层次都实现一定的功能，层与层之间有一定关联。而云计算体系结构中的层次是可以分割的，即某一层次可关联。而云计算体系结构中的层次是可以分割的，即某一层次可关联。而云计算体系结构中的层次是可以分割的，即某一层次可关联。而云计算体系结构中的层次是可以分割的，即某一层次可以单独完成一项用户的请求而不需要其他层次为其提供必要的服以单独完成一项用户的请求而不需要其他层次为其提供必要的服以单独完成一项用户的请求而不需要
60、其他层次为其提供必要的服以单独完成一项用户的请求而不需要其他层次为其提供必要的服务和支持。务和支持。务和支持。务和支持。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024在云计算服务体系结构中各层次与相关云产品对应。在云计算服务体系结构中各层次与相关云产品对应。在云计算服务体系结构中各层次与相关云产品对应。在云计算服务体系结构中各层次与相关云产品对应。l l应用层对应应用层对应应用层对应应用层对应SaaSSaaSSaaSSaaS软件即服务，软件即服务，软件即服务，软件即服务， 如：如：如：如：Google APP
61、SGoogle APPSGoogle APPSGoogle APPS、SoftWare+ServicesSoftWare+ServicesSoftWare+ServicesSoftWare+Services。l l平台层对应平台层对应平台层对应平台层对应PaaSPaaSPaaSPaaS平台即服务，平台即服务，平台即服务，平台即服务， 如：如：如：如：IBM IT FactoryIBM IT FactoryIBM IT FactoryIBM IT Factory、Google APPEngineGoogle APPEngineGoogle APPEngineGoogle APPEngine、FF
62、FF。l l基础设施层对应基础设施层对应基础设施层对应基础设施层对应IaaSIaaSIaaSIaaS基础设施即服务，基础设施即服务，基础设施即服务，基础设施即服务， 如：如：如：如：Amazo EC2Amazo EC2Amazo EC2Amazo EC2、IBM Blue CloudIBM Blue CloudIBM Blue CloudIBM Blue Cloud、Sun GridSun GridSun GridSun Grid。l l虚拟化层对应硬件即服务，结合虚拟化层对应硬件即服务，结合虚拟化层对应硬件即服务，结合虚拟化层对应硬件即服务，结合PaaSPaaSPaaSPaaS提供硬件服务，
63、提供硬件服务，提供硬件服务，提供硬件服务， 包括服务器集群及硬件检测等服务。包括服务器集群及硬件检测等服务。包括服务器集群及硬件检测等服务。包括服务器集群及硬件检测等服务。1.1.31.1.3云计算技术分类云计算技术分类并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241.21.2大数据技术概述大数据技术概述pp1.21.21.21.2大数据技术概述大数据技术概述大数据技术概述大数据技术概述pp 1.2.1 1.2.1 1.2.1 1.2.1大数据简介大数据简介大数据简介大数据简介1 1 1 1什么是大数据什么是大数据什么是大数据什么是大数据2 2 2 2数据
64、的来源数据的来源数据的来源数据的来源3 3 3 3生产数据的三个阶段生产数据的三个阶段生产数据的三个阶段生产数据的三个阶段4 4 4 4大数据的特点大数据的特点大数据的特点大数据的特点5 5 5 5大数据的应用领域大数据的应用领域大数据的应用领域大数据的应用领域并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241.21.2大数据技术概述大数据技术概述pp1.2.11.2.1大数据简介大数据简介计算和数据是信息产业不变的主题，在信息和网络技术迅速发展计算和数据是信息产业不变的主题，在信息和网络技术迅速发展计算和数据是信息产业不变的主题，在信息和网络技术迅速发展计
65、算和数据是信息产业不变的主题，在信息和网络技术迅速发展的推动下，人们的感知、计算、仿真、模拟、传播等活动产生了的推动下，人们的感知、计算、仿真、模拟、传播等活动产生了的推动下，人们的感知、计算、仿真、模拟、传播等活动产生了的推动下，人们的感知、计算、仿真、模拟、传播等活动产生了大量的数据，数据的产生不受时间、地点的限制，大数据的概念大量的数据，数据的产生不受时间、地点的限制，大数据的概念大量的数据，数据的产生不受时间、地点的限制，大数据的概念大量的数据，数据的产生不受时间、地点的限制，大数据的概念逐渐形成，大数据涵盖了计算和数据两大主题，是产业界和学术逐渐形成，大数据涵盖了计算和数据两大主题，
66、是产业界和学术逐渐形成，大数据涵盖了计算和数据两大主题，是产业界和学术逐渐形成，大数据涵盖了计算和数据两大主题，是产业界和学术界的研究热点，被誉为未来十年的革命性技术。界的研究热点，被誉为未来十年的革命性技术。界的研究热点，被誉为未来十年的革命性技术。界的研究热点，被誉为未来十年的革命性技术。并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241.2.11.2.1大数据简介大数据简介2008200820082008年，年，年，年，NatureNatureNatureNature杂志推出了杂志推出了杂志推出了杂志推出了“ “ “ “大数据大数据大数据大数据” ”
67、” ”专辑，引发了学术界和产专辑，引发了学术界和产专辑，引发了学术界和产专辑，引发了学术界和产业界的关注；业界的关注；业界的关注；业界的关注；2011201120112011年，大数据应用进入我国并快速发展，目前大数据的应用和研究年，大数据应用进入我国并快速发展，目前大数据的应用和研究年，大数据应用进入我国并快速发展，目前大数据的应用和研究年，大数据应用进入我国并快速发展，目前大数据的应用和研究已经是学术界和产业界的热点；已经是学术界和产业界的热点；已经是学术界和产业界的热点；已经是学术界和产业界的热点；2012201220122012年年年年3 3 3 3月，美国政府发布大数据研究和发展倡议
68、，投资月，美国政府发布大数据研究和发展倡议，投资月，美国政府发布大数据研究和发展倡议，投资月，美国政府发布大数据研究和发展倡议，投资2 2 2 2亿美元亿美元亿美元亿美元发展大数据发展大数据发展大数据发展大数据, , , , 用以强化国土安全、转变教育学习模式、加速科学和工程用以强化国土安全、转变教育学习模式、加速科学和工程用以强化国土安全、转变教育学习模式、加速科学和工程用以强化国土安全、转变教育学习模式、加速科学和工程领域的创新速度和水平；领域的创新速度和水平；领域的创新速度和水平；领域的创新速度和水平；2012201220122012年年年年7 7 7 7月，日本提出以电子政府、电子医疗
69、、防灾等为中心制定新月，日本提出以电子政府、电子医疗、防灾等为中心制定新月，日本提出以电子政府、电子医疗、防灾等为中心制定新月，日本提出以电子政府、电子医疗、防灾等为中心制定新ICTICTICTICT（信息通信技术）战略，发布（信息通信技术）战略，发布（信息通信技术）战略，发布（信息通信技术）战略，发布“ “ “ “新新新新ICTICTICTICT计划计划计划计划” ” ” ”，重点关注大数据研究，重点关注大数据研究，重点关注大数据研究，重点关注大数据研究和应用；和应用；和应用；和应用；2013201320132013年年年年1 1 1 1月，英国政府宣布将在对地观测、医疗卫生等大数据和节能计
70、月，英国政府宣布将在对地观测、医疗卫生等大数据和节能计月，英国政府宣布将在对地观测、医疗卫生等大数据和节能计月，英国政府宣布将在对地观测、医疗卫生等大数据和节能计算技术方面投资算技术方面投资算技术方面投资算技术方面投资1.891.891.891.89亿英镑；亿英镑；亿英镑；亿英镑；2013201320132013年我国上海、重庆等地相继发布大数据行动计划年我国上海、重庆等地相继发布大数据行动计划年我国上海、重庆等地相继发布大数据行动计划年我国上海、重庆等地相继发布大数据行动计划。并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp1 1 1 1什么是大数据什
71、么是大数据什么是大数据什么是大数据pp维基百科维基百科维基百科维基百科将将将将大数据大数据大数据大数据描述为：描述为：描述为：描述为：大数据是现有数据库管理工具和传统数据处理应用很难处理的大型、复大数据是现有数据库管理工具和传统数据处理应用很难处理的大型、复大数据是现有数据库管理工具和传统数据处理应用很难处理的大型、复大数据是现有数据库管理工具和传统数据处理应用很难处理的大型、复杂的数据集，大数据的挑战包括采集、存储、搜索、共享、传输、分析杂的数据集，大数据的挑战包括采集、存储、搜索、共享、传输、分析杂的数据集，大数据的挑战包括采集、存储、搜索、共享、传输、分析杂的数据集，大数据的挑战包括采集
72、、存储、搜索、共享、传输、分析和可视化等。和可视化等。和可视化等。和可视化等。pp大数据的大数据的大数据的大数据的“大大大大”是一个是一个是一个是一个动态动态动态动态的概念的概念的概念的概念以前以前以前以前10GB10GB10GB10GB的数据是个天文数字；而现在，在地球、物理、基因、空间的数据是个天文数字；而现在，在地球、物理、基因、空间的数据是个天文数字；而现在，在地球、物理、基因、空间的数据是个天文数字；而现在，在地球、物理、基因、空间科学等领域，科学等领域，科学等领域，科学等领域，TBTBTBTB级的数据集已经很普遍。大数据系统需要满足以下三级的数据集已经很普遍。大数据系统需要满足以下
73、三级的数据集已经很普遍。大数据系统需要满足以下三级的数据集已经很普遍。大数据系统需要满足以下三个个个个特性特性特性特性。（1 1 1 1）规模性（）规模性（）规模性（）规模性（VolumeVolumeVolumeVolume）：需要采集、处理、传输的数据容量大；（）：需要采集、处理、传输的数据容量大；（）：需要采集、处理、传输的数据容量大；（）：需要采集、处理、传输的数据容量大；（2 2 2 2）多样性（多样性（多样性（多样性（VarietyVarietyVarietyVariety）：数据的种类多、复杂性高；）：数据的种类多、复杂性高；）：数据的种类多、复杂性高；）：数据的种类多、复杂性高；
74、（3 3 3 3）高速性（）高速性（）高速性（）高速性（VelocityVelocityVelocityVelocity）：数据需要频繁地采集、处理并输出。）：数据需要频繁地采集、处理并输出。）：数据需要频繁地采集、处理并输出。）：数据需要频繁地采集、处理并输出。1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp2 2数据的来源数据的来源大数据的大数据的大数据的大数据的数据来源数据来源数据来源数据来源很多，主要有很多，主要有很多，主要有很多，主要有信息管理系统、网络信息系统、信息管理系统、网络信息系统、信息管理系统、
75、网络信息系统、信息管理系统、网络信息系统、物联网系统、科学实验系统物联网系统、科学实验系统物联网系统、科学实验系统物联网系统、科学实验系统等等等等；其其其其数据类型数据类型数据类型数据类型包括包括包括包括结构化数据结构化数据结构化数据结构化数据、半结构化数据半结构化数据半结构化数据半结构化数据和和和和非结构化数据非结构化数据非结构化数据非结构化数据。 （1 1 1 1）管理信息系统：企业内部使用的信息系统，包括办公自动化系统、）管理信息系统：企业内部使用的信息系统，包括办公自动化系统、）管理信息系统：企业内部使用的信息系统，包括办公自动化系统、）管理信息系统：企业内部使用的信息系统，包括办公自
76、动化系统、业务管理系统等，是常见的数据产生方式。管理信息系统主要通过用业务管理系统等，是常见的数据产生方式。管理信息系统主要通过用业务管理系统等，是常见的数据产生方式。管理信息系统主要通过用业务管理系统等，是常见的数据产生方式。管理信息系统主要通过用户输入和系统的二次加工的方式生成数据，其产生的数据大多为结构户输入和系统的二次加工的方式生成数据，其产生的数据大多为结构户输入和系统的二次加工的方式生成数据，其产生的数据大多为结构户输入和系统的二次加工的方式生成数据，其产生的数据大多为结构化数据，存储在数据库中。化数据，存储在数据库中。化数据，存储在数据库中。化数据，存储在数据库中。1.2.11.
77、2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024（2 2 2 2）网络信息系统：基于网络运行的信息系统是大数据产生的重要方式，）网络信息系统：基于网络运行的信息系统是大数据产生的重要方式，）网络信息系统：基于网络运行的信息系统是大数据产生的重要方式，）网络信息系统：基于网络运行的信息系统是大数据产生的重要方式，电子商务系统、社交网络、社会媒体、搜索引擎等都是常见的网络信息系统，电子商务系统、社交网络、社会媒体、搜索引擎等都是常见的网络信息系统，电子商务系统、社交网络、社会媒体、搜索引擎等都是常见的网络信息系统，电子商务系统、社交网络
78、、社会媒体、搜索引擎等都是常见的网络信息系统，网络信息系统产生的大数据多为半结构化或无结构化的数据，网络信息系统网络信息系统产生的大数据多为半结构化或无结构化的数据，网络信息系统网络信息系统产生的大数据多为半结构化或无结构化的数据，网络信息系统网络信息系统产生的大数据多为半结构化或无结构化的数据，网络信息系统与管理信息系统的区别在于管理信息系统是内部使用的，不接入外部的公共与管理信息系统的区别在于管理信息系统是内部使用的，不接入外部的公共与管理信息系统的区别在于管理信息系统是内部使用的，不接入外部的公共与管理信息系统的区别在于管理信息系统是内部使用的，不接入外部的公共网络。网络。网络。网络。（
79、3 3 3 3）物联网系统：通过传感器获取外界的物理、化学、生物等数据信息。）物联网系统：通过传感器获取外界的物理、化学、生物等数据信息。）物联网系统：通过传感器获取外界的物理、化学、生物等数据信息。）物联网系统：通过传感器获取外界的物理、化学、生物等数据信息。（4 4 4 4）科学实验系统：主要用于学术科学研究，其环境是预先设定的，数据）科学实验系统：主要用于学术科学研究，其环境是预先设定的，数据）科学实验系统：主要用于学术科学研究，其环境是预先设定的，数据）科学实验系统：主要用于学术科学研究，其环境是预先设定的，数据既可以是由真实实验产生也可以是通过模拟方式获取仿真的。既可以是由真实实验产
80、生也可以是通过模拟方式获取仿真的。既可以是由真实实验产生也可以是通过模拟方式获取仿真的。既可以是由真实实验产生也可以是通过模拟方式获取仿真的。1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp3 3生产数据的三个阶段生产数据的三个阶段（1 1 1 1）被动式生成数据：）被动式生成数据：）被动式生成数据：）被动式生成数据： 数据库技术使得数据的保存和管理变得简单，业务系统在运数据库技术使得数据的保存和管理变得简单，业务系统在运数据库技术使得数据的保存和管理变得简单，业务系统在运数据库技术使得数据的保存和管理变得简单，业
81、务系统在运行时产生的数据直接保存数据库中，这个时候数据的产生是被行时产生的数据直接保存数据库中，这个时候数据的产生是被行时产生的数据直接保存数据库中，这个时候数据的产生是被行时产生的数据直接保存数据库中，这个时候数据的产生是被动的，数据是随着业务系统的运行产生的。动的，数据是随着业务系统的运行产生的。动的，数据是随着业务系统的运行产生的。动的，数据是随着业务系统的运行产生的。1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024（2 2 2 2）主动式生成数据：）主动式生成数据：）主动式生成数据：）主动式生成数据： 互联网的
82、诞生尤其是互联网的诞生尤其是互联网的诞生尤其是互联网的诞生尤其是Web 2.0Web 2.0Web 2.0Web 2.0、移动互联网的发展大大加速、移动互联网的发展大大加速、移动互联网的发展大大加速、移动互联网的发展大大加速了数据的产生，人们可以随时随地通过手机等移动终端随时了数据的产生，人们可以随时随地通过手机等移动终端随时了数据的产生，人们可以随时随地通过手机等移动终端随时了数据的产生，人们可以随时随地通过手机等移动终端随时随地地生成数据，人们开始主动地生成数据。随地地生成数据，人们开始主动地生成数据。随地地生成数据，人们开始主动地生成数据。随地地生成数据，人们开始主动地生成数据。（3 3
83、 3 3）感知式生成数据：）感知式生成数据：）感知式生成数据：）感知式生成数据： 感知技术尤其是物联网的发展促进了数据生成方式发生了根感知技术尤其是物联网的发展促进了数据生成方式发生了根感知技术尤其是物联网的发展促进了数据生成方式发生了根感知技术尤其是物联网的发展促进了数据生成方式发生了根本性的变化，遍布在城市各个角落的摄像头等数据采集设备本性的变化，遍布在城市各个角落的摄像头等数据采集设备本性的变化，遍布在城市各个角落的摄像头等数据采集设备本性的变化，遍布在城市各个角落的摄像头等数据采集设备源源不断地自动采集、生成数据。源源不断地自动采集、生成数据。源源不断地自动采集、生成数据。源源不断地自
84、动采集、生成数据。1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp4 4大数据的特点大数据的特点（1 1 1 1）数据产生方式：）数据产生方式：）数据产生方式：）数据产生方式： 在大数据时代，数据的产生方式发生了巨大的变化，数据的采集方式由以往的在大数据时代，数据的产生方式发生了巨大的变化，数据的采集方式由以往的在大数据时代，数据的产生方式发生了巨大的变化，数据的采集方式由以往的在大数据时代，数据的产生方式发生了巨大的变化，数据的采集方式由以往的被动采集被动采集被动采集被动采集数据数据数据数据转变为转变为转变为转变
85、为主动生成数据主动生成数据主动生成数据主动生成数据。（2 2 2 2）数据采集密度）数据采集密度）数据采集密度）数据采集密度：l l以往我们进行数据采集时的以往我们进行数据采集时的以往我们进行数据采集时的以往我们进行数据采集时的采样密度较低采样密度较低采样密度较低采样密度较低，获得的，获得的，获得的，获得的采样数据有限采样数据有限采样数据有限采样数据有限；l l在大数据时代，有了大数据处理平台的支撑，我们可以对需要分析的事件的数据进行在大数据时代，有了大数据处理平台的支撑，我们可以对需要分析的事件的数据进行在大数据时代，有了大数据处理平台的支撑，我们可以对需要分析的事件的数据进行在大数据时代，
86、有了大数据处理平台的支撑，我们可以对需要分析的事件的数据进行更加密集地采样更加密集地采样更加密集地采样更加密集地采样，从而，从而，从而，从而精确精确精确精确地地地地获取获取获取获取事件的事件的事件的事件的全局数据全局数据全局数据全局数据。（3 3 3 3）数据源）数据源）数据源）数据源：l l以往我们多从各个以往我们多从各个以往我们多从各个以往我们多从各个单一的数据源单一的数据源单一的数据源单一的数据源获取数据，获取的数据较为孤立，不同数获取数据，获取的数据较为孤立，不同数获取数据，获取的数据较为孤立，不同数获取数据，获取的数据较为孤立，不同数据源之间的数据整合难度较大；据源之间的数据整合难度
87、较大；据源之间的数据整合难度较大；据源之间的数据整合难度较大；l l在大数据时代，我们可以通过分布式计算、分布式文件系统、分布式数据库在大数据时代，我们可以通过分布式计算、分布式文件系统、分布式数据库在大数据时代，我们可以通过分布式计算、分布式文件系统、分布式数据库在大数据时代，我们可以通过分布式计算、分布式文件系统、分布式数据库等技术对等技术对等技术对等技术对多个数据源多个数据源多个数据源多个数据源获取的数据进行获取的数据进行获取的数据进行获取的数据进行整合处理整合处理整合处理整合处理。1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org
88、7/21/2024（4 4 4 4）数据处理方式：）数据处理方式：）数据处理方式：）数据处理方式： l l以往我们对数据的处理大多采用以往我们对数据的处理大多采用以往我们对数据的处理大多采用以往我们对数据的处理大多采用离线处理离线处理离线处理离线处理的方式，对已经生成的数的方式，对已经生成的数的方式，对已经生成的数的方式，对已经生成的数据集中进行分析处理，不对实时产生的数据进行分析；据集中进行分析处理，不对实时产生的数据进行分析；据集中进行分析处理，不对实时产生的数据进行分析；据集中进行分析处理，不对实时产生的数据进行分析；l l在大数据时代，我们可以根据应用的实际需求对数据采取灵活的处在大数
89、据时代，我们可以根据应用的实际需求对数据采取灵活的处在大数据时代，我们可以根据应用的实际需求对数据采取灵活的处在大数据时代，我们可以根据应用的实际需求对数据采取灵活的处理方式，对于较大的数据源、理方式，对于较大的数据源、理方式，对于较大的数据源、理方式，对于较大的数据源、响应时间要求低响应时间要求低响应时间要求低响应时间要求低的应用可以的应用可以的应用可以的应用可以采取批处采取批处采取批处采取批处理理理理的方式进行集中计算，而对于的方式进行集中计算，而对于的方式进行集中计算，而对于的方式进行集中计算，而对于响应时间要求高响应时间要求高响应时间要求高响应时间要求高的的的的实时数据实时数据实时数据
90、实时数据处理则处理则处理则处理则采用流处理采用流处理采用流处理采用流处理的方式进行的方式进行的方式进行的方式进行实时计算实时计算实时计算实时计算，并且可以通过对，并且可以通过对，并且可以通过对，并且可以通过对历史数据历史数据历史数据历史数据的分析的分析的分析的分析进行进行进行进行预测分析预测分析预测分析预测分析; ; ; ;1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024l l大数据需要处理的数据大数据需要处理的数据大数据需要处理的数据大数据需要处理的数据大小通常达到大小通常达到大小通常达到大小通常达到PBPBPBPB
91、（1024 TB1024 TB1024 TB1024 TB）或或或或EBEBEBEB（1024 PB1024 PB1024 PB1024 PB）级级级级; ; ; ; 数据的类型多种多样，包括数据的类型多种多样，包括数据的类型多种多样，包括数据的类型多种多样，包括结构化结构化结构化结构化数据、数据、数据、数据、半结构化半结构化半结构化半结构化数据和数据和数据和数据和非结构非结构非结构非结构化化化化数据数据数据数据; ; ; ;l l巨大的数据量和种类繁多的数据类型给大数据系统的存储和计算带来巨大的数据量和种类繁多的数据类型给大数据系统的存储和计算带来巨大的数据量和种类繁多的数据类型给大数据系统
92、的存储和计算带来巨大的数据量和种类繁多的数据类型给大数据系统的存储和计算带来很大挑战，单节点的存储容量和计算能力成为瓶颈很大挑战，单节点的存储容量和计算能力成为瓶颈很大挑战，单节点的存储容量和计算能力成为瓶颈很大挑战，单节点的存储容量和计算能力成为瓶颈; ; ; ;l l分布式系统分布式系统分布式系统分布式系统是对大数据进行处理的基本方法，分布式系统将数据是对大数据进行处理的基本方法，分布式系统将数据是对大数据进行处理的基本方法，分布式系统将数据是对大数据进行处理的基本方法，分布式系统将数据切分切分切分切分后存储到多个节点后存储到多个节点后存储到多个节点后存储到多个节点上，并上，并上，并上，并
93、在多个节点上发起计算在多个节点上发起计算在多个节点上发起计算在多个节点上发起计算，解决单节点的存储，解决单节点的存储，解决单节点的存储，解决单节点的存储和计算瓶颈。常见的和计算瓶颈。常见的和计算瓶颈。常见的和计算瓶颈。常见的数据切分的方法数据切分的方法数据切分的方法数据切分的方法有随机方法、哈希方法和区间方有随机方法、哈希方法和区间方有随机方法、哈希方法和区间方有随机方法、哈希方法和区间方法法法法: : : :l l随机方法随机方法随机方法随机方法将数据随机分布到不同的节点将数据随机分布到不同的节点将数据随机分布到不同的节点将数据随机分布到不同的节点; ; ; ;l l哈希方法哈希方法哈希方法
94、哈希方法根据数据的某一行或者某一列的哈希值将数据分布到不同的节点根据数据的某一行或者某一列的哈希值将数据分布到不同的节点根据数据的某一行或者某一列的哈希值将数据分布到不同的节点根据数据的某一行或者某一列的哈希值将数据分布到不同的节点; ; ; ;l l区间方法区间方法区间方法区间方法将不同的数据按照不同区间分布到不同节点。将不同的数据按照不同区间分布到不同节点。将不同的数据按照不同区间分布到不同节点。将不同的数据按照不同区间分布到不同节点。1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp5 5大数据的应用领域大数据
95、的应用领域大数据在社会生活的各个领域得到广泛的应用，不同领域的大数据大数据在社会生活的各个领域得到广泛的应用，不同领域的大数据大数据在社会生活的各个领域得到广泛的应用，不同领域的大数据大数据在社会生活的各个领域得到广泛的应用，不同领域的大数据应用具有不同的特点，其对响应时间、系统稳定性、计算精确性的应用具有不同的特点，其对响应时间、系统稳定性、计算精确性的应用具有不同的特点，其对响应时间、系统稳定性、计算精确性的应用具有不同的特点，其对响应时间、系统稳定性、计算精确性的要求各不相同，其对比如表要求各不相同，其对比如表要求各不相同，其对比如表要求各不相同，其对比如表1.11.11.11.1所示。
96、所示。所示。所示。 表表表表1.1 1.1 1.1 1.1 典型的大数据应用特征对比典型的大数据应用特征对比典型的大数据应用特征对比典型的大数据应用特征对比应应用用用用领领域域域域示例示例示例示例用用用用户户数量数量数量数量响响响响应时应时延延延延数据量数据量数据量数据量级级稳稳定性定性定性定性精确度精确度精确度精确度科学科学科学科学计计算算算算基因计算基因计算基因计算基因计算小小小小长长长长TBTBTBTB一般一般一般一般非常高非常高非常高非常高金融金融金融金融股票交易股票交易股票交易股票交易大大大大实时实时实时实时GBGBGBGB非常高非常高非常高非常高非常高非常高非常高非常高社交网社交网
97、社交网社交网络络FacebookFacebookFacebookFacebook非常大非常大非常大非常大快速快速快速快速PBPBPBPB高高高高高高高高移移移移动动数据数据数据数据移动终端移动终端移动终端移动终端非常大非常大非常大非常大快速快速快速快速TBTBTBTB高高高高高高高高物物物物联联网网网网传感网传感网传感网传感网大大大大快速快速快速快速TBTBTBTB高高高高高高高高网网网网页页数据数据数据数据新闻网站新闻网站新闻网站新闻网站非常大非常大非常大非常大快速快速快速快速GBGBGBGB高高高高高高高高多媒体多媒体多媒体多媒体视频网站视频网站视频网站视频网站非常大非常大非常大非常大快速
98、快速快速快速GBGBGBGB高高高高一般一般一般一般1.2.11.2.1大数据简介大数据简介并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp1.2.21.2.2主要的大数据处理系统主要的大数据处理系统大数据处理的数据源类型多种多样，如结构化数据、半结构化数大数据处理的数据源类型多种多样，如结构化数据、半结构化数大数据处理的数据源类型多种多样，如结构化数据、半结构化数大数据处理的数据源类型多种多样，如结构化数据、半结构化数据、非结构化数据，数据处理的需求各不相同据、非结构化数据，数据处理的需求各不相同据、非结构化数据，数据处理的需求各不相同据、非结构化数据
99、，数据处理的需求各不相同: : : :l l对海量已有数据进行批量处理，对海量已有数据进行批量处理，对海量已有数据进行批量处理，对海量已有数据进行批量处理，l l对大量的实时生成的数据进行实时处理，对大量的实时生成的数据进行实时处理，对大量的实时生成的数据进行实时处理，对大量的实时生成的数据进行实时处理，l l在进行数据分析时进行反复迭代计算，在进行数据分析时进行反复迭代计算，在进行数据分析时进行反复迭代计算，在进行数据分析时进行反复迭代计算，l l对图数据进行分析计算。对图数据进行分析计算。对图数据进行分析计算。对图数据进行分析计算。1.2.21.2.2主要的大数据处理系统主要的大数据处理系
100、统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp 目前主要的大数据处理系统有目前主要的大数据处理系统有目前主要的大数据处理系统有目前主要的大数据处理系统有: : : : 数据查询分析计算系统、批处理系统、流式计算系统、迭代计算数据查询分析计算系统、批处理系统、流式计算系统、迭代计算数据查询分析计算系统、批处理系统、流式计算系统、迭代计算数据查询分析计算系统、批处理系统、流式计算系统、迭代计算系统、图计算系统和内存计算系统。系统、图计算系统和内存计算系统。系统、图计算系统和内存计算系统。系统、图计算系统和内存计算系统。 1 1 1 1数据查询分析计算系统
101、数据查询分析计算系统数据查询分析计算系统数据查询分析计算系统大数据时代，数据查询分析计算系统需要具备对大规模数据进行实大数据时代，数据查询分析计算系统需要具备对大规模数据进行实大数据时代，数据查询分析计算系统需要具备对大规模数据进行实大数据时代，数据查询分析计算系统需要具备对大规模数据进行实时或准实时查询的能力，数据规模的增长已经超出了传统关系型数据时或准实时查询的能力，数据规模的增长已经超出了传统关系型数据时或准实时查询的能力，数据规模的增长已经超出了传统关系型数据时或准实时查询的能力，数据规模的增长已经超出了传统关系型数据库的承载和处理能力。库的承载和处理能力。库的承载和处理能力。库的承载
102、和处理能力。目前主要的数据查询分析计算系统包括目前主要的数据查询分析计算系统包括目前主要的数据查询分析计算系统包括目前主要的数据查询分析计算系统包括HBaseHBaseHBaseHBase、HiveHiveHiveHive、CassandraCassandraCassandraCassandra、DremelDremelDremelDremel、SharkSharkSharkShark、HanaHanaHanaHana等。等。等。等。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppHBaseHB
103、ase：开源、分布式、面向列的非关系型数据库模型，是开源、分布式、面向列的非关系型数据库模型，是开源、分布式、面向列的非关系型数据库模型，是开源、分布式、面向列的非关系型数据库模型，是ApacheApacheApacheApache的的的的HadoopHadoopHadoopHadoop项目的子项目；项目的子项目；项目的子项目；项目的子项目；源于源于源于源于GoogleGoogleGoogleGoogle论文论文论文论文BigtableBigtableBigtableBigtable：一个结构化数据的分布式存储系统：一个结构化数据的分布式存储系统：一个结构化数据的分布式存储系统：一个结构化数据
104、的分布式存储系统，实现了其中的压缩算法、内存操作和布隆过滤器，实现了其中的压缩算法、内存操作和布隆过滤器，实现了其中的压缩算法、内存操作和布隆过滤器，实现了其中的压缩算法、内存操作和布隆过滤器HBaseHBaseHBaseHBase的编程语言为的编程语言为的编程语言为的编程语言为JavaJavaJavaJava。HBaseHBaseHBaseHBase的表能够作为的表能够作为的表能够作为的表能够作为MapReduceMapReduceMapReduceMapReduce任任任任务的输入和输出，可以通过务的输入和输出，可以通过务的输入和输出，可以通过务的输入和输出，可以通过Java APIJav
105、a APIJava APIJava API来存取数据。来存取数据。来存取数据。来存取数据。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppHiveHive：基于基于基于基于HadoopHadoopHadoopHadoop的数据仓库工具，用于查询、管理分布式存储中的的数据仓库工具，用于查询、管理分布式存储中的的数据仓库工具，用于查询、管理分布式存储中的的数据仓库工具，用于查询、管理分布式存储中的大数据集，提供完整的大数据集，提供完整的大数据集，提供完整的大数据集，提供完整的SQLSQLSQLSQL
106、查询功能，可以将结构化的数据文件查询功能，可以将结构化的数据文件查询功能，可以将结构化的数据文件查询功能，可以将结构化的数据文件映射为一张数据表。映射为一张数据表。映射为一张数据表。映射为一张数据表。HiveHiveHiveHive提供了一种类提供了一种类提供了一种类提供了一种类SQLSQLSQLSQL语言（语言（语言（语言（HiveQLHiveQLHiveQLHiveQL）可以将）可以将）可以将）可以将SQLSQLSQLSQL语句转换为语句转换为语句转换为语句转换为MapReduceMapReduceMapReduceMapReduce任务运行。任务运行。任务运行。任务运行。1.2.21.2
107、.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppCassandra：开源开源开源开源NoSQLNoSQLNoSQLNoSQL数据库系统，最早由数据库系统，最早由数据库系统，最早由数据库系统，最早由FacebookFacebookFacebookFacebook开发，并于开发，并于开发，并于开发，并于2008200820082008年年年年开源；开源；开源；开源；由于其良好的可扩展性，由于其良好的可扩展性，由于其良好的可扩展性，由于其良好的可扩展性，CassandraCassandraCassandraCassa
108、ndra被被被被 Facebook Facebook Facebook Facebook、TwitterTwitterTwitterTwitter、BackspaceBackspaceBackspaceBackspace、CiscoCiscoCiscoCisco等公司使用；等公司使用；等公司使用；等公司使用；其数据模型借鉴了其数据模型借鉴了其数据模型借鉴了其数据模型借鉴了 Amazon Amazon Amazon Amazon的的的的 Dynamo Dynamo Dynamo Dynamo和和和和 Google BigTable Google BigTable Google BigTable
109、Google BigTable，是一种流行的分布式结构化数据存储方案。，是一种流行的分布式结构化数据存储方案。，是一种流行的分布式结构化数据存储方案。，是一种流行的分布式结构化数据存储方案。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppImpala：由由由由ClouderaClouderaClouderaCloudera公司主导开发，是运行在公司主导开发，是运行在公司主导开发，是运行在公司主导开发，是运行在HadoopHadoopHadoopHadoop平台上的开源的大平台上的开源的大平台上的
110、开源的大平台上的开源的大规模并行规模并行规模并行规模并行SQLSQLSQLSQL查询引擎。查询引擎。查询引擎。查询引擎。用户可以使用标准的用户可以使用标准的用户可以使用标准的用户可以使用标准的SQLSQLSQLSQL接口的工具查询存储在接口的工具查询存储在接口的工具查询存储在接口的工具查询存储在HadoopHadoopHadoopHadoop的的的的HDFSHDFSHDFSHDFS和和和和HBaseHBaseHBaseHBase中的中的中的中的PBPBPBPB级大数据。级大数据。级大数据。级大数据。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 htt
111、p:/www.qhoa.org7/21/2024ppShark：SparkSparkSparkSpark上的数据仓库实现，即上的数据仓库实现，即上的数据仓库实现，即上的数据仓库实现，即SQL on SparkSQL on SparkSQL on SparkSQL on Spark；与与与与HiveHiveHiveHive相兼容，但处理相兼容，但处理相兼容，但处理相兼容，但处理Hive QL Hive QL Hive QL Hive QL 的性能比的性能比的性能比的性能比Hive Hive Hive Hive 快快快快100 100 100 100 倍。倍。倍。倍。ppHana：由由由由SAPS
112、APSAPSAP公司开发的与数据源无关、软硬件结合、基于内存计算的公司开发的与数据源无关、软硬件结合、基于内存计算的公司开发的与数据源无关、软硬件结合、基于内存计算的公司开发的与数据源无关、软硬件结合、基于内存计算的平台。平台。平台。平台。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20242 2批处理系统批处理系统MapReduceMapReduceMapReduceMapReduce是被广泛使用的批处理计算模式。是被广泛使用的批处理计算模式。是被广泛使用的批处理计算模式。是被广泛使用的批处理计算模式
113、。MapReduceMapReduceMapReduceMapReduce对具有简单数据关系、易于划分的大数据采用对具有简单数据关系、易于划分的大数据采用对具有简单数据关系、易于划分的大数据采用对具有简单数据关系、易于划分的大数据采用“ “ “ “分而治之分而治之分而治之分而治之” ” ” ”的并行处理思想，将数据记录的处理分为的并行处理思想，将数据记录的处理分为的并行处理思想，将数据记录的处理分为的并行处理思想，将数据记录的处理分为MapMapMapMap和和和和ReduceReduceReduceReduce两个简单的两个简单的两个简单的两个简单的抽象操作，提供了一个统一的并行计算框架。抽
114、象操作，提供了一个统一的并行计算框架。抽象操作，提供了一个统一的并行计算框架。抽象操作，提供了一个统一的并行计算框架。批处理系统将复杂的并行计算的实现进行封装，大大降低开发人员的并批处理系统将复杂的并行计算的实现进行封装，大大降低开发人员的并批处理系统将复杂的并行计算的实现进行封装，大大降低开发人员的并批处理系统将复杂的并行计算的实现进行封装，大大降低开发人员的并行程序设计难度。行程序设计难度。行程序设计难度。行程序设计难度。HadoopHadoopHadoopHadoop和和和和SparkSparkSparkSpark是典型的批处理系统。是典型的批处理系统。是典型的批处理系统。是典型的批处理
115、系统。MapReduceMapReduceMapReduceMapReduce的批处理模式不支的批处理模式不支的批处理模式不支的批处理模式不支持迭代计算。持迭代计算。持迭代计算。持迭代计算。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppHadoop：目前大数据处理最主流的平台，是目前大数据处理最主流的平台，是目前大数据处理最主流的平台，是目前大数据处理最主流的平台，是ApacheApacheApacheApache基金会的开源软件项基金会的开源软件项基金会的开源软件项基金会的开源软件项目，使用
116、目，使用目，使用目，使用JavaJavaJavaJava语言开发实现。语言开发实现。语言开发实现。语言开发实现。HadoopHadoopHadoopHadoop平台使开发人员无需了解底层的分布式细节，即可开发平台使开发人员无需了解底层的分布式细节，即可开发平台使开发人员无需了解底层的分布式细节，即可开发平台使开发人员无需了解底层的分布式细节，即可开发出分布式程序，在集群中对大数据进行存储、分析。出分布式程序，在集群中对大数据进行存储、分析。出分布式程序，在集群中对大数据进行存储、分析。出分布式程序，在集群中对大数据进行存储、分析。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行
117、计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppSparkSpark：由加州伯克利大学由加州伯克利大学由加州伯克利大学由加州伯克利大学AMPAMPAMPAMP实验室开发，适合用于机器学习、数据挖实验室开发，适合用于机器学习、数据挖实验室开发，适合用于机器学习、数据挖实验室开发，适合用于机器学习、数据挖掘等迭代运算较多的计算任务。掘等迭代运算较多的计算任务。掘等迭代运算较多的计算任务。掘等迭代运算较多的计算任务。SparkSparkSparkSpark引入了内存计算的概念，运行引入了内存计算的概念，运行引入了内存计算的概念，运行引入了内存计算的概念，运行Spa
118、rkSparkSparkSpark时服务器可以将中间时服务器可以将中间时服务器可以将中间时服务器可以将中间数据存储在数据存储在数据存储在数据存储在RAMRAMRAMRAM内存中，大大加速数据分析结果的返回速度，内存中，大大加速数据分析结果的返回速度，内存中，大大加速数据分析结果的返回速度，内存中，大大加速数据分析结果的返回速度，可用于需要互动分析的场景。可用于需要互动分析的场景。可用于需要互动分析的场景。可用于需要互动分析的场景。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp3 3流式计算系统
119、流式计算系统流式计算具有很强的实时性，需要对应用源源不断产生的数据实流式计算具有很强的实时性，需要对应用源源不断产生的数据实流式计算具有很强的实时性，需要对应用源源不断产生的数据实流式计算具有很强的实时性，需要对应用源源不断产生的数据实时进行处理，使数据不积压、不丢失，常用于处理电信、电力等时进行处理，使数据不积压、不丢失，常用于处理电信、电力等时进行处理，使数据不积压、不丢失，常用于处理电信、电力等时进行处理，使数据不积压、不丢失，常用于处理电信、电力等行业应用以及互联网行业的访问日志等。行业应用以及互联网行业的访问日志等。行业应用以及互联网行业的访问日志等。行业应用以及互联网行业的访问日志
120、等。Facebook Facebook Facebook Facebook 的的的的 Scribe Scribe Scribe Scribe、 Apache Apache Apache Apache的的的的 Flume Flume Flume Flume、 Twitter Twitter Twitter Twitter的的的的 Storm Storm Storm Storm、 YahooYahooYahooYahoo的的的的S4S4S4S4、UCBerkeleyUCBerkeleyUCBerkeleyUCBerkeley的的的的Spark StreamingSpark StreamingSpa
121、rk StreamingSpark Streaming是常用的流式计是常用的流式计是常用的流式计是常用的流式计算系统。算系统。算系统。算系统。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppScribeScribe： Scribe Scribe Scribe Scribe 由由由由 Facebook Facebook Facebook Facebook 开发开源系统，用于从海量服务器实时开发开源系统，用于从海量服务器实时开发开源系统，用于从海量服务器实时开发开源系统，用于从海量服务器实时收集日志
122、信息，收集日志信息，收集日志信息，收集日志信息， 对日志信息进行实时的统计分析处理，应用在对日志信息进行实时的统计分析处理，应用在对日志信息进行实时的统计分析处理，应用在对日志信息进行实时的统计分析处理，应用在FacebookFacebookFacebookFacebook内部。内部。内部。内部。ppFlumeFlume： Flume Flume Flume Flume由由由由 Cloudera Cloudera Cloudera Cloudera 公司开发，其功能与公司开发，其功能与公司开发，其功能与公司开发，其功能与ScribeScribeScribeScribe相似，主要用相似，主要用相
123、似，主要用相似，主要用于实时收集在海量节点上产生的日志信息，存储到类似于于实时收集在海量节点上产生的日志信息，存储到类似于于实时收集在海量节点上产生的日志信息，存储到类似于于实时收集在海量节点上产生的日志信息，存储到类似于HDFSHDFSHDFSHDFS的网络文件系统中，并根据用户的需求进行相应的数据分析。的网络文件系统中，并根据用户的需求进行相应的数据分析。的网络文件系统中，并根据用户的需求进行相应的数据分析。的网络文件系统中，并根据用户的需求进行相应的数据分析。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/
124、21/2024ppStormStorm：基于拓扑的基于拓扑的基于拓扑的基于拓扑的分布式流数据实时计算系统分布式流数据实时计算系统分布式流数据实时计算系统分布式流数据实时计算系统，由，由，由，由BackTypeBackTypeBackTypeBackType公司（后公司（后公司（后公司（后被被被被TwitterTwitterTwitterTwitter收购）开发，现已经开放源代码，并应用于淘宝、百度、收购）开发，现已经开放源代码，并应用于淘宝、百度、收购）开发，现已经开放源代码，并应用于淘宝、百度、收购）开发，现已经开放源代码，并应用于淘宝、百度、支付宝、支付宝、支付宝、支付宝、GrouponG
125、rouponGrouponGroupon、FacebookFacebookFacebookFacebook等平台，是主要的流数据计算平等平台，是主要的流数据计算平等平台，是主要的流数据计算平等平台，是主要的流数据计算平台之一。台之一。台之一。台之一。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppS4S4：S4S4S4S4的全称是的全称是的全称是的全称是Simple Scalable Streaming SystemSimple Scalable Streaming SystemSimple S
126、calable Streaming SystemSimple Scalable Streaming System，是由，是由，是由，是由YahooYahooYahooYahoo开发的通用、分布式、可扩展、部分容错、具备可插拔功能的平开发的通用、分布式、可扩展、部分容错、具备可插拔功能的平开发的通用、分布式、可扩展、部分容错、具备可插拔功能的平开发的通用、分布式、可扩展、部分容错、具备可插拔功能的平台；台；台；台；其设计目的是根据用户的搜索内容计算得到相应的推荐广告，现其设计目的是根据用户的搜索内容计算得到相应的推荐广告，现其设计目的是根据用户的搜索内容计算得到相应的推荐广告，现其设计目的是根据
127、用户的搜索内容计算得到相应的推荐广告，现已经开源，是重要的大数据计算平台。已经开源，是重要的大数据计算平台。已经开源，是重要的大数据计算平台。已经开源，是重要的大数据计算平台。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppSpark StreamingSpark Streaming：构建在构建在构建在构建在SparkSparkSparkSpark上的流数据处理框架，将流式计算分解成一系列短上的流数据处理框架，将流式计算分解成一系列短上的流数据处理框架，将流式计算分解成一系列短上的流数据处理框架
128、，将流式计算分解成一系列短小的批处理任务进行处理。小的批处理任务进行处理。小的批处理任务进行处理。小的批处理任务进行处理。网站流量统计是网站流量统计是网站流量统计是网站流量统计是Spark StreamingSpark StreamingSpark StreamingSpark Streaming的一种典型的使用场景，这种的一种典型的使用场景，这种的一种典型的使用场景，这种的一种典型的使用场景，这种应用既需要具有实时性，还需要进行聚合、去重、连接等统计计应用既需要具有实时性，还需要进行聚合、去重、连接等统计计应用既需要具有实时性，还需要进行聚合、去重、连接等统计计应用既需要具有实时性，还需要进
129、行聚合、去重、连接等统计计算操作；算操作；算操作；算操作；如果使用如果使用如果使用如果使用Hadoop MapReduceHadoop MapReduceHadoop MapReduceHadoop MapReduce框架，则可以很容易地实现统计框架，则可以很容易地实现统计框架，则可以很容易地实现统计框架，则可以很容易地实现统计需求，但无法保证实时性；如果使用需求，但无法保证实时性；如果使用需求，但无法保证实时性；如果使用需求，但无法保证实时性；如果使用StormStormStormStorm这种流式框架则可以这种流式框架则可以这种流式框架则可以这种流式框架则可以保证实时性，但实现难度较大；保
130、证实时性，但实现难度较大；保证实时性，但实现难度较大；保证实时性，但实现难度较大；Spark StreamingSpark StreamingSpark StreamingSpark Streaming可以以准实时可以以准实时可以以准实时可以以准实时的方式方便地实现复杂的统计需求。的方式方便地实现复杂的统计需求。的方式方便地实现复杂的统计需求。的方式方便地实现复杂的统计需求。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp4 4迭代计算系统迭代计算系统 针对针对针对针对MapReduceMapR
131、educeMapReduceMapReduce不支持迭代计算的缺陷，人们对不支持迭代计算的缺陷，人们对不支持迭代计算的缺陷，人们对不支持迭代计算的缺陷，人们对HadoopHadoopHadoopHadoop的的的的MapReduceMapReduceMapReduceMapReduce进行了大量改进，进行了大量改进，进行了大量改进，进行了大量改进，HaloopHaloopHaloopHaloop、iMapReduceiMapReduceiMapReduceiMapReduce、TwisterTwisterTwisterTwister、SparkSparkSparkSpark是典型的迭代是典型的
132、迭代是典型的迭代是典型的迭代计算系统。计算系统。计算系统。计算系统。l lHaLoopHaLoop：HaloopHaloopHaloopHaloop是是是是Hadoop MapReduceHadoop MapReduceHadoop MapReduceHadoop MapReduce框架的修改版本，用于支持迭代、框架的修改版本，用于支持迭代、框架的修改版本，用于支持迭代、框架的修改版本，用于支持迭代、递归类型的数据分析任务，如递归类型的数据分析任务，如递归类型的数据分析任务，如递归类型的数据分析任务，如PageRankPageRankPageRankPageRank、K-meansK-mean
133、sK-meansK-means等。等。等。等。l liMapReduceiMapReduce：一种基于一种基于一种基于一种基于MapReduce MapReduce MapReduce MapReduce 的迭代模型，实现了的迭代模型，实现了的迭代模型，实现了的迭代模型，实现了MapReduce MapReduce MapReduce MapReduce 的异步迭代。的异步迭代。的异步迭代。的异步迭代。l lTwisterTwister：基于基于基于基于JavaJavaJavaJava的迭代的迭代的迭代的迭代MapReduceMapReduceMapReduceMapReduce模型，上一轮模
134、型，上一轮模型，上一轮模型，上一轮ReduceReduceReduceReduce的结果的结果的结果的结果会直接传送到下一轮的会直接传送到下一轮的会直接传送到下一轮的会直接传送到下一轮的MapMapMapMap。l lSparkSpark：基于内存计算的开源集群计算框架。基于内存计算的开源集群计算框架。基于内存计算的开源集群计算框架。基于内存计算的开源集群计算框架。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp5 5图计算系统图计算系统社交网络、网页链接等包含具有复杂关系的图数据，这些图数社交
135、网络、网页链接等包含具有复杂关系的图数据，这些图数社交网络、网页链接等包含具有复杂关系的图数据，这些图数社交网络、网页链接等包含具有复杂关系的图数据，这些图数据的规模巨大，可包含数十亿顶点和上百亿条边，图数据需要由据的规模巨大，可包含数十亿顶点和上百亿条边，图数据需要由据的规模巨大，可包含数十亿顶点和上百亿条边，图数据需要由据的规模巨大，可包含数十亿顶点和上百亿条边，图数据需要由专门的系统进行存储和计算。专门的系统进行存储和计算。专门的系统进行存储和计算。专门的系统进行存储和计算。常用的图计算系统有常用的图计算系统有常用的图计算系统有常用的图计算系统有GoogleGoogleGoogleGoo
136、gle公司的公司的公司的公司的PregelPregelPregelPregel、PregelPregelPregelPregel的开源版本的开源版本的开源版本的开源版本GiraphGiraphGiraphGiraph、微软的、微软的、微软的、微软的TrinityTrinityTrinityTrinity、BerkeleyBerkeleyBerkeleyBerkeleyAMPLabAMPLabAMPLabAMPLab的的的的GraphXGraphXGraphXGraphX以及高速图以及高速图以及高速图以及高速图数据处理系统数据处理系统数据处理系统数据处理系统PowerGraphPowerGrap
137、hPowerGraphPowerGraph。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppPregelPregel： GoogleGoogleGoogleGoogle公司开发的一种面向图数据计算的分布式编程框架，采公司开发的一种面向图数据计算的分布式编程框架，采公司开发的一种面向图数据计算的分布式编程框架，采公司开发的一种面向图数据计算的分布式编程框架，采用迭代的计算模型。用迭代的计算模型。用迭代的计算模型。用迭代的计算模型。GoogleGoogleGoogleGoogle的数据计算任务中，大
138、约的数据计算任务中，大约的数据计算任务中，大约的数据计算任务中，大约80%80%80%80%的任的任的任的任务处理采用务处理采用务处理采用务处理采用MapReduceMapReduceMapReduceMapReduce模式，如网页内容索引；图数据的计算模式，如网页内容索引；图数据的计算模式，如网页内容索引；图数据的计算模式，如网页内容索引；图数据的计算任务约占任务约占任务约占任务约占20%20%20%20%，采用，采用，采用，采用PregelPregelPregelPregel进行处理。进行处理。进行处理。进行处理。ppGiraphGiraph：一个迭代的图计算系统，最早由雅虎公司借鉴一个迭
139、代的图计算系统，最早由雅虎公司借鉴一个迭代的图计算系统，最早由雅虎公司借鉴一个迭代的图计算系统，最早由雅虎公司借鉴PregelPregelPregelPregel系统开发，系统开发，系统开发，系统开发，后捐赠给后捐赠给后捐赠给后捐赠给ApacheApacheApacheApache软件基金会，成为开源的图计算系统。软件基金会，成为开源的图计算系统。软件基金会，成为开源的图计算系统。软件基金会，成为开源的图计算系统。GiraphGiraphGiraphGiraph是基于是基于是基于是基于HadoopHadoopHadoopHadoop建立的，建立的，建立的，建立的，FacebookFaceboo
140、kFacebookFacebook在其脸谱搜索服务中大量使在其脸谱搜索服务中大量使在其脸谱搜索服务中大量使在其脸谱搜索服务中大量使用了用了用了用了GiraphGiraphGiraphGiraph。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppTrinityTrinity：微软公司开发的图数据库系统，该系统是基于内存的数据存储与运算系微软公司开发的图数据库系统，该系统是基于内存的数据存储与运算系微软公司开发的图数据库系统，该系统是基于内存的数据存储与运算系微软公司开发的图数据库系统，该系统是基于
141、内存的数据存储与运算系统，源代码不公开。统，源代码不公开。统，源代码不公开。统，源代码不公开。ppGraphXGraphX：由由由由AMPLabAMPLabAMPLabAMPLab开发的运行在数据并行的开发的运行在数据并行的开发的运行在数据并行的开发的运行在数据并行的SparkSparkSparkSpark平台上的图数据计算系统。平台上的图数据计算系统。平台上的图数据计算系统。平台上的图数据计算系统。ppPowerGraphPowerGraph：高速图处理系统，常用于广告推荐计算和自然语言处理。高速图处理系统，常用于广告推荐计算和自然语言处理。高速图处理系统，常用于广告推荐计算和自然语言处理。
142、高速图处理系统，常用于广告推荐计算和自然语言处理。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp6 6内存计算系统内存计算系统随着内存价格的不断下降、服务器可配置内存容量的不断增长，随着内存价格的不断下降、服务器可配置内存容量的不断增长，随着内存价格的不断下降、服务器可配置内存容量的不断增长，随着内存价格的不断下降、服务器可配置内存容量的不断增长，使用内存计算完成高速的大数据处理已成为大数据处理的重要发使用内存计算完成高速的大数据处理已成为大数据处理的重要发使用内存计算完成高速的大数据处理已成
143、为大数据处理的重要发使用内存计算完成高速的大数据处理已成为大数据处理的重要发展方向。展方向。展方向。展方向。目前常用的内存计算系统有分布式内存计算系统目前常用的内存计算系统有分布式内存计算系统目前常用的内存计算系统有分布式内存计算系统目前常用的内存计算系统有分布式内存计算系统SparkSparkSparkSpark、全内存、全内存、全内存、全内存式分布式数据库系统式分布式数据库系统式分布式数据库系统式分布式数据库系统 HANA HANA HANA HANA、 Google Google Google Google的可扩展交互式查询系统的可扩展交互式查询系统的可扩展交互式查询系统的可扩展交互式查
144、询系统DremelDremelDremelDremel。1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024ppDremelDremel：GoogleGoogleGoogleGoogle的交互式数据分析系统，可以在数以千计的服务器组成的交互式数据分析系统，可以在数以千计的服务器组成的交互式数据分析系统，可以在数以千计的服务器组成的交互式数据分析系统，可以在数以千计的服务器组成的集群上发起计算，处理的集群上发起计算，处理的集群上发起计算，处理的集群上发起计算，处理PBPBPBPB级的数据。级的数据。级的数
145、据。级的数据。DremelDremelDremelDremel是是是是Google Google Google Google MapReduceMapReduceMapReduceMapReduce的补充，大大缩短了数据的处理时间，成功地应用的补充，大大缩短了数据的处理时间，成功地应用的补充，大大缩短了数据的处理时间，成功地应用的补充，大大缩短了数据的处理时间，成功地应用在在在在GoogleGoogleGoogleGoogle的的的的bigquerybigquerybigquerybigquery中。中。中。中。ppHANA：SAPSAPSAPSAP公司开发的基于内存技术、面向企业分析性的产品
146、。公司开发的基于内存技术、面向企业分析性的产品。公司开发的基于内存技术、面向企业分析性的产品。公司开发的基于内存技术、面向企业分析性的产品。ppSpark：基于内存计算的开源集群计算系统。基于内存计算的开源集群计算系统。基于内存计算的开源集群计算系统。基于内存计算的开源集群计算系统。 1.2.21.2.2主要的大数据处理系统主要的大数据处理系统并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241.2.31.2.3大数据处理的基本流程大数据处理的基本流程pp1.2.31.2.3大数据处理的基本流程大数据处理的基本流程大数据的处理流程可以大数据的处理流程可以大数据
147、的处理流程可以大数据的处理流程可以定义定义定义定义为在适合工具的辅助下，对广泛异构的数据为在适合工具的辅助下，对广泛异构的数据为在适合工具的辅助下，对广泛异构的数据为在适合工具的辅助下，对广泛异构的数据源进行源进行源进行源进行抽取抽取抽取抽取和和和和集成集成集成集成，结果按照一定的标准统一，结果按照一定的标准统一，结果按照一定的标准统一，结果按照一定的标准统一存储存储存储存储，利用合适的数据分，利用合适的数据分，利用合适的数据分，利用合适的数据分析技术对存储的数据进行析技术对存储的数据进行析技术对存储的数据进行析技术对存储的数据进行分析分析分析分析，从中，从中，从中，从中提取提取提取提取有益的
148、有益的有益的有益的知识知识知识知识并利用恰当的方式并利用恰当的方式并利用恰当的方式并利用恰当的方式将结果将结果将结果将结果展示展示展示展示给终端用户。大数据处理的基本流程如图给终端用户。大数据处理的基本流程如图给终端用户。大数据处理的基本流程如图给终端用户。大数据处理的基本流程如图1.21.21.21.2所示。所示。所示。所示。图图1.21.2大数据处理的基本流程大数据处理的基本流程并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp1 1数据抽取与集成数据抽取与集成由于大数据处理的数据来源类型丰富，大数据处理的第一步是对由于大数据处理的数据来源类型丰富，大
149、数据处理的第一步是对由于大数据处理的数据来源类型丰富，大数据处理的第一步是对由于大数据处理的数据来源类型丰富，大数据处理的第一步是对数据进行抽取和集成，从中提取出关系和实体，经过关联和聚合数据进行抽取和集成，从中提取出关系和实体，经过关联和聚合数据进行抽取和集成，从中提取出关系和实体，经过关联和聚合数据进行抽取和集成，从中提取出关系和实体，经过关联和聚合等操作，按照统一定义的格式对数据进行存储。等操作，按照统一定义的格式对数据进行存储。等操作，按照统一定义的格式对数据进行存储。等操作，按照统一定义的格式对数据进行存储。现有的数据抽取和集成方法有三种：现有的数据抽取和集成方法有三种：现有的数据抽
150、取和集成方法有三种：现有的数据抽取和集成方法有三种：l l基于物化或基于物化或基于物化或基于物化或ETLETLETLETL方法的引擎（方法的引擎（方法的引擎（方法的引擎（Materialization or ETL EngineMaterialization or ETL EngineMaterialization or ETL EngineMaterialization or ETL Engine）、）、）、）、l l基于联邦数据库或中间件方法的引擎（基于联邦数据库或中间件方法的引擎（基于联邦数据库或中间件方法的引擎（基于联邦数据库或中间件方法的引擎（Federation Engine or
151、 Federation Engine or Federation Engine or Federation Engine or MediatorMediatorMediatorMediator）、）、）、）、l l基于数据流方法的引擎（基于数据流方法的引擎（基于数据流方法的引擎（基于数据流方法的引擎（Stream EngineStream EngineStream EngineStream Engine）。）。）。）。1.2.31.2.3大数据处理的基本流程大数据处理的基本流程并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp2 2数据分析数据分析数据分析
152、是大数据处理流程的核心步骤，通过数据抽取和集成环数据分析是大数据处理流程的核心步骤，通过数据抽取和集成环数据分析是大数据处理流程的核心步骤，通过数据抽取和集成环数据分析是大数据处理流程的核心步骤，通过数据抽取和集成环节，我们已经从异构的数据源中获得了用于大数据处理的原始数节，我们已经从异构的数据源中获得了用于大数据处理的原始数节，我们已经从异构的数据源中获得了用于大数据处理的原始数节，我们已经从异构的数据源中获得了用于大数据处理的原始数据，用户可以根据自己的需求对这些数据进行分析处理，比如数据，用户可以根据自己的需求对这些数据进行分析处理，比如数据，用户可以根据自己的需求对这些数据进行分析处理
153、，比如数据，用户可以根据自己的需求对这些数据进行分析处理，比如数据挖掘、机器学习、数据统计等，数据分析可以用于决策支持、据挖掘、机器学习、数据统计等，数据分析可以用于决策支持、据挖掘、机器学习、数据统计等，数据分析可以用于决策支持、据挖掘、机器学习、数据统计等，数据分析可以用于决策支持、商业智能、推荐系统、预测系统等。商业智能、推荐系统、预测系统等。商业智能、推荐系统、预测系统等。商业智能、推荐系统、预测系统等。1.2.31.2.3大数据处理的基本流程大数据处理的基本流程并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp3 3数据解释数据解释大数据处理流程
154、中用户最关心的是数据处理的结果，正确的数据大数据处理流程中用户最关心的是数据处理的结果，正确的数据大数据处理流程中用户最关心的是数据处理的结果，正确的数据大数据处理流程中用户最关心的是数据处理的结果，正确的数据处理结果只有通过合适的展示方式才能被终端用户正确理解，因处理结果只有通过合适的展示方式才能被终端用户正确理解，因处理结果只有通过合适的展示方式才能被终端用户正确理解，因处理结果只有通过合适的展示方式才能被终端用户正确理解，因此数据处理结果的展示非常重要，此数据处理结果的展示非常重要，此数据处理结果的展示非常重要，此数据处理结果的展示非常重要，可视化可视化可视化可视化和和和和人机交互人机交
155、互人机交互人机交互是数据解释是数据解释是数据解释是数据解释的主要技术。的主要技术。的主要技术。的主要技术。1.2.31.2.3大数据处理的基本流程大数据处理的基本流程并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024我们在开发调试程序的时候经常通过打印语句的方式来呈现结果，我们在开发调试程序的时候经常通过打印语句的方式来呈现结果，我们在开发调试程序的时候经常通过打印语句的方式来呈现结果，我们在开发调试程序的时候经常通过打印语句的方式来呈现结果，这种方式非常灵活、方便，但只有熟悉程序的人才能很好地理解这种方式非常灵活、方便，但只有熟悉程序的人才能很好地理解这种方
156、式非常灵活、方便，但只有熟悉程序的人才能很好地理解这种方式非常灵活、方便，但只有熟悉程序的人才能很好地理解打印结果。打印结果。打印结果。打印结果。使用可视化技术，可以将处理的结果通过图形的方式直观地呈现使用可视化技术，可以将处理的结果通过图形的方式直观地呈现使用可视化技术，可以将处理的结果通过图形的方式直观地呈现使用可视化技术，可以将处理的结果通过图形的方式直观地呈现给用户，标签云（给用户，标签云（给用户，标签云（给用户，标签云（Tag CloudTag CloudTag CloudTag Cloud）、历史流（）、历史流（）、历史流（）、历史流（History FlowHistory Flo
157、wHistory FlowHistory Flow）、空）、空）、空）、空间信息流（间信息流（间信息流（间信息流（Spatial Information FlowSpatial Information FlowSpatial Information FlowSpatial Information Flow）等是常用的可视化技术，）等是常用的可视化技术，）等是常用的可视化技术，）等是常用的可视化技术，用户可以根据自己的需求灵活地使用这些可视化技术；用户可以根据自己的需求灵活地使用这些可视化技术；用户可以根据自己的需求灵活地使用这些可视化技术；用户可以根据自己的需求灵活地使用这些可视化技术；人机交
158、互技术可以引导用户对数据进行逐步的分析，使用户参与人机交互技术可以引导用户对数据进行逐步的分析，使用户参与人机交互技术可以引导用户对数据进行逐步的分析，使用户参与人机交互技术可以引导用户对数据进行逐步的分析，使用户参与到数据分析的过程中，使用户可以深刻地理解数据分析结果。到数据分析的过程中，使用户可以深刻地理解数据分析结果。到数据分析的过程中，使用户可以深刻地理解数据分析结果。到数据分析的过程中，使用户可以深刻地理解数据分析结果。1.2.31.2.3大数据处理的基本流程大数据处理的基本流程并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/20241.31.3云计算与大
159、数据的发展云计算与大数据的发展pp1.3云计算与大数据的发展1 1云计算与大数据发展历程云计算与大数据发展历程早在早在早在早在1958195819581958年，人工智能之父年，人工智能之父年，人工智能之父年，人工智能之父 John McCarthy John McCarthy John McCarthy John McCarthy 发明了函数式语言发明了函数式语言发明了函数式语言发明了函数式语言LISPLISPLISPLISP， LISP LISP LISP LISP 语言后来成为语言后来成为语言后来成为语言后来成为MapReduceMapReduceMapReduceMapReduce的思
160、想来源。的思想来源。的思想来源。的思想来源。1960196019601960年年年年John McCarthy John McCarthy John McCarthy John McCarthy 预言了：预言了：预言了：预言了：“ “ “ “今后计算机将会作为公共设施提供给公众今后计算机将会作为公共设施提供给公众今后计算机将会作为公共设施提供给公众今后计算机将会作为公共设施提供给公众” ” ” ”，这一概念与我们现在所定义的云计算已非常相似，但当时的技术条件决定了这，这一概念与我们现在所定义的云计算已非常相似，但当时的技术条件决定了这，这一概念与我们现在所定义的云计算已非常相似，但当时的技术条
161、件决定了这，这一概念与我们现在所定义的云计算已非常相似，但当时的技术条件决定了这一设想只是一种对未来技术发展的预言。一设想只是一种对未来技术发展的预言。一设想只是一种对未来技术发展的预言。一设想只是一种对未来技术发展的预言。云计算是网络技术发展到一定阶段后必然出现的新的技术体系和产业模式。云计算是网络技术发展到一定阶段后必然出现的新的技术体系和产业模式。云计算是网络技术发展到一定阶段后必然出现的新的技术体系和产业模式。云计算是网络技术发展到一定阶段后必然出现的新的技术体系和产业模式。1984198419841984年年年年SUNSUNSUNSUN公司提出公司提出公司提出公司提出“ “ “ “网
162、络就是计算机网络就是计算机网络就是计算机网络就是计算机” ” ” ”这一具有云计算特征的论点，这一具有云计算特征的论点，这一具有云计算特征的论点，这一具有云计算特征的论点，2006200620062006年年年年GoogleGoogleGoogleGoogle公司公司公司公司CEO Eric SchmidtCEO Eric SchmidtCEO Eric SchmidtCEO Eric Schmidt提出云计算概念，提出云计算概念，提出云计算概念，提出云计算概念，2008200820082008年云计算概念全面进入中国，年云计算概念全面进入中国，年云计算概念全面进入中国，年云计算概念全面进入中
163、国，2009200920092009年中国首届云计算大会召开，此后云计算技术和产品迅速地发展起来。年中国首届云计算大会召开，此后云计算技术和产品迅速地发展起来。年中国首届云计算大会召开，此后云计算技术和产品迅速地发展起来。年中国首届云计算大会召开，此后云计算技术和产品迅速地发展起来。并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024随着社交网络、物联网等技术的发展，数据正在以前所未有的速度增长随着社交网络、物联网等技术的发展，数据正在以前所未有的速度增长随着社交网络、物联网等技术的发展，数据正在以前所未有的速度增长随着社交网络、物联网等技术的发展，数据正在以前
164、所未有的速度增长和积累，和积累，和积累，和积累，IDCIDCIDCIDC的研究数据表明，全球的数据量每年增长的研究数据表明，全球的数据量每年增长的研究数据表明，全球的数据量每年增长的研究数据表明，全球的数据量每年增长50%50%50%50%，两年翻一，两年翻一，两年翻一，两年翻一番，这意味着全球近两年产生的数据量将超过之前全部数据的总和。番，这意味着全球近两年产生的数据量将超过之前全部数据的总和。番，这意味着全球近两年产生的数据量将超过之前全部数据的总和。番，这意味着全球近两年产生的数据量将超过之前全部数据的总和。2011201120112011年全球数据总量已达年全球数据总量已达年全球数据总
165、量已达年全球数据总量已达1.8ZB1.8ZB1.8ZB1.8ZB，到，到，到，到2020202020202020年，全球数据总量将达到年，全球数据总量将达到年，全球数据总量将达到年，全球数据总量将达到35 35 35 35 ZBZBZBZB。2008200820082008年年年年NatureNatureNatureNature杂志推出了大数据专刊，杂志推出了大数据专刊，杂志推出了大数据专刊，杂志推出了大数据专刊，2011201120112011年年年年ScienceScienceScienceScience杂志推杂志推杂志推杂志推出大数据专刊，讨论科学研究的中大数据问题。出大数据专刊，讨论科
166、学研究的中大数据问题。出大数据专刊，讨论科学研究的中大数据问题。出大数据专刊，讨论科学研究的中大数据问题。2012201220122012年大数据的关注度和影响力快速增长，成为当年达沃斯世界经济年大数据的关注度和影响力快速增长，成为当年达沃斯世界经济年大数据的关注度和影响力快速增长，成为当年达沃斯世界经济年大数据的关注度和影响力快速增长，成为当年达沃斯世界经济论坛的主题，美国政府启动大数据发展计划。论坛的主题，美国政府启动大数据发展计划。论坛的主题，美国政府启动大数据发展计划。论坛的主题，美国政府启动大数据发展计划。中国计算机学会于中国计算机学会于中国计算机学会于中国计算机学会于2012201
167、220122012年成立了大数据专家委员会，并发布了大数据年成立了大数据专家委员会，并发布了大数据年成立了大数据专家委员会，并发布了大数据年成立了大数据专家委员会，并发布了大数据技术白皮书。技术白皮书。技术白皮书。技术白皮书。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024 图图图图1.31.31.31.3近年来近年来近年来近年来 云计算、大数据的关注度云计算、大数据的关注度云计算、大数据的关注度云计算、大数据的关注度 如图如图如图如图1.31.31.31.3所示为云计算、大数据两个关键词近年来的网络关注度
168、，可以所示为云计算、大数据两个关键词近年来的网络关注度，可以所示为云计算、大数据两个关键词近年来的网络关注度，可以所示为云计算、大数据两个关键词近年来的网络关注度，可以看出看出看出看出2012201220122012年至今大数据的关注度越来越高，云计算和大数据是信息技年至今大数据的关注度越来越高，云计算和大数据是信息技年至今大数据的关注度越来越高，云计算和大数据是信息技年至今大数据的关注度越来越高，云计算和大数据是信息技术未来的发展方向。术未来的发展方向。术未来的发展方向。术未来的发展方向。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.q
169、hoa.org7/21/2024pp网络技术在云计算和大数据的发展历程中发挥了重要的推动作用。网络技术在云计算和大数据的发展历程中发挥了重要的推动作用。可以认为信息技术的发展经历了硬件发展推动和网络技术推动两个阶段。可以认为信息技术的发展经历了硬件发展推动和网络技术推动两个阶段。可以认为信息技术的发展经历了硬件发展推动和网络技术推动两个阶段。可以认为信息技术的发展经历了硬件发展推动和网络技术推动两个阶段。早期主要以硬件发展为主要动力，在这个阶段硬件的技术水平决定着整个信早期主要以硬件发展为主要动力，在这个阶段硬件的技术水平决定着整个信早期主要以硬件发展为主要动力，在这个阶段硬件的技术水平决定着
170、整个信早期主要以硬件发展为主要动力，在这个阶段硬件的技术水平决定着整个信息技术的发展水平，硬件的每一次进步都有力地推动着信息技术的发展，从息技术的发展水平，硬件的每一次进步都有力地推动着信息技术的发展，从息技术的发展水平，硬件的每一次进步都有力地推动着信息技术的发展，从息技术的发展水平，硬件的每一次进步都有力地推动着信息技术的发展，从电子管技术到晶体管技术再到大规模集成电路，这种技术变革成为产业发展电子管技术到晶体管技术再到大规模集成电路，这种技术变革成为产业发展电子管技术到晶体管技术再到大规模集成电路，这种技术变革成为产业发展电子管技术到晶体管技术再到大规模集成电路，这种技术变革成为产业发展
171、的核心动力。的核心动力。的核心动力。的核心动力。但网络技术的出现逐步地打破了单纯的硬件能力决定技术发展的格局，通信但网络技术的出现逐步地打破了单纯的硬件能力决定技术发展的格局，通信但网络技术的出现逐步地打破了单纯的硬件能力决定技术发展的格局，通信但网络技术的出现逐步地打破了单纯的硬件能力决定技术发展的格局，通信带宽的发展为信息技术的发展提供了新的动力，在这一阶段通信带宽成为了带宽的发展为信息技术的发展提供了新的动力，在这一阶段通信带宽成为了带宽的发展为信息技术的发展提供了新的动力，在这一阶段通信带宽成为了带宽的发展为信息技术的发展提供了新的动力，在这一阶段通信带宽成为了信息技术发展的决定性力量
172、之一，云计算、大数据技术的出现正是这一阶段信息技术发展的决定性力量之一，云计算、大数据技术的出现正是这一阶段信息技术发展的决定性力量之一，云计算、大数据技术的出现正是这一阶段信息技术发展的决定性力量之一，云计算、大数据技术的出现正是这一阶段的产物，其广泛应用并不是单纯靠某一个人发明而是由于技术发展到现在的的产物，其广泛应用并不是单纯靠某一个人发明而是由于技术发展到现在的的产物，其广泛应用并不是单纯靠某一个人发明而是由于技术发展到现在的的产物，其广泛应用并不是单纯靠某一个人发明而是由于技术发展到现在的必然产物，生产力决定生产关系的规律在这里依然是成立的。必然产物，生产力决定生产关系的规律在这里依
173、然是成立的。必然产物，生产力决定生产关系的规律在这里依然是成立的。必然产物，生产力决定生产关系的规律在这里依然是成立的。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp当前移动互联网的出现并迅速普及更是对云计算、大数据的发展起当前移动互联网的出现并迅速普及更是对云计算、大数据的发展起到了推动作用。到了推动作用。移动瘦客户终端与云计算资源池的结合大大拓展了移动应用的思路，移动瘦客户终端与云计算资源池的结合大大拓展了移动应用的思路，移动瘦客户终端与云计算资源池的结合大大拓展了移动应用的思路，移动瘦客户终端与
174、云计算资源池的结合大大拓展了移动应用的思路，云计算资源得以在移动终端上实现随时、随地、随身资源服务。云计算资源得以在移动终端上实现随时、随地、随身资源服务。云计算资源得以在移动终端上实现随时、随地、随身资源服务。云计算资源得以在移动终端上实现随时、随地、随身资源服务。移动互联网再次拓展了以网络化资源交付为特点的云计算技术的应移动互联网再次拓展了以网络化资源交付为特点的云计算技术的应移动互联网再次拓展了以网络化资源交付为特点的云计算技术的应移动互联网再次拓展了以网络化资源交付为特点的云计算技术的应用能力，同时也改变了数据的产生方式，推动了全球数据的快速增用能力，同时也改变了数据的产生方式，推动了
175、全球数据的快速增用能力，同时也改变了数据的产生方式，推动了全球数据的快速增用能力，同时也改变了数据的产生方式，推动了全球数据的快速增长，推动了大数据的技术和应用的发展。长，推动了大数据的技术和应用的发展。长，推动了大数据的技术和应用的发展。长，推动了大数据的技术和应用的发展。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024云计算是一种全新的领先信息技术，结合云计算是一种全新的领先信息技术，结合云计算是一种全新的领先信息技术，结合云计算是一种全新的领先信息技术，结合ITITITIT技术和互联网实现超技术和互联
176、网实现超技术和互联网实现超技术和互联网实现超级计算和存储的能力，而推动云计算兴起的动力是高速互联网和级计算和存储的能力，而推动云计算兴起的动力是高速互联网和级计算和存储的能力，而推动云计算兴起的动力是高速互联网和级计算和存储的能力，而推动云计算兴起的动力是高速互联网和虚拟化技术的发展、更加廉价且功能强劲的芯片及硬盘、数据中虚拟化技术的发展、更加廉价且功能强劲的芯片及硬盘、数据中虚拟化技术的发展、更加廉价且功能强劲的芯片及硬盘、数据中虚拟化技术的发展、更加廉价且功能强劲的芯片及硬盘、数据中心的发展。心的发展。心的发展。心的发展。云计算作为下一代企业数据中心，其基本形式为大量链接在一起云计算作为下
177、一代企业数据中心，其基本形式为大量链接在一起云计算作为下一代企业数据中心，其基本形式为大量链接在一起云计算作为下一代企业数据中心，其基本形式为大量链接在一起的共享的共享的共享的共享ITITITIT基础设施，不受本地和远程计算机资源的限制，可以很基础设施，不受本地和远程计算机资源的限制，可以很基础设施，不受本地和远程计算机资源的限制，可以很基础设施，不受本地和远程计算机资源的限制，可以很方便地访问云中的方便地访问云中的方便地访问云中的方便地访问云中的“ “ “ “虚拟虚拟虚拟虚拟” ” ” ”资源，使用户和云服务提供商之间可资源，使用户和云服务提供商之间可资源，使用户和云服务提供商之间可资源，使
178、用户和云服务提供商之间可以像访问网络一样进行交互操作。以像访问网络一样进行交互操作。以像访问网络一样进行交互操作。以像访问网络一样进行交互操作。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp 云计算的兴起有以下因素：云计算的兴起有以下因素：（1 1）高速互联网技术发展。）高速互联网技术发展。 云计算能够利用现有的云计算能够利用现有的云计算能够利用现有的云计算能够利用现有的ITITITIT基础设施在极短的时间内处理大量的信息以基础设施在极短的时间内处理大量的信息以基础设施在极短的时间内处理大量的信息以基
179、础设施在极短的时间内处理大量的信息以满足动态网络的高性能的需求。满足动态网络的高性能的需求。满足动态网络的高性能的需求。满足动态网络的高性能的需求。（2 2）资源利用率需求。）资源利用率需求。 引入云计算模式后可以通过整合资源或采用租用存储空间、租用计算能引入云计算模式后可以通过整合资源或采用租用存储空间、租用计算能引入云计算模式后可以通过整合资源或采用租用存储空间、租用计算能引入云计算模式后可以通过整合资源或采用租用存储空间、租用计算能力等服务来降低企业运行成本和节省能源。力等服务来降低企业运行成本和节省能源。力等服务来降低企业运行成本和节省能源。力等服务来降低企业运行成本和节省能源。 同时
180、，利用云计算将资源集中，统一提供可靠服务，能减少企业成本，同时，利用云计算将资源集中，统一提供可靠服务，能减少企业成本，同时，利用云计算将资源集中，统一提供可靠服务，能减少企业成本，同时，利用云计算将资源集中，统一提供可靠服务，能减少企业成本，提升企业灵活性，企业可以把更多的时间用于服务客户和进一步研发新的提升企业灵活性，企业可以把更多的时间用于服务客户和进一步研发新的提升企业灵活性，企业可以把更多的时间用于服务客户和进一步研发新的提升企业灵活性，企业可以把更多的时间用于服务客户和进一步研发新的产品上。产品上。产品上。产品上。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并
181、行计算实验室 http:/www.qhoa.org7/21/2024（3 3）简单与创新需求。）简单与创新需求。 在实际的业务需求中，越来越多的个人用户和企业用户都在期在实际的业务需求中，越来越多的个人用户和企业用户都在期在实际的业务需求中，越来越多的个人用户和企业用户都在期在实际的业务需求中，越来越多的个人用户和企业用户都在期待着使用计算机操作能简单化，能够直接通过购买软件或硬件服务待着使用计算机操作能简单化，能够直接通过购买软件或硬件服务待着使用计算机操作能简单化，能够直接通过购买软件或硬件服务待着使用计算机操作能简单化，能够直接通过购买软件或硬件服务而不是软件或硬件实体，为自己的学习、生
182、活和工作带来更多的便而不是软件或硬件实体，为自己的学习、生活和工作带来更多的便而不是软件或硬件实体，为自己的学习、生活和工作带来更多的便而不是软件或硬件实体，为自己的学习、生活和工作带来更多的便利，能在学习场所、工作场所、住所之间建立便利的文件或资料共利，能在学习场所、工作场所、住所之间建立便利的文件或资料共利，能在学习场所、工作场所、住所之间建立便利的文件或资料共利，能在学习场所、工作场所、住所之间建立便利的文件或资料共享的纽带。享的纽带。享的纽带。享的纽带。 而对资源的利用可以简化到通过接入网络就可以实现自己想要而对资源的利用可以简化到通过接入网络就可以实现自己想要而对资源的利用可以简化到
183、通过接入网络就可以实现自己想要而对资源的利用可以简化到通过接入网络就可以实现自己想要实现的一切，就需要在技术上有所创新，利用云计算来提供这一切，实现的一切，就需要在技术上有所创新，利用云计算来提供这一切，实现的一切，就需要在技术上有所创新，利用云计算来提供这一切，实现的一切，就需要在技术上有所创新，利用云计算来提供这一切，将我们需要的资料、数据、文档、程序等全部放在云端实现同步。将我们需要的资料、数据、文档、程序等全部放在云端实现同步。将我们需要的资料、数据、文档、程序等全部放在云端实现同步。将我们需要的资料、数据、文档、程序等全部放在云端实现同步。1.31.3云计算与大数据的发展云计算与大数
184、据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024（4）其他需求连接设备、实时数据流、连接设备、实时数据流、连接设备、实时数据流、连接设备、实时数据流、SOASOASOASOA的采用以及搜索、开放协作、社会的采用以及搜索、开放协作、社会的采用以及搜索、开放协作、社会的采用以及搜索、开放协作、社会网络和移动商务等的移动互联网应用急剧增长，数字元器件性能网络和移动商务等的移动互联网应用急剧增长，数字元器件性能网络和移动商务等的移动互联网应用急剧增长，数字元器件性能网络和移动商务等的移动互联网应用急剧增长，数字元器件性能的提升也使的提升也使的提升也使的提升也
185、使ITITITIT环境的规模大幅度提高，从而进一步加强了对一个由环境的规模大幅度提高，从而进一步加强了对一个由环境的规模大幅度提高，从而进一步加强了对一个由环境的规模大幅度提高，从而进一步加强了对一个由统一的云进行管理的需求。统一的云进行管理的需求。统一的云进行管理的需求。统一的云进行管理的需求。个人或企业希望按需计算或服务，能在不同的地方实时实现项目、个人或企业希望按需计算或服务，能在不同的地方实时实现项目、个人或企业希望按需计算或服务，能在不同的地方实时实现项目、个人或企业希望按需计算或服务，能在不同的地方实时实现项目、文档的协作处理，能在繁杂的信息中方便地找到自己需要的信息文档的协作处理
186、，能在繁杂的信息中方便地找到自己需要的信息文档的协作处理，能在繁杂的信息中方便地找到自己需要的信息文档的协作处理，能在繁杂的信息中方便地找到自己需要的信息等需求也是云计算兴起的原因之一。等需求也是云计算兴起的原因之一。等需求也是云计算兴起的原因之一。等需求也是云计算兴起的原因之一。人类历史不断地证明生产力决定生产关系，技术的发展历史也证人类历史不断地证明生产力决定生产关系，技术的发展历史也证人类历史不断地证明生产力决定生产关系，技术的发展历史也证人类历史不断地证明生产力决定生产关系，技术的发展历史也证明了技术能力决定技术的形态，明了技术能力决定技术的形态，明了技术能力决定技术的形态，明了技术能
187、力决定技术的形态，1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024纵观整个信息技术的发展历史纵观整个信息技术的发展历史纵观整个信息技术的发展历史纵观整个信息技术的发展历史 图图图图1.41.41.41.4信息产业发展演进路线图信息产业发展演进路线图信息产业发展演进路线图信息产业发展演进路线图1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024硬件驱动的时代诞生了硬件驱动的时代诞生了硬件驱动的时代诞生了硬件驱动的时代诞生了IB
188、MIBMIBMIBM、微软、微软、微软、微软、IntelIntelIntelIntel等企业。等企业。等企业。等企业。20202020世纪世纪世纪世纪50505050年代年代年代年代最早的网络开始出现，信息产业的发展驱动力中开始出现网络的最早的网络开始出现，信息产业的发展驱动力中开始出现网络的最早的网络开始出现，信息产业的发展驱动力中开始出现网络的最早的网络开始出现，信息产业的发展驱动力中开始出现网络的力量，但当时网络性能很弱，网络并不是推动信息产业发展的主力量，但当时网络性能很弱，网络并不是推动信息产业发展的主力量，但当时网络性能很弱，网络并不是推动信息产业发展的主力量，但当时网络性能很弱，
189、网络并不是推动信息产业发展的主要动力，处理器等硬件的影响还占绝对主导因素。要动力，处理器等硬件的影响还占绝对主导因素。要动力，处理器等硬件的影响还占绝对主导因素。要动力，处理器等硬件的影响还占绝对主导因素。随着网络的发展，网络通信带宽逐步加大，从随着网络的发展，网络通信带宽逐步加大，从随着网络的发展，网络通信带宽逐步加大，从随着网络的发展，网络通信带宽逐步加大，从20202020世纪世纪世纪世纪80808080年代的年代的年代的年代的局域网到局域网到局域网到局域网到20202020世纪世纪世纪世纪90909090年代的互联网，网络逐渐成为了推动信息产年代的互联网，网络逐渐成为了推动信息产年代的
190、互联网，网络逐渐成为了推动信息产年代的互联网，网络逐渐成为了推动信息产业发展的主导力量，这个时期诞生了百度、谷歌、亚马逊等企业。业发展的主导力量，这个时期诞生了百度、谷歌、亚马逊等企业。业发展的主导力量，这个时期诞生了百度、谷歌、亚马逊等企业。业发展的主导力量，这个时期诞生了百度、谷歌、亚马逊等企业。直到云计算的出现才标志着网络已成为信息产业发展的主要驱动直到云计算的出现才标志着网络已成为信息产业发展的主要驱动直到云计算的出现才标志着网络已成为信息产业发展的主要驱动直到云计算的出现才标志着网络已成为信息产业发展的主要驱动力，此时技术的变革即将出现。力，此时技术的变革即将出现。力，此时技术的变革
191、即将出现。力，此时技术的变革即将出现。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp2 2为云计算与大数据发展做出贡献的科学家为云计算与大数据发展做出贡献的科学家l l超级计算机之父超级计算机之父超级计算机之父超级计算机之父西摩西摩西摩西摩 克雷（克雷（克雷（克雷（Seymour CraySeymour CraySeymour CraySeymour Cray）在人类解决计算和存储问题的历程中，西摩在人类解决计算和存储问题的历程中，西摩 克雷成为了一座丰碑，被称为超级计克雷成为了一座丰碑，被称为超级计
192、算机之父。算机之父。l l西摩西摩 克雷，生于克雷，生于19251925年年9 9月月2828日，美国人，日，美国人，19581958年设计建造了世界上第一台基于年设计建造了世界上第一台基于晶体管晶体管的的超级计算机超级计算机，成为计算机发展史上的重要里程碑。同时也对精简指令，成为计算机发展史上的重要里程碑。同时也对精简指令（RISCRISC）高端微处理器的产生）高端微处理器的产生 有重大的贡献。有重大的贡献。19721972年，他创办了克雷研究公司，年，他创办了克雷研究公司，公司的宗旨是只生产超级计算机。此后的十余年中，克雷先后创造了公司的宗旨是只生产超级计算机。此后的十余年中，克雷先后创造
193、了Cray-1Cray-1、Cray-2Cray-2等机型。等机型。l l作为高性能计算机领域中最重要的人物之一，他亲手设计了作为高性能计算机领域中最重要的人物之一，他亲手设计了CrayCray全部的硬件与操作全部的硬件与操作系统。系统。CrayCray机成为了从事高性能计算学者中永远的记忆，到机成为了从事高性能计算学者中永远的记忆，到19861986年年1 1月为止，世界月为止，世界上有上有130130台超级计算机投入使用，其中大约台超级计算机投入使用，其中大约9090台是由克雷的上市公司台是由克雷的上市公司克雷研究所克雷研究所研制的。研制的。l l美国的商业周刊在美国的商业周刊在19901
194、990年的一篇文章中曾这样写道：年的一篇文章中曾这样写道：“ “西摩西摩 克雷的天赋和非克雷的天赋和非凡的干劲已经给本世纪的技术留下了不可磨灭的印记凡的干劲已经给本世纪的技术留下了不可磨灭的印记” ”。20132013年年1111月高性能计算月高性能计算Top500Top500排行中第排行中第2 2名和第名和第6 6名均为名均为CrayCray机。机。图图1.51.5西摩西摩 克雷克雷1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp2 2为云计算与大数据发展做出贡献的科学家为云计算与大数据发展做出贡献的
195、科学家l l云计算之父云计算之父云计算之父云计算之父约翰约翰约翰约翰 麦卡锡（麦卡锡（麦卡锡（麦卡锡（John McCarthy John McCarthy John McCarthy John McCarthy ）l l约翰约翰 麦卡锡麦卡锡19271927年生于美国，年生于美国，19511951年获得普林斯顿大学数学博士学位。年获得普林斯顿大学数学博士学位。他因在人工智能领域的贡献而在他因在人工智能领域的贡献而在19711971年获得图灵奖；年获得图灵奖；l l麦卡锡真正广为人知的称呼是麦卡锡真正广为人知的称呼是“ “人工智能之父人工智能之父” ”，因为他在，因为他在19551955年的年
196、的达达特矛斯会议特矛斯会议上提出了上提出了“ “人工智能人工智能” ”这个概念，使人工智能成为了一门新的这个概念，使人工智能成为了一门新的学科。学科。l l19581958年发明了年发明了LISPLISP语言，而语言，而LISPLISP语言中的语言中的MapReduceMapReduce在几十年后成为了在几十年后成为了GoogleGoogle云计算和大数据系统中最为核心的技术。云计算和大数据系统中最为核心的技术。l l麦卡锡更为富有远见的预言是他在麦卡锡更为富有远见的预言是他在19601960年提出的年提出的“ “今后计算机将会作为今后计算机将会作为公共设施提供给公众公共设施提供给公众” ”这
197、一观点与现在的云计算的理念竟然丝毫不差。正这一观点与现在的云计算的理念竟然丝毫不差。正是由于他提前半个多世纪就预言了云计算这种新的模式，因此我们将他称是由于他提前半个多世纪就预言了云计算这种新的模式，因此我们将他称为为“ “云计算之父云计算之父” ”。图图1.61.6约翰约翰 麦卡锡麦卡锡 1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp2 2为云计算与大数据发展做出贡献的科学家为云计算与大数据发展做出贡献的科学家l l大数据之父大数据之父大数据之父大数据之父吉姆吉姆吉姆吉姆 格雷（格雷（格雷（格雷（J
198、im GrayJim GrayJim GrayJim Gray）l l吉姆吉姆 格雷生于格雷生于19441944年，在著名的加州大学伯克利分校计算机科学系获年，在著名的加州大学伯克利分校计算机科学系获得博士学位，是声誉卓著的数据库专家，得博士学位，是声誉卓著的数据库专家，19981998年度的图灵奖获得者；年度的图灵奖获得者；l l20072007年年1 1月月1111日在美国国家研究理事会计算机科学与通信分会上吉姆日在美国国家研究理事会计算机科学与通信分会上吉姆 格格雷明确地阐述了科学研究第四范式，认为依靠对数据分析挖掘也能发现新雷明确地阐述了科学研究第四范式，认为依靠对数据分析挖掘也能发现
199、新的知识，这一认识吹响了大数据前进的号角，计算应用于数据的观点在当的知识，这一认识吹响了大数据前进的号角，计算应用于数据的观点在当前的云计算大数据系统中得到了大量的体现。前的云计算大数据系统中得到了大量的体现。l l在他发表这一演讲后的十几天，在他发表这一演讲后的十几天，20072007年年1 1月月2828号格雷独自架船出海就再也号格雷独自架船出海就再也没有了音讯，虽然经多方的努力搜索却没有发现一丝他的信息，人们再也没有了音讯，虽然经多方的努力搜索却没有发现一丝他的信息，人们再也没能见到这位天才的科学家。没能见到这位天才的科学家。图图1.8 1.8 大数据之父大数据之父吉姆吉姆 格雷格雷1.
200、31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp3 3云计算与大数据的国内发展现状云计算与大数据的国内发展现状云计算与大数据概念进入中国以来，国内高度重视云计算产业和云计算与大数据概念进入中国以来，国内高度重视云计算产业和云计算与大数据概念进入中国以来，国内高度重视云计算产业和云计算与大数据概念进入中国以来，国内高度重视云计算产业和技术的发展，中国电子学会率先成立了云计算专业委员会，并在技术的发展，中国电子学会率先成立了云计算专业委员会，并在技术的发展，中国电子学会率先成立了云计算专业委员会，并在技术的发展
201、，中国电子学会率先成立了云计算专业委员会，并在2009200920092009年举办了第一届中国云计算大会，该委员会在大会后来每年举办了第一届中国云计算大会，该委员会在大会后来每年举办了第一届中国云计算大会，该委员会在大会后来每年举办了第一届中国云计算大会，该委员会在大会后来每年举办一次，成为云计算领域的一个重要会议，同时每年出版一年举办一次，成为云计算领域的一个重要会议，同时每年出版一年举办一次，成为云计算领域的一个重要会议，同时每年出版一年举办一次，成为云计算领域的一个重要会议，同时每年出版一本云计算技术发展报告，报道当年云计算的发展状况。本云计算技术发展报告，报道当年云计算的发展状况。本
202、云计算技术发展报告，报道当年云计算的发展状况。本云计算技术发展报告，报道当年云计算的发展状况。中国计算机学会于中国计算机学会于中国计算机学会于中国计算机学会于2012201220122012年成立了大数据专家委员会；年成立了大数据专家委员会；年成立了大数据专家委员会；年成立了大数据专家委员会； 2013 2013 2013 2013年发布了中国大数据技术与产业发展白皮书，并举办年发布了中国大数据技术与产业发展白皮书，并举办年发布了中国大数据技术与产业发展白皮书，并举办年发布了中国大数据技术与产业发展白皮书，并举办了第一节了第一节了第一节了第一节CCFCCFCCFCCF大数据学术会议。大数据学术
203、会议。大数据学术会议。大数据学术会议。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024国内的研究机构也纷纷开展云计算、大数据研究工作，如清华大国内的研究机构也纷纷开展云计算、大数据研究工作，如清华大国内的研究机构也纷纷开展云计算、大数据研究工作，如清华大国内的研究机构也纷纷开展云计算、大数据研究工作，如清华大学、中国科学院计算所、华中科技大学、成都信息工程学院并行学、中国科学院计算所、华中科技大学、成都信息工程学院并行学、中国科学院计算所、华中科技大学、成都信息工程学院并行学、中国科学院计算所、华中科技大学
204、、成都信息工程学院并行计算实验室都在开展相关的研究工作。计算实验室都在开展相关的研究工作。计算实验室都在开展相关的研究工作。计算实验室都在开展相关的研究工作。科研人员逐步发现在云计算的新的体系下，有大量需要研究解决科研人员逐步发现在云计算的新的体系下，有大量需要研究解决科研人员逐步发现在云计算的新的体系下，有大量需要研究解决科研人员逐步发现在云计算的新的体系下，有大量需要研究解决的问题，如理论框架、安全机制、调度策略、能耗模型、数据分的问题，如理论框架、安全机制、调度策略、能耗模型、数据分的问题，如理论框架、安全机制、调度策略、能耗模型、数据分的问题，如理论框架、安全机制、调度策略、能耗模型、
205、数据分析、虚拟化、迁移机制等。析、虚拟化、迁移机制等。析、虚拟化、迁移机制等。析、虚拟化、迁移机制等。自自自自“ “ “ “第四范式第四范式第四范式第四范式” ” ” ”提出后，数据成为科学研究的研究对象，大数据提出后，数据成为科学研究的研究对象，大数据提出后，数据成为科学研究的研究对象，大数据提出后，数据成为科学研究的研究对象，大数据概念成为云计算之后信息产业的又一热点，成为科研领域研究的概念成为云计算之后信息产业的又一热点，成为科研领域研究的概念成为云计算之后信息产业的又一热点，成为科研领域研究的概念成为云计算之后信息产业的又一热点，成为科研领域研究的热点。热点。热点。热点。国家自然科学基
206、金反映了我国科研领域的进展，国家自然科学基金反映了我国科研领域的进展，国家自然科学基金反映了我国科研领域的进展，国家自然科学基金反映了我国科研领域的进展，20092013200920132009201320092013年年年年云计算、大数据、数据中心方向的国家自然科学基金立项数据如云计算、大数据、数据中心方向的国家自然科学基金立项数据如云计算、大数据、数据中心方向的国家自然科学基金立项数据如云计算、大数据、数据中心方向的国家自然科学基金立项数据如图图图图1.91.91.91.9所示。所示。所示。所示。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/
207、www.qhoa.org7/21/2024l l图图图图1.91.91.91.9云计算、大数据、数据中心方向的国家自然科学基金立项情况云计算、大数据、数据中心方向的国家自然科学基金立项情况云计算、大数据、数据中心方向的国家自然科学基金立项情况云计算、大数据、数据中心方向的国家自然科学基金立项情况1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024国内的企业也对云计算、大数据给予了高度关注，华为、中兴、国内的企业也对云计算、大数据给予了高度关注，华为、中兴、国内的企业也对云计算、大数据给予了高度关注，华为、中兴、
208、国内的企业也对云计算、大数据给予了高度关注，华为、中兴、阿里、腾讯都宣布了自己庞大的云计算计划。这些企业多年来积阿里、腾讯都宣布了自己庞大的云计算计划。这些企业多年来积阿里、腾讯都宣布了自己庞大的云计算计划。这些企业多年来积阿里、腾讯都宣布了自己庞大的云计算计划。这些企业多年来积累的数据在大数据时代将发挥巨大作用。累的数据在大数据时代将发挥巨大作用。累的数据在大数据时代将发挥巨大作用。累的数据在大数据时代将发挥巨大作用。数据分析、数据运营的作用已经显现出来，拥有用户数据的数据分析、数据运营的作用已经显现出来，拥有用户数据的数据分析、数据运营的作用已经显现出来，拥有用户数据的数据分析、数据运营的
209、作用已经显现出来，拥有用户数据的ITITITIT企企企企业对传统的行业产生了巨大影响，业对传统的行业产生了巨大影响，业对传统的行业产生了巨大影响，业对传统的行业产生了巨大影响，“ “ “ “数据为王数据为王数据为王数据为王” ” ” ”的时代正在到来。的时代正在到来。的时代正在到来。的时代正在到来。1.31.3云计算与大数据的发展云计算与大数据的发展并行计算实验室并行计算实验室 http:/www.qhoa.org7/21/2024pp练习题练习题pp1. 1. 1. 1. 在信息产业的发展历程中，在信息产业的发展历程中，在信息产业的发展历程中，在信息产业的发展历程中， 、 作为两个重要的作为
210、两个重要的作为两个重要的作为两个重要的内在动力在不同时期起着重要作用。内在动力在不同时期起着重要作用。内在动力在不同时期起着重要作用。内在动力在不同时期起着重要作用。pp2. 2. 2. 2. 建造了世界上第一台基于晶体管的超级计算机，建造了世界上第一台基于晶体管的超级计算机，建造了世界上第一台基于晶体管的超级计算机，建造了世界上第一台基于晶体管的超级计算机，被誉为被誉为被誉为被誉为“超级计算机之父超级计算机之父超级计算机之父超级计算机之父”。pp3. 3. 3. 3. 最早预言了最早预言了最早预言了最早预言了“今后计算机将会作为公共设施提供今后计算机将会作为公共设施提供今后计算机将会作为公共设施提供今后计算机将会作为公共设施提供给公众给公众给公众给公众”，被誉为，被誉为，被誉为，被誉为“云计算之父云计算之父云计算之父云计算之父”。pp4. 4. 4. 4. 万维网的发明人、世界上第一个网页的开发者是万维网的发明人、世界上第一个网页的开发者是万维网的发明人、世界上第一个网页的开发者是万维网的发明人、世界上第一个网页的开发者是 。
