大数据框架Hadoop主要模块介绍_光环大数据培训

《大数据框架Hadoop主要模块介绍_光环大数据培训》由会员分享，可在线阅读，更多相关《大数据框架Hadoop主要模块介绍_光环大数据培训（6页珍藏版）》请在金锄头文库上搜索。

1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/大数据框架大数据框架 HadoopHadoop 主要模块介绍主要模块介绍_ _光环大数据培训光环大数据培训hadoop Common: 包括 Hadoop 常用的工具类，由原来的 Hadoop core 部 分更名而来。主要包括系统配置工具 Configuration、远程过程调用 RPC、序列 化机制和 Hadoop 抽象文件系统 FileSystem 等。它们为在通用硬件上搭建云计 算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的 API。Hadoop Distribu

2、ted File System (HDFS): 分布式文件系统，提供对应 用程序数据的高吞吐量，高伸缩性，高容错性的访问。是 Hadoop 体系中数据存 储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低 成本的通用硬件上运行。HDFS 简化了文件的一致性模型，通过流式数据访问， 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。大数据Hadoop YARN: 任务调度和集群资源管理。Hadoop MapReduce: 基于 YARN 的大型数据集并行处理系统。是一种计算模 型，用以进行大数据量的计算。Hadoop 的 MapReduce 实现，和 Common

3、、HDFS 一起，构成了 Hadoop 发展初期的三个组件。MapReduce 将应用划分为 Map 和 Reduce 两个步骤，其中 Map 对数据集上的独立元素进行指定的操作，生成键- 值对形式中间结果。Reduce 则对中间结果中相同“键”的所有“值”进行规约， 以得到最终结果。MapReduce 这样的功能划分，非常适合在大量计算机组成的 分布式并行环境里进行数据处理。其他模块：光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/Ambari: 是一种基于 Web 的工具，支持 Apache Hadoop 集群的供应、管理 和监控。

4、Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。 Ambari 支持 HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop 和 Hcatalog 等的集中管理。Ambari 还提供了一个用于查看集群健康状况的仪表板， 例如散热图，以及可视化查看 MapReduce，Pig 和 Hive 应用程序以及以用户友 好的方式诊断其性能特征的功能。也是 5 个顶级 hadoop 管理工具之一。Avro: 数据序列化系统，由 Doug Cutt

5、ing 牵头开发，是一个数据序列化系 统。类似于其他序列化机制，Avro 可以将数据结构或者对象转换成便于存储和 传输的格式，其设计目标是用于支持数据密集型应用，适合大规模数据的存储 与交换。Avro 提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存 储持久性数据的文件集、远程调用 RPC 和简单动态语言集成等功能。Cassandra: 可扩展的多主数据库，没有单点故障。是一套开源分布式 NoSQL 数据库系统。它最初由 Facebook 开发，用于储存收件箱等简单格式数据， 集 GoogleBigTable 的数据模型与 Amazon Dynamo 的完全分布式的架构于一身 Face

6、book 于 2008 将 Cassandra 开源，此后，由于 Cassandra 良好的可扩展性， 被 Digg、Twitter 等知名 Web 2.0 网站所采纳，成为了一种流行的分布式结构 化数据存储方案。Cassandra 是一个混合型的非关系的数据库，类似于 Google 的 BigTable。 其主要功能比 Dynamo (分布式的 Key-Value 存储系统)更丰富，但支持度却不 如文档存储 MongoDB(介于关系数据库和非关系数据库之间的开源产品，是非关 系数据库当中功能最丰富，最像关系数据库的。支持的数据结构非常松散，是 类似 json 的 bjson 格式，因此可以存

7、储比较复杂的数据类型)。Cassandra 最 初由 Facebook 开发，后转变成了开源项目。它是一个网络社交云计算方面理想 的数据库。以 Amazon 专有的完全分布式的 Dynamo 为基础，结合了 Google BigTable 基于列族(Column Family)的数据模型。P2P 去中心化的存储。很多方 面都可以称之为 Dynamo 2.0。Chukwa: 用于管理大型分布式系统的数据收集系统(2000+以上的节点, 系 统每天产生的监控数据量在 T 级别)。它构建在 Hadoop 的 HDFS 和 MapReduce 基 础之上，继承了 Hadoop 的可伸缩性和鲁棒性。Ch

8、ukwa 包含一个强大和灵活的光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/工具集，提供了数据的生成、收集、排序、去重、分析和展示等一系列功能， 是 Hadoop 使用者、集群运营人员和管理人员的必备工具。Hbase: 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文“Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统(File System)所提供的分布式数据存储一样， HBase 在 Hadoop 之上提供了类似于 Bigta

9、ble 的能力。HBase 是 Apache 的 Hadoop 项目的子项目。HBase 不同于一般的关系数据库，它是一个适合于非结 构化数据存储的数据库。另一个不同的是 HBase 基于列的而不是基于行的模式。HBase 是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向 列的动态模式数据库。和传统关系数据库不同，HBase 采用了 BigTable 的数据 模型：增强的稀疏排序映射表(Key/Value)，其中，键由行关键字、列关键字和 时间戳构成。HBase 提供了对大规模数据的随机、实时读写访问，同时，HBase 中保存的数据可以使用 MapReduce 来处理，它将数据存储和

10、并行计算完美地结 合在一起。Hive: 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射 为一张数据库表，并提供简单的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。 其优点是学习成本低，可以通过类 SQL 语句快速实 现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓 库的统计分析。Hive 是 Hadoop 中的一个重要子项目，最早由 Facebook 设计，是建立在 Hadoop 基础上的数据仓库架构，它为数据仓库的管理提供了许多功能，包括： 数据 ETL(抽取、转换和加载)工具、数据存储管理

11、和大型数据集的查询和分析 能力。Hive 提供的是一种结构化数据的机制，定义了类似于传统关系数据库中 的类 SQL 语言：Hive QL，通过该查询语言，数据分析人员可以很方便地运行数 据分析业务。Mahout: Apache 旗下的一个开源项目，提供一些可扩展的机器学习领域经 典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。M

12、ahout 起源于 2008 年，最初是 Apache Lucent 的子项目，它在极短的时 间内取得了长足的发展，现在是 Apache 的顶级项目。Mahout 的主要目标是创 建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快 捷地创建智能应用程序。Mahout 现在已经包含了聚类、分类、推荐引擎(协同 过滤)和频繁集挖掘等广泛使用的数据挖掘方法。除了算法，Mahout 还包含数 据的输入/输出工具、与其他存储系统(如数据库、MongoDB 或 Cassandra)集成 等数据挖掘支持架构。Pig: 运行在 Hadoop 上，是对大型数据集进行分析和评估的平台。它简化 了

13、使用 Hadoop 进行数据分析的要求，提供了一个高层次的、面向领域的抽象语 言：Pig Latin。通过 Pig Latin，数据工程师可以将复杂且相互关联的数据分 析任务编码为 Pig 操作上的数据流脚本，通过将该脚本转换为 MapReduce 任务 链，在 Hadoop 上执行。和 Hive 一样，Pig 降低了对大型数据集进行分析和评 估的门槛。Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平 台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询， Pig 可以简化 Hadoop 的使用。用 MapReduce 进行数

14、据分析。当业务比较复杂的时候，使用 MapReduce 将 会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够 适应 MapReduce 的处理模式。另一方面，编写 MapReduce 程序，发布及运行作 业都将是一个比较耗时的事情。Pig 的出现很好的弥补了这一不足。Pig 能够让 你专心于数据及业务本身，而不是纠结于数据的格式转换以及 MapReduce 程序 的编写。本质是上来说，当你使用 Pig 进行处理时，Pig 本身会在后台生成一 系列的 MapReduce 操作来执行任务，但是这个过程对用户来说是透明的。Spark: Hadoop 数据快速通用的计算引擎。 Sp

15、ark 提供了一个简单的编程 模型，支持各种应用，包括 ETL，机器学习，流处理和图形计算。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是 UC Berkeley AMP lab (加州大学伯克利分校的 AMP 实验室)所开 源的类 Hadoop MapReduce 的通用并行框架，Spark，拥有 Hadoop MapReduce 所 具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中，从 而不再需要读写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要 迭代的 MapReduce 的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在 一些不同之处，这些有用的不同之处使 Sp