《基于Hadoop的云架构系统方案》由会员分享，可在线阅读，更多相关《基于Hadoop的云架构系统方案（4页珍藏版）》请在金锄头文库上搜索。
1、基于 Hadoop 的云架构系统方案云计算是目前最热门的争辩领域之一，也是众多企业及争辩机构争辩的课题。云计算是分布式处理、并行处理和网格计算的进展，或者说是这些计算机科学概 念的商业实现。云计算的新颖之处在于它几乎可以供给无限的廉价存储和计算能 力。将来存储模式将转变目前的存储模式。不再存放在个人计算机及效劳器上, 而是存放在云效劳器中。同时全部的计算及处理工作也将在云效劳器完成。这样 给企业及各厂商带来很多便利。节约了投入本钱、企业能够很好的应付突发的大 访问量以及能够供给存储效劳的同步升级和数据的有效治理。因此，云计算在近 年来赢得了众多厂商和企业的关注并得到长足的进展。1. 云计算及其
2、存储构造1.1 云计算概念云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术进展融合的产物。它旨在通过网络把多个本钱相对较低的计算实体整合成一个具有强大计算力量的完善系统, 并借助SaaS、PaaS、IaaS、MSP 等先进的商业模式把这强大的计算力量分布到终端用户手中。云计算的一个核心理念就是通过不断提高“云”的处理力量，进而削减用户终端的处理负担。最终使用户终端简化成一个单纯的输入输出设备。并能按需享受“云”的强大计算处理力量。也就是说用户端只需要进展输入输出。其它全部计算、存储、处理等功能全部交给“云”去处理,用户可以依据自己的需求订购
3、“云”中的效劳。1.2 云计算的体系构造在云计算体系构造中，用户的操作及存储等效劳都由云中的各个效劳器完成。依据需求访问计算机和存储系统。用户的系统不需安装任何软件,数据也存储在 云的计算机及效劳器中。图1是云计算体系构造的模型。由用户端、效劳名目、 系统治理、配置工具、监控、效劳器几个模块构成,各模块负责不同的功能。用户端：用户与云系统交互的界面,用户通过用户端向云发出恳求。效劳名目：显示该用户能够访问及操作的全部效劳的名目列表，用户可以在这些名目里进展选择操作。系统治理:治理可安排给计算机的各种资源，从而保证负载平衡。配置工具: 用户通过配置工具在安排的效劳器节点上配置需要的各种运行环境。
4、监控：监控和计算云系统资源的使用状况,确保资源能顺当安排给适宜的用户。效劳器集合：云系统中的各个效劳器的集合。在云计算体系构造中，用户通过用户端访问效劳名目，选择所需的效劳；当效劳恳求发送并验证通过后，由系统治理负责找到所需要的资源；用户通过用户端在效劳名目中选取调用一个效劳，该命令传递到系统治理后，由系统治理选取适宜的节点。调用配置工具为用户预备运行环境。1.3 云存储及其架构模型1.3.1 云存储的定义云存储指通过集群应用、网格技术或分布式文件系统等功能将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外供给数据存储和业务访问功能的一个系统。云存储可以简洁的理解为云计算
5、中的存储。云存储系统可以认为是配置了大容量存储空间的云计算系统。用户全部的数据都保存在“云”中，需要时从“云”中读取，本地不需要任何的存储设备。云存储更准准确地说是一种效劳，用户使用的是由很多个存储设备和效劳器所构成的集合体供给的数据访问效劳。1.3.2 云存储的架构模型云存储系统主要用来进展数据存储与治理而且处理的数据都是超大规模的。云存储系统是网络设备、存储设备、效劳器、应用软件、公用访问接口、接入网和客户端程序等多个局部组成的简单系统。各局部以存储设备为核心，通过应用软件对外供给数据存储和业务访问效劳。云存储模型与云计算模型相比，增加了一个存储层，且根底治理层增加了与数据治理和数据平安有
6、关的功能。两者在访问层和应用接口层那么是完全一样的。存储层主要包括存储设备及存储设备治理系统。存储设备分布在不同地域， 彼此之间通过网络互联在一起。存储设备治理系统负责存储设备的虚拟化治理、多链路冗余治理、硬件设备的状态监控和故障维护、设备升级等。根底治理层通过集群系统、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作。应用接口层依据用户订购的效劳为用户安排权限，为不同的用户供给不同的API 接口及应用软件，同时供给网络接入、用户认证等功能。访问层包括各种能够访问云存储系统的用户，用户可以通过标准的公共应用接口登录云存储系统，享受云存储效劳。2. Hadoop 平台介绍H
7、adoop是一个能够对大量数据进展分布式处理的软件框架。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高牢靠性。Hadoop按位存储和处理数据的力量值得人们信任。高扩展性。Hadoop是在可用的计算机集簇间安排数据并完成计算任务的， 这些集簇可以便利地扩展到数以千计的节点中。高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度格外快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新安排。Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是格外抱负的。Hadoop
8、上的应用程序也可以使用其他语言编写，比方C+。Hadoop最核心的设计就是分布式文件系统HDFS 和Map/Reduce 算法模型。分布式文件系统HDFS是特地为Map/Reduce作业所设计的文件系统。但HDFS 并不是用来处理随机存取数据的，HDFS 的设计中更多的考虑到了数据批处理，而不是用户交互处理，比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。因此，HDFS 是一个给应用供给高吞吐量的分布式文件系统，可能由成百上千的机器所构成，每个机器上存储着文件系统的局部数据。计算模型Map/Reduce 是Hadoop 的核心计算模型，是用于在集群上分布式处理大数据集的软件架构。它将简单的运行于大规模集群上的并行计算过程高度的抽象到了2 个函数，Map 和Reduce，这是一个简洁而又强大的模型。2.1 Hadoop 模型分析2.1.1 Hadoop 的分布式数据存储1HDFS 的工作原理
