xx大数据云平台建设技术规划(xx)---副本

《xx大数据云平台建设技术规划(xx)---副本》由会员分享，可在线阅读，更多相关《xx大数据云平台建设技术规划(xx)---副本（28页珍藏版）》请在金锄头文库上搜索。

1、XXXX 201X201X年年X X月月 某某公司公司大大数据云平台数据云平台 （cloud-Tcloud-T） 建设建设技术规划技术规划 目录页 第一篇 X公司产品现状 第二篇 云平台总体架构 第三篇 大数据基础构建 第四篇 关键技术分析 3 第一篇 产品现状 人防 园区消防 供水 桥梁 添加标题 燃气 产品 现状 业务聚焦人防、消防，提供行业 解决方案 产品线划分明确，产品初具规模 以桥梁、燃气、供水为基础，构 建城市生命线工程 研究院产、学、研结合，衍生二 次产品 4 第一篇 产品现状 存在 问题 行业解决方案，依然是系统集成 ，难以体现核心竞争力 产品自成孤岛，难成体系 平台分散、缺少

2、复用，建设周期 长、开发难度大 基础设施和业务层耦合度过高， 单个产品建设成本较大 人防建设消防建设 桥梁建设 供水建设 燃气建设 园区建设 其他建设 企业级大数据应用、云平台建设 缺失 5 第一篇 产品现状 建设 目标 消防 供水 人防 ？ 园区 燃气 桥梁 大数据 云平台 业务剥离、资源共享、分合自如 大数据支撑、挖掘，衍生新产品 6 第一篇 产品现状 建设 目标 应用服务层 应用软件/服务 数据挖掘软件/服 务 其他功能软件/服 务。 云平台 IaaSPaaS SaaS AOC/ DevOps 基础设施层 网络环境 传感器 物理机/虚拟机 。 平台支撑层 数据仓库/存储 数据服务/计算

3、接口服务/标准 。 面向切面构建 忽略基础设施 剥离一般业务 关注核心痛点 。 第一篇 产品现状 建设 目标 企业级大数据云平台建设终极目标 8 第二篇 云平台总体架构 平台 总述 IaaS：提供基本的计算 、网络和存储资源。 PaaS：中间层，提供对 行业业务应用的支持。 SaaS：向用户交付最终 业务应用和数据分析。 PaaS环境层：为业务 应用提供支撑的软件组 件、包括各种中间件和 数据库等。以Hadoop为 代表的大数据处理。 PaaS业务层 ：包含了应 用的后台程序，数据处 理算法以及业务数据等 实现业务 能力的元素。 PaaS服务层：将业务层 的业务、算法和数据以 接口的形式提供给

4、上层 的前端应用直接访问。 平台核心：统一资源+大数据+开放服务 9 第二篇 云平台总体架构 云管理 整合传统IaaS的管理能力与传统PaaS的能力 资源接入、服务管理、应用系统环境支撑和统一监控 体系四位一体 10 第二篇 云平台总体架构 云管理 特点 面向一般数据中心典型的应用场景，提供对混合IT资源的统一接入 ，以构筑云模式下基础资源调度的最佳实践。 以PaaS能力为核心，将应用系统的典型软件组件以服务形态提供， 为业务系统提供统一环境支持，并进行统一管理和监控。 将大数据平台作为典型服务组件整合到云平台中进行统一管理，以 适应未来应用对大数据能力的普遍使用。 为用户提供面向DevOps

5、的统一云服务业务 流程，以统一平台提供 传统的IaaS和PaaS能力，并贯穿开发、测试和生产的全过程。 11 第二篇 云平台总体架构 服务资 源构建 12 第二篇 云平台总体架构 服务资 源构建 混合IT基础环础环 境： 数据中心的最佳实践通常需要由物理机和不同价位和能力的虚拟化技术 共同构成。一个最佳性价比的方案可以是使用物理机支持核心数据库和 大规模计算、使用高效稳定但成本高的虚拟化系统如VMWare等支持核 心业务、使用普通虚拟化系统如HyperV等支持普通业务系统、最后使 用低成本虚拟化系统如KVM等支持开发测试等环境。 多资源区统一管理： 同一类虚拟化资源或者物理资源可以构成一个或若

6、干个基本资源区。每 个资源区一般包含一定数量的物理机。资源区的划分方式取决于业务的 区隔。 13 第二篇 云平台总体架构 服务资 源构建 服务务域： 承载支撑应用系统的软件组件以服务形式进行交付的区域。在这个区域 中，每一套软件组件有一个自己独立的服务域。一个服务域中，软件组 件典型的部署模式包含以下三种： a)按需模式：在一个服务域初始化时不创建具体的服务实例，当有用户 请求时再根据用户需求创建该软件组件的实例。 b)预置模式：在服务域创建时构建相应软件组件的多个实例。当用户请 求该软件的实例时，系统直接从已经创建的实例中进行分配。同时，该 模式可以按照一定的策略保证空闲实例的数量。 c)多

7、实例模式：对一些特定类型的服务组件，一次部署以后可以产生多 个服务实例。在这种情况下，该服务域在创建时可直接部署该组件，然 后通过特定的服务接口在用户申请实例时，由这个部署的组件不断的创 建服务实例。 14 第三篇 大数据基础构建 大数据 基础管 理架构 采用分层整合，灵活配置，横向扩展，纵向贯穿的大平台服务能力，其计 算框架、存储框架都以容器的方式可轻松灵活的在线进行装卸，以平滑扩 充大数据平台的集成能力。以Hadoop平台为基础，可在此基础上集成适 应Hadoop体系的二级计算框架、通用的数据处理算法库和数据集市仓 库。 15 第三篇 大数据基础构建 大数据 基础管 理架构 大数据基础平台

8、组成： 1.分布式存储框架：主要负责针对海量数据的存储，以分布式存储技术 ，支持快速、海量、多种类型的数据存取。主要支持从数据源抽取数据 大数据基础平台存储，集成多种存储方式，有针对结构化数据、非结构 化数据和半结构化数据的存储。 2.计算框架：主要提供批处理计算、内存计算、流式计算框架，由数据 处理管理驱动来分配和调度计算框架，加载数据处理算法，完成数据处 理。 3.二级计算框架：主要提供Hive、Mahout等计算能力，这些计算能力 最终还会使用计算框架来完成计算。 4.数据集市仓库：主要对计算框架完成后的结果进行存储，支持Hbase 、Mysql等存储，同时将数据以接口的形式开放出去。

9、16 第三篇 大数据基础构建 大数据 基础管 理架构 大数据基础平台组成： 5.全文索引库：采用大数据基础平台构建支持全文检索的全文库，主要 用于支撑海量结构化数据的搜索查询应用。 6.数据处理算法库：集成通用的数据分析算法、能够插入用户自定义的 数据模型算法，配合以资源管理系统为主的计算存储框架，进行数据处 理。目前包括插入全文检索索引模型等。 7.资源管理：以容器的方式，来为计算框架和存储框架分配资源，并支 持资源调度，弹性伸缩。 8.数据服务总线：将基础平台的能力和数据服务接口，以API的方式开 放出去，形成一个共享的、多租户的、供大量应用使用的服务总线。 可包括：查询类接口，分析类接口

10、，专题应用类接口，决策类接口等。 17 第三篇 大数据基础构建 大数据 基础管 理架构 大数据基础平台组成： 9.服务总线管理：主要是对数据服务总线进行管理和使用，功能包括： 服务治理，接口访问控制、服务质量、协议转换等功能。 10.数据处理管理：主要是以作业管理的方式，对计算框架、存储框架 的资源进行调度、分配，以承载数据处理算法包，完成数据处理。 11.资源目录管理：主要针对大数据基础平台数据的元数据进行有效分 类，根据目前桥梁生命线系统的数据特征分为以下几大类目录，包括： 传感器、桥梁、供水管道、燃气管道、机构、用户等，便于数据的管理 和查询。 12.数据源管理：数据源管理实现对数据来源

11、的管理，大数据基础平台 具备对结构化、半结构化和非结构化数据的抽取能力，并可通过本地系 统上传、对接第三方API、爬取互联网数据等，为数据处理、分析、融 合准备数据。 18 第四篇 关键技术分析 异构资 源接入 异构资源接入技术： 异构资源接入技术的主要方法是以资源区的形式对虚拟资源和物理资源 按类别进行分区管理，其关键技术包括资源区构建、异构虚拟化资源管 理、物理机管理、资源调节以及存储资源管理等五个方面。 这种方式的最大优点是形成对混合IT的统一支撑能力，以构建最佳性价 比的数据中心。 19 第四篇、关键技术分析 异构资 源接入 资源区构建： 20 第四篇、关键技术分析 异构资 源接入 异

12、构虚拟资源统一管理： 21 第四篇、关键技术分析 物理机 管理 物理机管理： 物理机管理能力主要体 现在解决将用户通过服 务对物理机进行启动、 停止、电源管理和系统 安装部署等典型动作。 其架构如图。 22 第四篇、关键技术分析 物理机 管理 镜像部署接口：镜像部署接口主要用于将操作系统镜像自动化部署到创建 的新主机上，使之交付的物理机是一个带操作系统的物理机。 主机控制接口：主机控制接口主要用于为新建（交付）的主机设置网卡IP 地址、挂载盘等控制功能。 电源管理接口：电源管理接口主要用于对新建的物理机进行启动、停止、 重启等操作。 IPMI接口：IPMI接口主要用于获取物理机的CPU、风扇、

13、电源等信息 23 第四篇、关键技术分析 存储资 源管理 Hyper-V 存储资源管理： Hyper-V的存储部署采用iSCSI或FC SAN存储阵列的后端存储 + CSV集群共享卷的方 案，即在iSCSI协议或FC协议的存储阵列上划分出用于Hyper-V集群共享存储的逻辑 单元（LUN），将该LUN转换为CSV集群共享卷并格式化为NTFS网络文件系统，用 于存储集群中Hyper-V主机本地虚拟机的磁盘镜像（vhd/vhdx）、虚拟机模板、驱 动ISO、操作系统ISO等文件。 24 第四篇、关键技术分析 存储资 源管理 VMware 存储资源管理： VMware的存储部署采用iSCSI或FC S

14、AN存储阵列的后端存储 + Data Store数据存储 的方案，即在iSCSI协议或FC协议的存储阵列上划分出用于作为VMware集群共享存 储的逻辑单元（LUN），将该LUN映射至集群中的所有ESXi主机形成“共享卷”并 格式化为VMFS网络文件系统，这样集群中每台ESXi主机本地就形成了映射至后端 存储中同一逻辑单元（LUN）的数据存储“DataStore”，用于存储集群中ESXi主 机本地虚拟机的磁盘镜像（vmdk）、虚拟机模板、驱动ISO、操作系统ISO等文 件。 25 第四篇、关键技术分析 存储资 源管理 KVM存储资源管理： KVM的存储部署支持直接使用iSCSI或FC SAN存

15、储阵列和共享分布式存储，如 GlusterFS和Ceph等，作为后端存储。这些存储接入到KVM虚拟化管理软件的存储 管理模块后，由存储管理模块对其划分逻辑单元（LUN）作为虚拟机使用的存储空 间，形成统一的存储资源池。存储资源池可用于存储KVM宿主机的虚拟机磁盘镜 像、虚拟机模板、驱动ISO、操作系统ISO等文件。 26 第四篇、关键技术分析 Hadoop 部署 Hadoop平台部署： 大数据服务最基本的方式是通过将Hadoop部署在一个资源区上。下图描述了 Hadoop平台部署的典型方式如下。 27 第四篇、关键技术分析 Hadoop 部署 Hadoop平台部署： 1、应用服务资源区中可以建立两个不同二级逻辑资源区，大数据虚拟资源区和大 数据物理资源区。前者提供虚拟机来部署Hadoop平台，可以主要用于满足开发和 测试验证的需要。后者提供物理机来部署Hadoop平台，可以用来满足生产系统部 署的需求。 2、在给定的资源区上构Hadoop服务域。在该服务域上，Hadoop平台可以通过资 源区提供的计算资源分别部署NameNode和DataNode。 3、在一个Hadoop服务域构建好后，就形成了一套以Hadoop能力为基础的服务， 并注册到服务目录上。这种服务最典型的是MapReduce服务。