中位物联网大数据平台总体设计V1.0

《中位物联网大数据平台总体设计V1.0》由会员分享，可在线阅读，更多相关《中位物联网大数据平台总体设计V1.0（20页珍藏版）》请在金锄头文库上搜索。

1、TFLR物联网大数据平台总体设计V0.2tflr2015 10目录1.引言 错误！未指定书签1.1.文档目的错误！未指定书签1.2.文档范围错误！未指定书签1.3.预期的读者及阅读建议错误！未指定书签1.4.术语错误！未指定书签2. 项目概述错误！未指定书签。2.1. 项目背景错误！未指定书签。3.1. 设计目标错误！未指定书签。3.1.1. 技术规划路线建议错误！未指定书签。3.1.2. 大数据软硬平台/网络架构规划建议错误！未指定书签。3.1.3. 大数据应用集成点规划建议错误！未指定书签。3.1.4. 大数据团队建设规划建议错误！未指定书签。3.1.5. 大数据系统实施指导建议方案错误！

2、未指定书签。3. 数据平台总体架构规划错误！未指定书签。3.1. 数据平台愿景错误！未指定书签。3.2. 数据处理流程错误！未指定书签。3.3. 主要功能错误！未指定书签。3.4. 设计原则错误！未指定书签。3.5. 平台建设路线错误！未指定书签。4. 数据平台软件架构设计错误！未指定书签。4.1. 数据平台结构图错误！未指定书签。4.2. 数据采集系统错误！未指定书签。4.3. 数据存储系统错误！未指定书签4.4. 离线计算系统错误！未指定书签4.5. 海量数据库系统错误！未指定书签4.6. 管理系统错误！未指定书签5. 应用平台架构设计 错误！未指定书签5.1. 应用平台架构图错误！未指定

3、书签。6.平台安全 错误！未指定书签7.平台监控 错误！未指定书签8.部署架构 错误！未指定书签9.平台运维 错误！未指定书签10. 团队建设 错误！未指定书签10.1. 运维工程师错误！未指定书签。10.2. 应用开发工程师错误！未指定书签。10.3. 通信协议开发工程师错误！未指定书签。10.4. 基于Hadoop的开发工程师错误！未指定书签。10.5. 数据开发工程师错误！未指定书签。10.6. 数据挖掘工程师错误！未指定书签。1.引言1.1.文档目的本文档是关于XX公司物联网大平台的总体架构设计方案。本文包括以下内容：1. 平台总体架构设计；2. 五大子系统设计；3. 应用平台设计4.

4、 平台部署架构设计；5. 平台运维及团队建设；12文档范围本文档仅限于北京XX科技公司内部人员和直接协助北京XX科技进行大平台建设的相关人 员阅读。13预期的读者及阅读建议本文档的预期读者：1. 北京XX科技的大平台项目相关人员；2. 直接协助北京xx科技进行大平台建设的相关外部人员；1.4. 术语1. Hadoop:Apache 的分布式框架。2. HDFS:Hadoop 的分布式文件系统。3. NameNode:HadoopHDFS 元数据主节点服务器。负责保持 DataNode 文件存储元数据信息。4. JobTracker：Hadoop 的 Map/Reduce 调度器，负责与 Tac

5、kTracker 通信分配计算任务并跟踪任务 进度。5. DataNode：Hadoop 数据节点，负责存储数据。6. TaskTracker：Hadoop 调度程序，负责 Map,Reduce 任务的具体启动和执行。7. Kafka:消息队列。8. Netty:NOI 框架。2. 项目概述2.1.项目背景1. 随着业务的增加，数据采集存储备份能力严重不足2. 数据处理分析能力无法满足业务的需要3. 公司业务创新转型的需要31设计目标XX的大数据平台主要是为车辆、人员、物联网提供终端接入、数据分析，并为行业应用 提供数据接口。平台建成后，初期可接入百万级的终端，可承载多种业务及应用。随着业务增

6、 长，平台可以动态扩容，最终可实现千万级、亿级终端的接入及数据分析处理能力。本文档针对XX的大数据平台应用需求，结合数据的特点，提出未来公司整体的系统架构， 以充分满足公司在3到5年内的业务增长和数据增长需求。并且在企业总体系统架构的基础上 提出系统的软硬件的具体选型方案，以及提供大数据平台整体规划，分步实施和推广的建议 提供大数据平台产品整合、集成、系统优化、稳定性等建议方案。3.1.1. 技术规划路线建议对 xx 大数据平台系统进行总体规划，与现有的交通部数据中心以及各个业务系统进行对 接，以适应未来3 到 5年内公司业务发展的要求。3.1.2. 大数据软硬平台/网络架构规划建议从需求的数

7、据量、计算量、应用的场景、功能、性能等因素来配置软硬件平台的建议;提出具体的系统总体架构和软硬件部署结构建议；313大数据应用集成点规划建议Hadoop数据集成、应用集成、运维管理设计建议;31.4.大数据团队建设规划建议对XX技术团队的人员需求和配置情况以及所需要掌握的技能提出建议；315大数据系统实施指导建议方案提供大数据平台整体规划，分步实施和推广的建议；提供大数据产品整合、集成、平台化 的建议系统优化、稳定性等建议方案。3. 数据平台总体架构规划3.1.数据平台愿景外部用户内部数据数据分析数据开发I应用开发亡用户|严| L幕|商业智能浏览器/客户端运营支援 系统运维 分析应用数据产品交

8、通部数据 中心终端1终端2 I1终端n第三方应用如上图所示，XX的大数据平台最终建成后，应该是一个完备的数据服务平台，包括数据 平台、应用平台、数据产品以及内部运行支撑应用环境，该平台上的用户既包括外部用户，也 包括企业内部用户，既有最终用户，也有应用开发人员以及数据分析和数据开发人员。1. 数据服务平台组成 数据平台：是数据的集散地。数据平台的主要目标是存储和处理海量数据，该平台除了汇聚 xx 所有的业务数据和用户数据之外，还有合作机构的相关数据，其核心功能 包括数据采集、同步与集成、海量数据存储、海量数据处理框架、海量数据仓库等。 该平台的用户主要有数据分析用户和数据开发用户，这两类用户在

9、数据平台上进行数 据分析及数据集成、建模与挖掘。 应用平台：应用开发人员开发基于数据平台的车辆监控、人员监控、物品监控等应用 并部署在应用平台，供最终用户访问。该平台的建设目标是处理海量 http 请求，其 核心功能包括应用服务器、分布式缓存、分布式消息队列、分布式文件系统、分布式 数据库以及分布式简单存储等。内部运行支撑应用环境：该环境主要供企业内部用户将使用，包括商业智能、运营支 撑、系统运维、分析应用等。该数据产品由大数据平台开发人员进行研发。 数据产品：当该平台稳定运行一段时间之后，企业根据业务发展的需要，可以开发专 门的数据产品，对外提供数据服务，供最终用户使用。该数据产品由大数据平

10、台开发 人员进行研发。2. 数据服务平台的用户划分应用开发用户： xx内部的技术研发人员，主要结合具体业务，开发基于数据平台的应 用，并部署到应用平台；数据分析用户： xx内部的技术研发人员，主要基于数据平台中的海量数据，进行业务 数据分析，指导生产运营；数据开发用户： xx内部的技术研发人员，主要基于数据平台中的海量数据，进行数据 建模、集成和挖掘，在指导生产运营的同时，挖掘新的利润增长点；内部数据产品用户：包括各条业务线上的各类业务人员如客服等。外部用户：合作机构如运营商、银行、商户，终端用户、企业用户等。3. 位置信息数据源数据平台可以从第三方平台（交通部数据中心、运营商）或定位中端（车

11、机、sim卡） 等采集位置、状态等信息。无论是企业内部用户，还是企业外部用户，无论是技术研发人员还是业务人员，他们既是 平台数据的生产者，同时也是平台数据的消费者。集存储、计算、分析于一体的大数据平台， 涵盖了 xx业务数据的全生命周期管理，既符合现在行业大数据企业发展的趋势，也最终体现 了 XX企业的最终最内涵的价值。3.2.数据处理流程XX大数据平台的数据处理流程如上上图所示。对各类终端产生的结构化和非结构化数据 源首先通过数据采集平台进行数据采集，然后进入海量存储计算处理平台，生成各种多维数据, 供应用服务平台调用，支持最终的用户访问。33主要功能结合XX的当前业务发展现状，目前XX的大

12、数据平台重点解决三类典型需求:1. 业务数据归集、备份与可靠存储2. 离线数据分析挖掘3. 实时查询统计分析 针对这三类需求，大数据平台在数据采集和运营管理的辅助下，分别提供存储系统、离线计算系统和海量数据库系统，分别满足上述三类需求。下面首先介绍平台的软件架构设计。3.4.设计原则1. 采用基于Hadoop的开源技术路线2. 整合公司的终端数据、员工、客户、计算、存储等所有资源于一体3. 平台涵盖公司数据生产、存储、挖掘、分析、服务等全生命周期管理4. 结合业务线，分析挖掘和业务支持等应用自主研发35平台建设路线项目分阶段完成。1期：开发数据采集系统，从第三方平台及终端采集位置信息，实现2种

13、终端的接入。开 发应用平台，提供接口给客户端访问数据。2期：实现多种终端的接入，并完善应用接口。3期：开放存储系统和简单的MapReduce功能给其他用户使用，数据库方面单表的简单 查询或带条件查询，内部使用实时采集组件。4期：开放Hive这样的类SQL计算给外部门，内部开始引入Mahout进行数据挖掘，数据 库方面改进查询语言，支持更多的 SQL 语法，实时采集可以交给其他部门任意部署客户端， 支持常见的异构数据源5期：计算平台成熟，完全成为各部门共同参与开发业务的平台，数据库具备大部分SQL 查询语法，实时采集系统稳定高效运行。4. 数据平台软件架构设计4.1.数据平台结构图离线计算系统存

14、储系统Mahout数据挖掘HDFSData Model DesignToolData ExchangeToolData Storage ToolETL Work Flow Manage ToolSolr全文 检索Hive数据 仓库Query Analysis Toolf海量数据库系统、/臬集系统性能隔离访问控制平台监控作业调度用户管理平台审计Pig语言编译日志处理多维谿据库rCollectedClientLdNMapReduce如所上图所示，大数据平台由五个子系统组成，分别为：存储系统、离线计算系统、海量 数据库系统、采集系统和管理系统。这五个子系统之间有如下关联关系：1. 管理系统为整个平台

15、的辅助系统，为其它系统的正常运行提供相关的辅助功能；2. 采集系统负责平台的数据采集工作，这些数据的产生来自各业务生产系统及第三方平台或 终端；3. 存储系统、离线计算系统和海量数据库系统共用一套底层文件系统，保证了这三个主要系 统的数据集成与有效共享；4. 离线计算系统和海量数据库系统还可以根据各自的负载，可以动态分配相应的计算能力。从错误！未指定书签。可以看出，除采集系统和管理系统之外，包括底层存储环境在内 的所有系统都是采用开源软件搭建，而这些软件都是经过相关行业的技术公司先验是成熟可靠 可行的。采用开源软件，在平台可以达到低成本建设的效果的同时，相应开源社区的持续演进， 也为平台后续的运行升级提供了持续的技术支持和版本稳定保证。4.2.数据采集系统