《iMaster NCE-WAN V100R020C00 SD-WAN场景大数据分析技术白皮书》由会员分享，可在线阅读，更多相关《iMaster NCE-WAN V100R020C00 SD-WAN场景大数据分析技术白皮书（12页珍藏版）》请在金锄头文库上搜索。
1、iMaster NCE-WAN场景大数据分析技术白皮书iMaster NCE-WAN场景大数据分析技术白皮书文档版本01发布日期2018-04-24iiMaster CloudCampus场景大数据分析技术白皮书目 录目 录1 简介12 前言22.1 海量数据分析的诉求22.2 NCE-WAN大数据分析的职责23 技术与方案介绍33.1 整体架构34 关键技术44.1 大数据平台架构技术44.1.1 大数据分析平台44.1.2 分布式文件系统54.1.3 分布式数据库54.1.4 大数据计算框架55 应用场景和方案亮点75.1 海量性能数据分析75.1.1 客户问题及挑战75.1.2 解决方案
2、75.1.3 亮点介绍85.2 网络质量和增值业务分析85.2.1 客户问题及挑战85.2.2 解决方案95.2.3 亮点介绍9iMaster CloudCampus场景大数据分析技术白皮书1 简介1 简介关键词：大数据、性能监控、大数据分析 摘要：本文介绍管理海量设备的场景下，通过大数据分析技术对设备的海量性能数据进行采集、存储、统计分析、查询。1iMaster CloudCampus场景大数据分析技术白皮书2 前言2 前言随着管理规模的增长，面对被管理设备上报的海量数据，传统关系型数据库已经很难适应海量性能数据的存储、统计需求。为了解决这些问题，NCE-WAN中引入了大数据分析平台，负责海
3、量性能数据的采集、存储、分析、查询。2.1 海量数据分析的诉求2.2 NCE-WAN大数据分析的职责2.1 海量数据分析的诉求随着网络技术的飞速发展，企业网络规模也在不断扩大，大中型企业客户需要管理和维护少则几百台多则上千台的设备，NCE-WAN需要管理很多租户的设备，设备的总规模在几万台以上，相应需要处理的设备性能数据也是海量的，因此对海量数据的分析诉求非常迫切。2.2 NCE-WAN大数据分析的职责NCE-WAN通过大数据分析系统，主要解决如下的问题：l 所有被管理设备的性能数据等的采集；l 通过大数据系统的分布式数据库对数据进行存储；l 对性能数据进行周期汇总统计，计算出按分钟、小时、天
4、的统计数据；l 性能数据的查询展现。2iMaster CloudCampus场景大数据分析技术白皮书3 技术与方案介绍3 技术与方案介绍3.1 整体架构3.1 整体架构NCE-WAN场景下，各种设备通过HTTP2.0+Protobuf上报协议将性能数据上报，上报的数据经过网元驱动进行解析。解析后的数据上报给后台服务，基于大数据运算部件Spark完成业务维度的汇聚，并将结果写入HBase数据库。管理组件服务到HBase数据库中查询，供历史趋势、TopN等界面展现。3iMaster NCE-WANCloudCampus场景大数据分析技术白皮书4 关键技术4 关键技术4.1 大数据平台架构技术4.1
5、 大数据平台架构技术4.1.1 大数据分析平台NCE-WAN中的大数据分析平台使用的华为FusionInsight HD平台，FusionInsight HD的整体架构如下图：图4-1 FusionInsight HD整体架构l FusionInsight HD的Hadoop层提供大数据处理环境，基于社区开源软件增强，按照场景选择业界最佳实践l FusionInsight HD的DataFarm层提供支撑端到端数据洞察，构建数据到信息到知识到智慧的数据供应链，其中包括相对独立的数据集成服务Porter，数据挖掘服务Miner和数据服务框架Farmerl FusionInsight Manage
6、r是一个分布式系统管理框架，管理员可以从单一接入点操控分布式集群，包括系统管理（OM/NTP/灾备）、数据安全管理和数据治理4.1.2 分布式文件系统在NCE-WAN场景下，系统中需要存储海量的数据，传统的单机文件存储方式已经难以满足业务需求，NCE-WAN使用大数据平台的分布式文件系统存储设备的升级文件等，文件被分块存储，每一个数据块都有分布在不同节点上的多个备份，即使某些节点故障，只要数据块在其他节点还有存储，就可以正常的访问，分布式系统也可以使存储的空间大大的扩展，实现海量文件的存储。4.1.3 分布式数据库NCE-WAN使用大数据平台的分布式数据库存储设备上报的性能数据，因为管理的设备
7、数量非常多，需要存储的数据量是非常大的，每天的数据记录数可以达到千亿条，传统的关系型数据库已经难以满足这种海量数据的存储。分布式数据库通过对数据进行合理的分块，不仅是行的分块，数据列也会进行分块，不同的数据块会存储在不同的数据节点上，从而实现海量数据的存储，为了节省存储空间，提升数据的查询性能，分布式数据库还提供了数据的压缩存储、快速索引查询等机制。图4-2 分布式数据存储结构4.1.4 大数据计算框架NCE-WAN使用大数据平台的分布式批量计算框架对性能数据进行周期性的统计分析。数据的计算过程是从数据库中读出数据，按照算法对数据进行分块、分阶段的计算，最后将计算结果写入数据库。传统的Hado
8、op系统中的MapReduce计算框架在数据处理过程中的中间数据需要写磁盘，效率比较低，而基于Spark实现的批量计算的中间过程都是基于内存进行处理的，效率较高。图4-3 大数据批量计算流程7iMaster CloudCampus场景大数据分析技术白皮书5 应用场景和方案亮点5 应用场景和方案亮点5.1 海量性能数据分析5.2 网络质量和增值业务分析5.1 海量性能数据分析5.1.1 客户问题及挑战NCE-WAN的性能数据主要包括设备的指标类数据（CPU、内存、流量）、质量类指标（TCPFPM、NQA、IPFPM）等，因为NCE-WAN管理的站点数量、设备数量，以及站点接入的业务非常多，导致设
9、备上报性能数据量非常大，这些数据需要周期性的上报和分析，按照保守的估计，3万设备每天的总记录数会在亿级别，这么大的数据量带来了如下的这些问题和挑战：l 每天亿级数据的采集上报，对带宽、采集性能都有很高的要求；l 数据的存储需要占用大量存储空间，并且随着管理规模的增长，存储空间占用也会越来越大，传统的关系型数据库很难满足大数据量的存储和查询需求；l 海量性能数据需要周期性进行统计分析，传统关系型数据库的处理能力无法满足这种需求。5.1.2 解决方案NCE-WAN的性能数据处理流程如下：l 数据采集负责接收上报的性能数据，进行解析、预处理；l Kafka缓存设备上报的性能数据、以及预处理的中间结果
10、；l HBase数据库是FusionInsight大数据平台中的数据库组件，用于存储海量性能数据；l Spark分析子系统基于Spark Streaming技术，实时从Kafka中读取原始性能数据，根据各种业务维度进行汇聚，并将汇聚后的结果数据写入HBase数据库；l 界面展现子系统到HBase数据库中快速查询需要的数据进行展现。5.1.3 亮点介绍NCE-WAN大数据性能分析系统的特点：l 数据采集采用了经过压缩的安全传输通道，可以保障传输的数据量最小，并且是安全可靠的，传输和处理的过程同时考虑了各种防攻击、防拥塞的处理措施；l 数据存储的结构经过了大量的优化，以适应海量数据的存储，同时计算
11、和查询时候能够快速的对海量数据内容进行写入和检索；l 使用Spark进行内存数据的批量计算，相对于传统的Hadoop计算方式，在计算性能上有数量级的提升。NCE-WAN大数据性能分析系统实现对网络业务的监控，方便用户检查网络及业务的状态。主要包含如下特性：l 站点监控以站点为维度，呈现网络业务数据。1、站点健康度情况的分布、健康度的排名，以及站点的列表。2、站点的基本信息，包括站点名称、站点之间的邻接关系、拓扑图等。3、站点下设备基本信息，包括CPU使用率、内存使用率、硬盘使用率、温度等信息。4、以站点为维度，呈现1）应用质量趋势、带宽利用率趋势、吞吐量趋势、质量差应用排名、链路下应用流量排名
12、和趋势。2）各链路的吞吐量趋势、上行带宽利用率、下行带宽利用率、链路质量趋势。3）应用列表。l 站点间监控：以站点间链路为维度，呈现网络业务数据。1、站点间链路质量排名、站点间链路流量排名，以及站点间的列表。2、站点间的基本信息，包括源站点、目的站点、拓扑图。3、以站点间为维度，呈现1）链路质量趋势、吞吐量趋势、应用流量排名、应用质量分布、应用吞吐量排名。2）各链路的吞吐量趋势、各链路质量趋势。3）应用列表。l 应用监控：以应用为维度，呈现网络业务数据。1、应用质量分布、应用质量排名、应用流量的排名、总体流量趋势，以及应用的列表。2、以应用为维度，呈现吞吐量趋势、应用质量趋势。文档版本01 (2018-04-24)华为专有和保密信息 版权所有 华为技术有限公司10
