项目建设目标构建网络大数据分析平台，基于领先的大数据处理技术 实现对海量网络流量数据的存储、统计分析和深度学习；实现针对网络流 量数据的数据挖掘和深度分析模型和算法库；建立模型库：通过大数据分 析的方法，设计符合内网趋势和研究方向的网络流量数据分析模型，并通 过通过大数据分析算法库，将业务模型固化实现，支撑网络运维工作发展 构建基于全网的易于部署的高性能数据采集器，采集器需要支持海量的数 据提取及预处理能力，支持完善的包检测及丰富的自定义能力，满足大数 据平台的数据采集要求通过系统建设提供丰富的功能，系统提供大数据 分析，用户画像，应用画像，关联关系分析等功能，提供内网检测，信息 推送，流量管理等主动控制功能通过关键项进行综合评分，提供全面的 信息化程度展现相关工作需要对全量的网络数据和应用信息进行相应的 梳理、归类，采用大数据的技术和理念进行深度分析，可以获得新的有价 值的信息，发现其中的规律和趋势，挖掘数据中内在的价值，将网络运维 工作带入一个新的领域一方面在运维思路上，将从关注“网络通断”的 传统运维管理提升到关注“网络流量内容”的智能化、精细化的网络管理 另一方面将从原有的故障事后处理的被动响应转化为故障事前预测，通过 趋势分析结合智能管控手段，有效的避免异常的出现，实现网络运维的主 动性预防。
1.4 建设原则网络大数据分析平台应利用当前主流的大数据技 术构建，严格遵循国家相关标准，在技术上领先，系统具备高可靠性、高 安全性和高可用性，软件架构成熟，应用技术和模式具有先进性，平台具 备动态扩展能力1.4.1 参考标准网络大数据分析平台必须遵循相关国家 和行业标准规范，包括但不限于如下的列表《国家信息化“九五”规划 和 2022 年远景目标（纲要）》《国家信息化领导小组关于我国电子政务 建设指导意见》（中办发[2002]17 号）《电子政务工程技术指南》（国信办[2003]2 号）《电子政务标准指南》，国信办和国家标准委员会， 2002 年 5 月《电子政务标准化指南总则》（国标委高新[2002]42 号）《信息系统安全等级保护定级指南》GB-T22240-2022《信息系统安全保护 等级基本要求》GB-T22239-2022《信息系统安全等级保护实施指南》GB- T25058-2022《信息系统等级保护安全设计技术要求》GB-T25070-2022《计算机信息系统安全保护划分准则》GB17859-1999《信息系统安全等级 保护测评准则》送审稿《涉及国家秘密的计算机信息系统安全保密方案设 计指南》，国家保密局，2001 年 4 月《涉及国家秘密的计算机信息系统 安全保密技术要求》，国家保密局，2000 年 7 月《计算机软件工程规范 国家标准汇编》GB8567-88《计算机软件产品开发文件编制指南》 GB/T8567-1988《计算机软件需求说明编制指南》GB/T9385-1988《计算机 件分类与代码》GB/T13702-1992《软件工程术语》GB/T11457T9951.4.2 可靠性及可用性网络大数据分析平台的可靠性包括整体可靠性、数据可靠 性和单一设备可靠性三个层次。
通过大数据平台的分布式计算、分布式存 储架构，从整体系统上提高可靠性，降低系统对单设备可靠性的要求可 用性是通过冗余、高可用集群、应用与底层设备松耦合等特性来体现在 网络大数据分析平台规划设计、设备选型/配置中大量采用了硬件设备冗 余、网络链路冗余、应用容错等手段，充分保证了整体系统的可用性1.4.3 安全性遵循行业安全规范，设计安全防护保证大数据分析平台安全 重点保障网络安全、主机安全、虚拟化安全、数据保护1.4.4 成熟性从 架构设计、软硬件选型和 IT 管理三个方面设计网络大数据分析平台解决 方案，采用经过大规模商用实践检验的架构方案和软硬件产品选型，采用 符合 ITIL 规范的 IT 管理方案，保障方案的成熟性1.4.5 先进性合理利 用大数据的技术先进性和理念先进性，资源动态部署等先进技术与模式， 并与网络大数据分析业务相结合，确保先进技术与模式应用的有效与适用 1.4.6 可扩展性支撑网络大数据分析平台的资源需要根据业务应用工作负 荷需求进行弹性伸缩，IT基础架构应与业务系统松耦合，这样在业务系 统进行容量扩展时，只需增加相应数量的 IT 硬件设备，即可实现系统的 灵活扩展。
2 架构描述 2.1 整体架构本项目整体架构图如下图所示，首先由网络 流量采集器采集实时流量数据，通过实时流量数据收集模块，将实时采集 的流量数据存储本地之后，通过大数据平台的 ETL 工具，完成数据的清洗 装换，之后装载至大数据处理平台，进行处理分析基于大数据的处理技 术，构建符合智能网络管理需求的大数据分析业务模型，包括用户画像、 应用画像、关系分析、流量预测、精准推送和定制行为识别等，对网络流 量数据进行大数据分析，借助专业的可视化组件，完成数据分析结果的展 现图 1：系统整体架构设计图通过专业的数据交换组件，实现网络大数 据分析平台同其他业务系统和省厅平台的数据交换，实现数据的共享和有 效利用运维管理和平台安全对于网络大数据分析平台至关重要，通过专 业的安全管理模块和运维管理模块，实现平台软硬件一体化运维管理和全 方位、端到端、立体的安全管理体系大数据处理和分析组件是平台建设 的核心，该项目采用业界成熟的、标准的、经过大量案例验证成功的技术 路线Hadoop作为业界大数据的事实标准，平台将基于Hadoop生态系统 实现大数据分析处理，同时采用并行数据库技术，实现分析结果的快速检 索和可视化展现，满足网络监控的可视化分析需求。
数据资源层由以下部分组成：实时流量数据收集：收集采集器实时采 集的流量数据，写入 FTP 服务器，形成流量数据缓存库流量数据缓存库 存储采集组件实时采集的网络流量数据，供 ETL 工具使用数据 ETL 处理： 用于流量数据的清洗、转换和装载主要用于流量数据的预处理和加载 流量监控基础资源库：主要用于存储基本的流量数据，是流量数据的全集 专题库：根据大数据分析业务的需求，将基础资源库中的数据进行集成处 理，形成专业的主题库，包括流量专题库、用户专题库和应用专题库数 据服务：基于大数据分析模型和算法的需求，提供基本的数据服务，包括 MapReduceJAVAAPI，Spark，SQL，HBaeAPI，HQL 等数据访问服务数据 管理：根据大数据应用要求对汇聚的数据资源进行组织、管理和高效率运 算，基于大数据架构的数据资源组织与计算：根据大数据应用要求对汇聚 的数据资源进行组织、管理，包括元数据管理、数据质量管理、数据提取 规则等2.2.5 基础设施层基础设施层主要提供基本计算资源、存储资源 和网络资源，考虑平台的开放性和兼容性，将支持两种方式构建基础设施 采用主流的云架构，包括华为云、阿里云、百度云等；一种采用独立硬件 提供，包括计算存储服务器、独立的网络设备等。
2.2.6 数据可视化数据 可视化组件用于分析结果的展现，平台提供两种数据展示方式：报表展现 图形化展示2.2.7 数据交换数据交换组件主要用于满足平台对同其他业 务系统和省厅平台的数据交换，实现数据的共享和有效利用主要包括： 数据导入、数据导出两个功能模块2.2.8 流量采集数据采集层对整个平台提供数据支撑，通过多种方式 获取丰富的数据采集层可以通过专用网络数据采集器采集网络数据，通 过网管系统获得网络管理数据，可以通过网络设备获取网络设备日志采 集器部署在部，省，市三级的数据中心及网络出口，可以获取用户及应用 的网络数据专用的高性能采集器采用深度报检测（DPI）技术，对网络 数据进行实时分析，抽取通过专用采集器的实时分析处理，将网络数据 进行千分之一的信息整理，根据业务需要将数据按照指定格式上送到数据 仓库2.2.9 运维管理运维管理模块主要用于平台整体的运维管理，包括 软硬件安装部署、系统全访问监控、硬件和软件参数配置、性能优化、告 警管理、升级扩容等2.2.10 安全管理安全管理主要用于构筑整体网络 监控大数据平台的安全防护，主要功能包括：用户管理、访问控制、日志 管理、HA管理、数据加密、容灾备份等。
3 平台建设需求该项目用于构建网络大数据分析平台，通过专业的网 络流量数据包采集工具，获取网络运行数据，基于大数据分析技术，进行 专业的数据统计和算法分析，进行可视化展示，支撑业务的发展总体架 构如下图所示：应用识别输出 1）提供数据列表，展示每个根据流量数据识别出来的 应用2）提供人工确认信息录入功能，记录与保存人工确认的信息；3） 应用报备数据项可根据部门要求，确定报备信息项，如包括：应用IP、 应用名称、应用范围、应用部署硬件环境、集群方式、用途、与其他应用 的明确关系等等3.2.2 流量展示及异常流量识别流量展示介绍流量展示 功能是需要准确展示内网中的流量，统计出内网的各个链路的流量中，都 有哪些数据和应用、每个应用的流量大小、服务时段、这个应用在为哪些 系统和用户在服务，以及详细的流量信息尤其重要的，是对某些时候异 常流量的及时识别，继而可以进行相应的链路调整，防止引起更大的网络 故障流量展示价值流量展示为管理者观察和了解链路流量的情况提供直 观的方式，便于开展流量的调度和应用服务保障策略的制定异常流量对 网络运行影响很大，对网络突发流量或异常流量的及时识别及调整，有利 于增强网络稳定性，避免网络拥塞。
流量展示模型构建通过一系列的统计 算法，结合时间、地域、次数等维度表现应用、链路和用户三个关注对象 的流量情况异常流量识别有单独的监控展示流量展示涉及算法 1）以 应用为主体，以日/周/月为周期，统计上行流量/下行流量/连接次数/连 接用户数/连接时常；2）以用户为主体，以日/周/月为周期，统计上行流 量/下行流量/连接次数/连接应用数/连接时长；3）以链路为主体，以日/ 周/月为周期，统计上行流量/下行流量/承载应用个数/承载用户个数；流 量展示输出 1）全国流量分布图，展示公安部与各地间的数量值；2）钻 取每条链路、表现出该数量值下各个时间点的数据量值；3）钻取每条链 路、表现出该数量值下各类应用的占比；4）钻取每条链路、表现出给数 量值下流量排名 TOP10 的应用名称5）实现前一天与 7 日均线的比较图 表6）异常流量相关信息展示3.2.3 流量智能调度流量智能调度介绍 随着信息化进程的推进，整个网络流量及内容都呈现了爆发式的增长目 前网络中存在了大量的应用，覆盖各个岗位但部分区域出现了流量拥塞 和网络服务质量下降的情况大量流量导致带宽资源不足，但是这种带宽 不足表现为相对忙时带宽不足和非忙时的带宽空闲并存。
如何解决这类问 题，目前的主要手段是链路扩容，但当我们带宽从10M,扩到100M,扩到 1G,甚至扩到10G，网络中依然出现忙时拥塞等带宽资源不足的情况通 过大数据分析技平台的建设，给我们对这个问题带来了新的解决思路，可 以根据网络流量的预测分析结果对网络资源进行有效的规划，针对内网中 大量潮汐类应用，我们就可以规划一些数据备份类、系统更新类应用（数 据量传输无白天或者夜间的限制），与潮汐类应用错峰使用，安排在晚上 空闲时段，提升现有带宽利用率，在不增加带宽的基础上提高各类应用的 网络传输质量，避免网络拥塞还可以通过网络资源趋势分析，可以预测 网络的流量增长规模，预测应用增长趋势，指导后续整体网络规划流量 智能调度，是指针对网络中由于网络流量不均匀占用，使得应用服务质量 下降的问题，能够通过网络拥塞点预测，进行智能调度，提高网络资源使 用率，优化应用服务质量流量智能调度，支持：1）离线分析指定链路或 指定应用（某一个或某一类）的历史数据，得到链路的拥塞模型，能够通 过该模型进行拥塞点的预测，根据预测结果进行通知，或自动下发控制策略预测模型可根据实际结果进行模型自身的修正2）实时监控指定 链。