大数据可视化管理平台建设方案

《大数据可视化管理平台建设方案》由会员分享，可在线阅读，更多相关《大数据可视化管理平台建设方案（8页珍藏版）》请在金锄头文库上搜索。

1、大数据可视化管理平台建设方案大数据可视化管理平台建设方案随着大数据的日久累计，企业生产的数据无论从数量空间还是从 维度层次上都日益繁杂。面对大量数据，管理层常常望洋兴叹：要么 企业自产的大量数据不能有效利用，无法提供决策依据；要么数据展 示模式繁杂晦涩，无法快速甄别有效信息。如何将海量数据经过抽取、 加工、提炼，通过可视化方式展示出来，改变传统的文字描述识别模 式，让决策者更高效的掌握重要信息和了解重要细节，这关系到数据 应用方的重大决策的制定和发展方向的研判。数据可视化可为上述问题提供理想的解决方案。数据可视化是指 以柱状图、饼状图、线型图等图形方式展示数据，让决策者更高效的 了解企业的重要

2、信息和细节层次。大量研究结果表明人类通过图形获 取信息的速度比通过阅读文字获取信息的速度要快很多，今天以警务 大数据为案例，分享数据可视化。以下是XX市警务大数据可视化案例。1、建设背景为适应互联网、大数据条件下对警务实战提出的新要求，应对当 前复杂社会治安态势和反恐维稳工作面临的新挑战，满足情报指挥一 体化运作和警务大数据实时显示应用的需要，破解当前我市分散化、 单一化、离线化的展示模式与警务云发展趋势不相适应的问题，我局 拟统一建设一套完整、灵活、实用的数据可视化平台 ,满足各级公安机 关警务大数据可视化需求。技术模式上，引入时空模式、地图模式、 多维模式、混合模式等多种方法对数据中心海量

3、数据进行可视化展现， 为数据分析、情报研判、指挥调度、领导决策等实战应用提供支撑。 展现内容上，以热力图、动态图、GIS图等多种表现方式，针对人员、 车辆的聚集、流向，警情、案件的分布等应用场景，提供可配置的可 视化展现功能。应用终端上，既满足各级大数据指挥服务中心、勤务 指挥室等大屏展示需要，也要满足PC端、移动端的个体展示需求。2、建设目标按照市县两级大数据指挥服务中心、派出所勤务指挥室及各专业 警种大数据可视化建设需求，利用全市各类公安业务和社会数据，运 用数据地图方法和可视化展示技术，搭建扬州市公安局警务大数据可 视化平台，全方位、多层次、多角度展示分析全市反恐维稳、社会治 安、警务工

4、作质态等情况，要满足联合值守、情报研判、联合指挥、 领导决策、数据查询等工作需要。主要包括以下三个方面：（一）警务数据综合汇聚。开发建设智能化、可视化的数据汇聚 工具，梳理各类警务数据，按照不同的可视化场景需求，针对各类数 据资源设计相应的采集、缓存和统计分析及处理方法，以信息要素、 业务模型等多种形式，为实现多样化、可视化的展示提供数据保障。（二）可视化展示分析。为梳理出来的各种数据设计各种可视化 图形样式，包括文字、图片、动画、视频、图表、地图、地图热点、 图文组合、表格等各类基础图形，对于复杂的数据设计如拓扑图、关系图、张力图、热 力图、撒点图、时序图、迁徙地图等数据可视全景图。同时，通

5、过分 析不同情况下的业务需求，明确需要获取的信息及关联的数据构成， 针对实际业务情形设计出能够根据实时信息进行联动切换等各类操作 的大数据可视化展示预案。（三）建设展示管理平台。建设统一的大数据可视化展示管理平 台，包括数据汇聚管理、可视化组件、超高分辨率渲染引擎、可视化 方案设计工具软件和操控切换控制软件等功能。能够满足民警通过简 明的操作步骤抽取、配置数据源，对可视化组件进行拖拽、排版、数 据源切换等，轻松实现大数据的查询统计及展示方案的新建和切换。3、技术要求（一）基于构件技术的系统搭建模式。面向构件技术整合传统的 构件技术、模型驱动技术和面向服务技术。从构件的技术实现角度来 说，应包含

6、四个要素：构件本身、该构件的插口、构件与其他构件协 作的能力、以及构件的使用者。（二）采用标准化接口。项目通过制定统一的接口标准规范，约 束系统建设时技术接口的规范化程度，从而保障系统在建成后的标准 化和可扩展化。（三）采用服务化调用。项目以服务的形式对系统中的各类资源 进行服务化管理，在整合和扩展方面简化服务的调用工作，实现服务 资源的远程访问和调用，并能够适应政府机构的业务扩展、机构扩展 和人员扩展。（四）数据挖掘技术。数据挖掘一般是指从大量的数据中通过算 法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并 通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过 去的经验法

7、则）和模式识别等诸多方法来实现上述目标。（五）海量数据处理能力。海量的存储能力不仅要求存储系统具 备海量空间，同时还要具备高可用性、高并发行、按需扩展能力。（六）分布式存储技术。能够通过增加存储设备的方式，对存储 容量进行在线扩容，避免因为增加存储而导致的业务中断；需能够支 持 PB 级数据的存储；需能够聚合服务器硬盘带宽，随着存储设备的增 加，数据的存储带宽能够达到数百GB/S，有效提升数据的访问效率； 采用数据副本策略，保证数据的完整性和安全性。（七）分布式数据库技术。布式数据库为长期积累的海量数据的 查询、处理提供解决方案，需具有高速的数据加载性能、海量数据抽 取和查询功能。（八）采用多

8、维建模技术。针对可视化展示需求，对原始数据搭 建多维度的可视化数据模型，解决大量数据在特定业务环境下的快速 查询和多角度展示，以便得出管理决策的信息和知识。4、部署方式 平台采用“集中部署、分级授权、独立应用”的方式，部署在扬 州市公安局数据中心，面向全市各级公安机关授权应用。同时，应用 程序需具备跨平台能力，能在各种主流操作系统和浏览器上运行，满 足各种数据源接入服务:（1）文件数据源支持对主流csv,jso n,exce I等文件格式的导入，接入可视化数据库， 进行有效的可视化呈现（2）关系型数据库数据源支持对主流关系型数据库数据源接入，例如 :Oracle、MySQL、Sqlserver

9、。接入可视化数据库，进行有效呈现。（3）大数据数据源支持对主流大数据存储，例如 Hadoop、Hive、HBase 的接入能 力，进行海量数据可视化。5、建设内容（一）可视化数据资源库建设1、原始数据资源库：从市局数据中心综合数据库抽取。2、可视化标准数据资源库：对原始数据资源库进行清洗、转换与 标准化。3、应用服务资源库（专题数据资源库）：针对各类可视化应用场 景、目标，存储各类专题、档案数据，形成面向各类专题应用的数据 资源。4、配置管理资源库：对接市局信息资源管理服务平台，对可视化 数据资源库进行管理。（二）要素类基础数据展示1、人员：主要包括不限于常住人口、暂住人口、旅馆住宿、上网 人

10、员、铁路旅客、民航旅客、从业人员、驾驶人员、学生信息、房屋 出租户主、出入境人员、境外人员、涉警涉案人员、重点人员、利益 诉求群体、社会面相关数据等。2、案件：多维度展示、分析挖掘展示等3、警情：多维度展示、分析挖掘展示等4、车辆：多维度展示、分析挖掘展示等5、情报信息：多维度展示、分析挖掘展示等6、警力信息：包括不限于实时警力、值班值勤人员、目标任务等。7、数据资源信息：展示实时的公安内外部数据总量、类别、当日 实时增量等。上述展示资源展示结果应保证随库刷新，刷新时间不高于 1 分钟， 个别实时性要求较高的警情、定位等数据刷新时间小于10秒（三）业务类复合数据展示（18 类数据）按照省厅大数

11、据指挥服务中心建设要求和市局大数据指挥服务中 心大屏展示需求，主要包含18类警务数据，其中PGIS数据为基础支 持数据，其它11类作为大屏常态显示监测的数据，剩余6类作为选择 性显示数据。（四）大数据可视化展示场景预案根据实战需要，平台可预制多个警务大数据可视化展示场景，每 个场景应由多个可视化组件构成，各类预案要能够满足市县大数据指 挥服务中心、派出所勤务指挥室大屏、市局及各实战警种决策会商室 及 PC 端、移动端展示需求，同时满足各类重大节日场景预案展示。本 期项目建设应提供不少于20 个预置场景预案，同时，根据公安业务需 求，满足 2 天内完成节假日、重大事件等突发事件的突发场景预案。（

12、五）可视化展示管理平台软件功能 警务大数据可视化管理平台要能够实现展示预案页面设计、组件研发、警务数据管理，并实现超高分辨率快速显示及操作，实现对海 量信息的可视化综合呈现。对各类业务系统的海量信息进行有效融合 与梳理，基于超高分辨率电子地图综合呈现，实现信息的共享与工作 协同。人机交互操作灵活，以多屏信息联动方式控制平台，同时不能 影响大屏控制速度与灵活性。具体功能应包括以下几个方面：1、定制化集成展示。根据需要，将全市掌控的各类数据资源、业 务应用通过可视化组件实现一致性呈现，一般业务系统的桌面图像、 网页通过边框渲染实现一致性呈现，嵌入可视化展示平台；可部署在 大屏工作站的已有业务系统的

13、软件程序，通过额外边框渲染实现一致 性呈现嵌入可视化展示平台；实现视频监控的实时接入。2、业务数据管理。平台应具备成熟强大的数据集成软件工具，支 持对各种数据库和消息总线的对接，支持标准 SQL 语句和存储过程访 问能力，要具备强大的数据处理功能，除了选择、过滤、分组、连接、 排序这些常用的功能外，并支持通过 Java、Java 等常用开发语言进行 功能扩展。平台可以将这些语句创建为通用统计分析方法，并进行良 好的管理，同时能存储已创建的业务统计分析数据并进行处理。管理平台可由操作人员根据实际需要，通过简便的操 作步骤对数据源进行增、删、改等管理，对所关注的信息快速统计查 询和精准调用。同时，

14、在平台上要能够监控各数据汇聚是否正常，发 生问题时准确定位故障点。3、超高分辨率快速显示。平台应真实利用大屏整个物理超高分辨 率，点对点等比显示充分利用整屏物理分辨率，采用先进的图像处理 技术、智能缓存；显示、刷新快，画面平滑、实时同步。大屏超高分 辨率渲染功能具体如下：（1）具备现有业务数据图表渲染能力，并可 综合接入和集中显示。（2）具备现有业务系统图像的直接接入能力，支持通过信号处理 器调用RGB、VIDEO、远程桌面和IP视频的信号窗口调用，可控制其 在高分展示平台的叠加位置，并能通过边框渲染实现融合一致平滑画 面效果。（3）具备现有业务系统应用窗口的直接运行和融合应用能力，可 直接在

15、高分展示平台硬件系统运行现有业务系统应用程序或调用 WEB 页面，支持以桌面程序窗口模式叠加在高分展示平台画面上，并能通 过边框渲染实现融合一致平滑画面效果。（4）支持超高分辨率和高速显示刷新功能：真实利用大屏整个物 理分辨率，采用高速图像处理技术整屏显示，全屏典型刷新时间小于5 秒，并不随拼接规模增加而下降，保证业务信息高效显示。（5）具备全屏画面同步显示功能：全屏超高分辨率画面显示具有 极高的同步性和平滑性，充分发挥大屏幕拼接墙超高分辨率海量信息 显示的优势。4、可视化组件管理。背景、图表、控件、模板、仪表、地图等可 视化元素均按照组件式管理、应用，根据场景、环境、终端的差异可 以自主选择

16、、自动适应，满足各种条件下的可视化展示需求。（六）可视化要求（1 ）系统应具备自研WEB可视化引擎，具备在复杂的WEB环境 下，连接后端数据进行多维数据展现的能力，具备多类应用开发，方 便定制基于场景的展示。（2）系统需要具备丰富的可视化组件，为减少部署成本，要求基 于浏览器展示，用户随时随地查看系统展示效果，充分使用基于 HTML5和CSS3的先进的WebGL和SVG技术，进行可视化呈现。（3）系统具备对多维数据进行多维展示能力，根据用户需求，在 线配置展示维度，按需求展示。（4）系统具备基于浏览器展示基于 3D 建模的各类公安数据的展 示。支持基于H5 WebGL技术，在浏览器端呈现丰富的3D可视化组 件，不依赖于任何浏览器插件。支持在GIS Web系统中，不依赖于任何浏览器插件，叠加3