《视频结构化大数据平台-V1.1》由会员分享，可在线阅读，更多相关《视频结构化大数据平台-V1.1（42页珍藏版）》请在金锄头文库上搜索。
1、视频结构化大数据平台解决方案Infinova目 录1. 建设背景42. 建设目标53. 建设原则63.1. 标准化原则63.2. 统一设计原则63.3. 大数据处理原则63.4. 高可靠/高安全性原则63.5. 适用性原则73.6. 可扩展性原则74. 系统总体设计74.1. 设计依据74.2. 总体架构设计104.3. 业务架构设计114.4. 网络架构设计125. 数据结构化145.1. 概述145.2. 数据采集145.3. 控制调度单元155.4. 活动目标结构化单元155.5. 车辆结构化单元215.6. 人脸结构化单元235.7. 前端要求256. 数据存储286.1. 概述286
2、.2. 功能设计286.2.1. 数据存储286.2.2. 数据服务296.2.3. 系统管理306.3. 存储设计307. 数据应用317.1 智能检索327.1.1行人结构化特征智能检索327.1.2人骑车结构化特征智能检索327.1.3车辆结构化特征智能检索337.1.4人脸结构化特征智能检索337.2 以图搜图347.3GIS应用347.3.1基本操作347.3.2地图查询357.3.3轨迹管理357.3.4系统管理368. 平台特点388.1.提高海量视频倒查的效能388.2.提供视频关键特征的视频检索398.3.永久保存结构化的视频信息398.4.基于虚拟化服务的云计算架构391.
3、 建设背景 平安城市视频监控技术已经从联网整合阶段发展到视频实战深度应用阶段。面对视频资源整合规模的持续扩大、视频实战业务的广泛应用以及视频信息化处理过程中产生的海量结构化数据，如何充分利用海量的视频数据，实现海量视频数据的高效检索以及基于实战需求构建警务视频大数据应用平台，成为视频深度应用亟待解决的问题。建设统一开放的视频云计算平台，并在视频云计算架构基础上，实现视频信息化、信息情报化、情报实战化是视频大数据实战应用的关键。随着公安信息化建设进程的不断加快，全国各地都在掀起“平安城市”、“智慧城市”和“科技强警”等一系列大型安防系统建设。全国各地随着“平安城市”的推动，建设了越来越多的视频监
4、控摄像头。但是如何将这些视频资源整合好、利用好、管理好、应用好，发挥视频实战的最大效用，是视频实战应用下一步发展面临的问题。全球在2010年已正式进入ZB时代，全球数据量大约每两年翻一番，一天产生的视频监控数据超过1500PB。地市“天网”摄像头都数以万计。由于数据的飞速增加不仅出现了视频图像信息海量储存、检索困难，历史图像查找比对困难，多级视频图像信息共享平台无法实现互联互通，传输网络架构和带宽不足等问题；也使以往公安人工检索，人工分析视频的方法不再适用。 如何存储海量视频信息？ 如何提升海量视频信息查找效率？ 如何利用海量视频信息为案件侦破提供支撑？Infinova视频结构化大数据平台对海
5、量视频数据中（行人、人骑车、车、人脸）经过结构化引擎处理,基于云存储技术构建大数据平台，基于数据挖掘技术构建应用平台，实现视频图片的智能检索、数据应用等。2. 建设目标 系统主要解决如何快速有效提高从大量视频和图像信息中查找到有效信息的效率问题，解决海量视频数据的不断增大带来的存储成本的增加问题以及目前的视频数据使用方案越来越难解决的海量视频应用场景。其次利用目前已建设的公安视频及社会面视频，打造视频大数据中心，为侦查破案提供数据分析支撑。 系统建成后，公安所有的监控视频、交通卡口、社会监控数据以及案事件的视频资料等归档数据将成为一个结构化的处理，存储，管理，分析，计算，使用的一体化大数据云中
6、心。3. 建设原则 3.1. 标准化原则基于数据标准建设结构和非结构化云存储技术中心，能够有效确保数据模型设计的规范性，以及与源系统及管理分析类系统保持一致的业务定义和技术定义，从而满足支持业务开展、横向的信息扩展和宏观管理的要求，使结构化后的视频、图片和分析结果等成为公安各业务系统的可信数据源。3.2. 统一设计原则按照公安部视频数据的相关标准设计系统结构。特别是应用系统建设结构、数据模型结构、数据存储结构以及系统扩展规划等内容，从规划的全局出发、从长远的角度考虑。3.3. 大数据处理原则致力于跨警种、跨系统的视频相关数据结构化处理，致力于非结构数据加工和数据挖掘等深层次的数据应用，建立在云
7、存储和云计算的体系之上，具有海量数据处理能力，以适应不断增长的数据量和业务需求。 3.4. 高可靠/高安全性原则从系统从结构上、产品性能上、设备的选型上，以及具体的实施方案，将充分考虑软硬件的成熟度，使得系统的稳定性和可靠性得到保障，同时系统具备完备的网管单元，实时监测系统运行状态，灵活对整个计算资源进行有效调度和分配，平时保障85%的计算资源利用率，预留15%的计算资源，一方面使得机器不在峰值上一直运行，同时在突发临时事件时 ，预留的15%的计算资源可以备用，确保系统正常、稳定、可靠、连续地运行。系统的设计充分考虑系统的安全。在系统设计、设备选型、调试、安装等环节都需严格执行国家、行业的有关
8、标准及公安部门有关安全技术防范的要求。3.5. 适用性原则系统的建设将保护已有资源，急用先行，在满足应用需求的前提下，尽量降低建设成本。3.6. 可扩展性原则系统设计不但保证目前系统容量的要求，也将考虑今后系统的发展，便于向更新技术的升级与衔接。系统提供标准的SDK控件及数据接口服务，以实现与其它子系统之间的数据交换，保证系统的不断扩展。4. 系统总体设计 4.1. 设计依据 本系统主要设计依据遵循以下标准和规范：项目政策文件：l 公安部关于进一步加强社会治安防控体系建设的指导意见l 公安部关于深入开展城市报警与监控系统应用工作的意见l 公安部全国公安机关视频图像信息整合与共享工作任务书l 公
9、通字201119号全国公安装备建设“十二五”规划l 公科信201211号全国公安机关视频图像信息整合与共享工作任务书l 公科信【2012】 73号全国公安机关图像信息联网总体设计方案l 公科信传发【2012】367号省（区、市）公安机关视频图像信息整合与共享技术方案编写指南公安信息系统类标准l 公安部金盾工程总体方案设计l 公安部公安信息系统应用支撑平台总体方案设计l 公安部公安信息化标准体系l 公安部地市级综合信息系统总体设计方案l 公安部共享数据项代码标准l 公安部共享数据项集项目规范l 公安部刑事犯罪信息管理代码 GA 240.（121）-2000l 公安部刑事犯罪信息管理代码GA 24
10、0.（2257）-2003l 公安部经济犯罪案件信息管理系统技术规范GA 397.X-2002l 公安部 道路交通违章管理信息代码 GA 408.X-2003l 公安部全国道路交通管理数据交换格式 GA 409.X-2003l 公安部违法犯罪信息管理GA 8-1991l 公安部信息系统安全等级保护基本要求GB/T22239-2008l 公安部信息系统等级保护安全设计技术要求GB/T24856-2009l 公安部城市监控报警联网系统技术标准GA/T669-2008计算机信息系统类标准l 计算机软件开发规范l 操作系统安全技术要求GB/T 20272-2006l 数据库管理系统通用安全技术要求GB
11、/T 20273-2006视频系统类标准l 城市监控报警联网系统技术标准（GA/T669-2008）l 安全防范视频监控联网系统信息传输、交换、控制技术要求GBT 28181-2011l 民用闭路监视电视系统工程技术规范(GB50198-94)l 视频安防监控系统技术要求（GA/T367-2001）信息安全类标准l 信息系统等级保护安全设计技术要求GB/T24856-2009l 信息系统安全等级保护基本要求GB/T22239-2008l 计算机信息系统安全保护等级划分准则GB17859-1999l 信息系统安全等级保护定级指南GB/T 22240-2008l 信息系统安全管理要求GB/T202
12、69-20064.2. 总体架构设计 方案总体架构设计为“一个中心，一个平台，多个业务应用平台”。一个中心： 利用云计算、云存储技术，建设视频大数据中心；一个平台： 实现视频，图片数据结构化；多个业务应用： 在大数据中心上，实现视频图片的智能检索； 在大数据中心上，实现视频图片的人脸比对； 在大数据中心上，实现视频图片的以图搜图等；4.3. 业务架构设计 架构说明:系统采用分布式系统构架，主要由大数据接入、大数据处理存储、大数据应用平台组成。大数据接入负责接入在线各种社会视频资源和公安各视频资源。或者直接导入离线视频资源。大数据处理对收集到的数据经进行转换、分析处理。视频、图片等非结构化数据经
13、过各种算法生成标准数据集供挖掘和分析使用。存储中心主要用来管理大数据接入、大数据处理生成的各种非结构化数据和处理后的结构化数据集，同时负责维护系统建立的各种专题库。大数据存储中心是建立在成熟的云存储体系之上的，具备存储的复杂均衡，软硬件的动态扩展和删除以及数据的自动备份和恢复功能。同时，系统提供SDK库供第三方集成，实现视频数据在业务应用的深度可视化。 大数据应用提供客户端功能的可视化展示，如数据的检索访问、车牌信息分析、目标类型分析、人脸分析、GIS应用等应用服务。4.4. 网络架构设计系统采用统一云存储设计，部署大数据平台Hadoop集群设备，通过网络实时将结构化分析平台处理后的特征信息上
14、传。各业务部门通过客户端即可实现大数据的综合业务应用。系统可单独部署，也可以级联部署。级联部署时，中心管理平台可以对子节点进行任务管理、调度、状态查看。可指定子节点信息上传的位置、信息上传的类型。中心管理服务器收到信息后，可对消息进行二次过滤后再入库。视频结构化平台级联示意图5. 数据结构化5.1. 概述 视频结构化大数据分析系统控制调度、目标结构化单元单元于一体，实现高清实时监控视频、高清录像以及图片资源的结构化处理。结构化引擎处理后的数据统一存储于结构化云平台中。支持标清和高清视频、不同厂家视频格式等，满足视频监控各类应用场合和应用模式的视频内容处理需要。5.2. 数据采集 主要接入卡口数据、电警数据、实时视频、历史视频、卡口识别数据、视频特征提取数据、其他外部业务系统等数据，经过对数据清洗、转换、分类后，将数据存入大数据平台。提供对大数据统一的接入方式，接口形式包括API、文件、FTP，WebService等，方便公安数据接入大数据平台。大数据平台采集视频联网平台 如下大数据平台主动采集视频联网平台系统示意图所示，大数据平台通过数据接入组件主动从数据源系统采集数据，经过转换、清洗后通过大数据平台API接口存入大数据平台。主要提供如下几种接入方式： 文件交换形式接口通过FTP/HTTP/SOCKET协议交换文件，文件格式需要接入时定义接口文档；
