监控集中云存储方案计划

《监控集中云存储方案计划》由会员分享，可在线阅读，更多相关《监控集中云存储方案计划（15页珍藏版）》请在金锄头文库上搜索。

1、视频云存储解决方案（集中存储）阅读提示一、系统概述随着视频监控系统规模越来越大，以及高清视频的大规模应用，对视频监控系统中需要 存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统 中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的 复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得 尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。 而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、 高

2、可用性的企业用户来说是一个新选择。云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指 通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种 不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功 能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。依据云存储的功能特点，公司专门针对大容量视频数据的存储和管理以及满足视频监控 领域特殊的应用需求，量身设计了一套视频云存储监控系统。视频云存储系统可以同时应用于视频、图片混合存储，承担整个系统内的视频/图片的 数据写入/读取工作。云存储系

3、统一方面采用了基于云架构的分布式集群设计和虚拟化设计， 在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存 储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接 口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠 的数据存储服务。二、系统架构(一) 技术路线在视频云存储系统的设计中，采用的核心技术如下：1) 采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩 容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上 合理利用空间的效果。2) 采用集群技术，解决单/多节点失

4、效问题，并利用负载均衡技术充分利用各存储节 点的性能，提升系统的可靠性和安全性。3) 采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。4) 采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。5) 采用开放的集成构架，使其可兼容业界各类 iSCSI/FC 存储设备，保护用户现有存储 投资资源。6) 采用数据备份和容灾技术，保证云存储中的数据不丢失，保证云存储服务的安全稳 定。(二) 逻辑架构 云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。应用层疔业平台翟能平台运辨乎台接口层Web ServiccLJ川叮接口Mi

5、庆接口录像计划数据骨理设备监揑存储资源资源管理服务管理存储层视频存储團片存储附属流存储流式数据结构设备层IP-SAX存储设备FG-泗存储设备m云存储逻辑架构图1) 设备层设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。在系统组成中，存储设备可以是SAN架构下的FC光纤通道 存储设备或iSCSI协议下的IP存储设备。2) 存储层在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据(视频、图片、附属流)和设备层 存储设备之间的通信连接，完成数据的高效的写入、读取和调

6、用等服务。3) 管理层在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等 多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的 主动下发，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理， 实现上层服务（视频录像、回放、查询、智能分析数据请求等）的响应。4） 接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问 接口，接口类型可分为Web Service接口、API接口、Mibs接口，可以根据实际业务类型, 开发不同的应用服务接口，提供不同的应用服务。实现和行业专属平台、运维平台的对接 实

7、现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作； 实现关键视频数据的远程容灾；实现设备以及服务的监控和运维等。5） 应用层从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在视频云存 储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求 将应用层纳入了整个系统架构中，从根本上提高视频云存储系统的针对性。可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接 实现与云存储系统之间的数据以及信令的交互。行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源 重要录像的备份存储等指令的

8、交互，辅助流数据、视频数据、图片数据的存取。运维平台采用标准的SNMP协议实现并提供Mibs接口，对云存储系统以及服务进行 监控管理，及时将产生的告警传递给用户。将智能分析平台可与云存储系统进行对接，实现基础数据的读取，以及经过存储的二次 分析后的片段信息，文本信息写入和检索。（三） 物理组成视频云存储系统主要由管理节点和存储节点（物理存储设备）两部分组成。系统内部需 要配置的元数据信息由管理服务器统一管理，管理节点还需要负责集群内部的负载均衡，失 败替换等管理职能；视频云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数 量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以

9、通过在线扩展完成。控胡铤据行业平台片展笔希從:颉喘令甲台混合:储系统存储乍点盘存带甘点存储爷点视频云存储 管理集酢服等器LAN网略高梢亠摄像机棋拟摄像机图片类前端视频类前端视频云存储管理节点（CVMN）：部署管理服务器，是视频云存储系统的核心节点，作 为云存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。根 据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两 种方式部署：双机部署、集群部署。视频云存储节点（CVSN）：作为云存储系统业务的具体执行者负责视频数据存储、读 取、存储设备管理、存储空间管理等。三、系统特点1）高效灵活的空间管理对存

10、储资源进行虚拟化整合，提高用户管理效率； 支持存储资源的在线扩展，实现容量与性能的线性增长;虚拟空间可灵活调整，不但能扩大，同样能缩小；2) 海量数据的快速检索 采用一体化索引设计，大大提高了查找速度； 深化视频、图片的应用设计，支持I帧信息快速读取；3) 持续可靠的数据服务 提供7X24小时不间断高效可持续的数据服务，充分保护数据安全和可靠性； 采用全集群化设计，性能全面提升，设备压力负载均衡，单/多点故障，录像业务 不中断；数据存储采用离散存储算法，提供系统级高效、稳定存取服务；4) 高可扩展的应用支撑 系统的高性能设计，能够并发服务以满足视频数据的高速读取需求。 采用流式数据结构，面向视

11、频、图片数据而设计，满足视频数据的持续写入； 深入开发视频录像的专业化应用设计，优化了应用的服务质量；5) 开放透明的兼容系统 统一开放的应用功能接口，由上层业务平台直接调用； 采用的是标准设备兼容模式，支持标准IP SAN、FC SAN存储设备的接入；视频云存储系统主要实现功能如下表所示：功能项功能说明系统功能集群化管理1、负责CVMN集群的创建和维护工作。2、负责集群内各节点的添加、删除、修改和运 行状态监控工作。3、负责业务响应、处理的集群内的负载均衡工 作，动态调配集群处理资源，提高系统运行效率和响 应速度。4、维护集群运行咼可靠性，单/多点故障时业 务压力自动调整保证业务处理不中断。

12、虚拟化管理1、将系统内存储节点内数据块通过虚拟化统 一整合成为资源池，实现用户对资源池的透明管理管 理。2、资源池灵活划分录像池，通过录像池负载视 频/图片数据的存储工作。3、录像池灵活调整，支持录像池创建后的扩大 和缩小。离散存储管理1、对某路或多路数据流进行切片后按照内置 离散算法自动分散到不冋存储设备的数据块中进行 存储。2、对某路或多路数据流进行切片后按照内置 离散算法分散到指定的部分存储设备的数据块总进 行存储。3、提供数据读取并发响应功能，提高系统数据 吞叶量和响应效率。录像管理功能录像计划执行1、根据配置要求确定通道和存储地址，负责将视频 流数据向录像池的写入操作。存储应用功能视

13、频录像1、按照用户制定的计划保存前端设备米集的 录像数据，录像类型、录像头。2、支持补录，即断网等条件下，前端设备能够 将本地保存的数据补录到系统中。3、支持动态修改录像类型，即采集视频数据过 程中可以按报警类型修改录像的类型并即时保存到 系统中。视频回放1、支持根据编码器名称以及时间段、录像类型 对录像数据进行回放。2、支持根据编码器名称以及时间段对录像数 据进行回放时间定位。3、支持快放、慢放、倒序回放和手动停止回放。4、支持I帧回放视频标注1、对录像、图片等数据信息所对应的标签进行 打标、存储、备份等操作。2、对录像、图片等数据信息的标签信息进行查 询、检索、筛选工作。3、对录像、图片等

14、数据信息所对应的标签进行 修改、删除等操作。图片存储1、支持按照用户制定的计划保存前端设备米 集的图片数据。图片下载1、支持按时间段下载图片。2、支持浏览器http的URL方式下载图片。图片压缩1、支持图片大小压缩和尺寸缩放。运维功能周期覆盖1、按策略支持按周期、容量进行图片数据的周 期覆盖式存储。五、系统参考清单（一）管理节点双机部署当项目中前端通道和车道数量总和不足千路时，云存储管理节点采用2台服务器做HA 双机部署模式。管理节点双机部署是一种可靠性较高的部署方式，此种方式是采用两台服务器安装相应 的视频云存储管理软件并运行双机热备模式，形成热备视频云存储管理双节点。此种双机热备模式，可实

15、现应用服务的故障切换，提高了视频云存储管理节点的可靠性 和稳定性，工作性能也得到了保证。（二）管理节点集群部署当项目中的前端通道和车道数量总和超过1 千路时可采用管理服务器集群模式。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台 以上奇数台服务器组成，安装视频云存储管理软件并运行集群工作模式，形成视频云存储管 理集群。此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了视频 云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项目首 选的部署方式。（三）存储容量计算存储数据主要是视频录像数据和卡口车辆图片数据，其中视频录像数据主要包括监控摄 像机视频录像和卡口全景摄像机视频录像。具体存储容量需求根据项目的实际情况来详细计 算，核算出所需要的硬件存储设备数量。（四）系统软硬件清单通过计算后得出了云存储系统的管理服务器和存储设备的硬件数量。在云存储系统中软件的数量与硬