《智能化监控系统云存储建设设计方案》由会员分享，可在线阅读，更多相关《智能化监控系统云存储建设设计方案（15页珍藏版）》请在金锄头文库上搜索。
1、智能化监控系统云存储建设设计方案1.11.21.31.41.51.61.6.1 概述随着视频技术的不断突破，摄像机的分辨率从最早的CIFF、D1，升级到720p、1080p，如今已经可以达到4K超高清标准（38402160）。然而，随着视频监控点位覆盖越来越完善，数量也越来越多，动辄几百路上千路的高清或超高清视频存储需求，给系统带来了巨大挑战。目前，视频存储系统主要有两种模式：分布式存储和集中存储。1）分布式存储采用DVR、NVR等小型存储设备，每台存储设备管理一定数量的前端点位并实现相应点位录像的存储，综合管理平台通过DVR、NVR实现对前端点位的管理和访问。采用这种方式的存储系统，每台硬盘
2、录像机之间相互独立，通过RAID、热备等冗余技术实现容灾，可以满足基本的安防需求。但也存在一些问题，主要有如下几点：l 管理和维护困难。一个上千路的视频监控系统，可能需要近百台NVR进行存储，每台NVR都有单独的配置界面，使用维护过程中需要重复操作，比如配置、做RAID、硬盘维护等。l 系统可靠性低。一般NVR采用RAID技术来做容灾，硬盘出现故障后RAID降级，需要及时维护，如果不及时更换硬盘，再有硬盘故障就会导致整个RAID组损坏。同时，RAID重构效率低下，需要很长时间，风险很大（比如3T的硬盘，系统在保持工作的状态下RAID恢复，可能需要两个星期，期间不仅性能会大大降低，其他硬盘出现损
3、坏的概率也很高）。l 数据共享不便。由于系统性能有限，并且数据各自独立，不管是查找目标录像还是数据迁移，都需要花费较多时间。2）传统的集中存储通常采用IPSAN和外挂磁盘阵列，通过流媒体服务器转发，将所有前端点位的视频数据存储到中心存储服务器上。因此，采用集中存储时，需要具备较大的网络带宽，建议采用视频光纤专网进行传输。集中存储大大提高了系统管理效率和数据共享的能力，但也存在一些问题：l 性能瓶颈。相比于分布式存储，集中存储的每台设备（EVS/ESS）需要承担更多路数的视频存储，但单台设备的接入带宽和磁盘写入带宽有限，设备的转发和存储性能成为我们进行方案设计时主要考虑的问题之一。l 数据安全性
4、不高。传统集中存储主要还是通过RAID技术数据容灾，而RAID只能实现磁盘间的冗余，无法做到设备级，而且RAID技术使用复杂，硬盘出现故障后RAID降级，需要及时维护，如果不及时更换硬盘，再有硬盘故障就会导致整个RAID组损坏。同时，RAID重构效率低下，需要很长时间，风险很大（比如3T的硬盘，系统在保持工作的状态下RAID恢复，可能需要两个星期，期间不仅性能会大大降低，其他硬盘出现损坏的概率也很高）。l 使用不便。虽然服务器数量大大减少，但还是需要分别配置，硬盘或设备出现损坏后需要及时的人为参与维护，因此对技防人员的人力投入也提出了较高的要求。为了解决海量视频数据给技防系统带来的各种挑战，大
5、华基于对安防大数据业务的深刻理解和在安防存储、智能分析等技术方面的长期积累，推出了自主研发的云存储系统ExtremeStor。大华云存储，在技术架构和应用性等方面完全不同于市面上一般通用的云存储系统，表现出明显的海量空间、高可靠、高性能、易使用和强行扩展等功能特性。大华云存储系统软件(EFS)是一款集先进的分布式技术、高可靠的容错技术、智能化的资源调度管理于一体的数据存储系统平台软件，面向海量的非结构化数据，轻松满足海量的数据存储和弹性变化的业务需求。采用先进的纠删码算法，存储的空间利用率可达80%以上， 数据可靠性达到10个9。最小系统即可提供4GB/s读写能力。存储容量可弹性扩展至EB级海
6、量空间。在安防系统中采用云存储系统做集中存储，可以实现高性能、高可靠性的安防大数据存储，并可对接大华的安防云计算系统，满足园区大规模智能安防监控要求。1.6.2 系统设计1.6.2.1 架构设计云平台是集计算机应用技术、网络通信技术、视/音频压缩传输技术、安全防范技术等高新技术为一体的先进系统。平台软件的控制协议、传输协议、接口协议、音视频格式均遵循公安部GB/T28181-2011安全防范视频监控联网系统信息传输、交换、控制技术要求，解决了异构监控系统互连互通的技术问题。平台采用模块化设计思路，完全遵循GAT_669.7-2008_城市监控报警联网系统_技术标准，满足日益扩展的业务需求。采用
7、B/S模式和先进的APP应用框架，应用了组件化、动态加载等技术，界面直观、业务明晰、操作便捷。采用SOA面向服务体系架构，基于Web2.0技术和XML协议标准，便于被其他业务系统集成。数据与应用独立、应用与控制参数独立的设计，以便于系统的调整与升级，适应不断发展的管理需求，保证各项技术可以不断的更新和升级以维持系统的先进性。云存储系统为用户提供了统一的存储服务，并提供高效的SDK和熟悉的访问接口，应用系统可以把重心放在具体的业务开发上，这样可以促进监控系统的持续有序发展，发挥监控系统的最大效能。系统架构图如下：大华云存储系统架构图1.6.2.2 系统组成云存储系统内部，由元数据服务器和数据存储
8、存储节点组成。元数据服务器支持两台、三台及以上形成集群，提供高可靠的元数据服务。数据存储节点提供高容量、高密度的存储介质和极高的IO能力。同时，数据存储节点支持流媒体直存功能，具备前端摄像头产生的视频流直接存储到存储集群中，避免了中间环节的流量、性能开销，提供高可靠性流媒体存储能力，以及强大的媒体转发能力。元数据服务器集群智能存储服务器集群 千兆/万兆以太网/InfiniBand支持文件存储云业务大于1024个客户端并发访问海量文件快速定位与检索云存储系统组成图云存储系统采用分布式的存储机制，将数据分散存储在多立的存储服务器上。它采用包括元数据管理服务器（Metadata Server）、数据
9、存储节点服务器（Data Node）和客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，Metadata Server在逻辑上只有一个，但采用集群方式，保证系统的不间断服务；智能存储服务器(Data Node)负责具体的数据存储工作，数据以文件的形式存储在Data Node上，Data Node的个数可以有多个，它的数目直接决定了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力；同时，针对视频业务，在Data Node上集成了流
10、媒体服务，让存储节点具备了流媒体直存能力，让前端视频流直接存储至云存储成为可能。1.6.3 系统优势云存储在多个方面和传统存储有明显区别，非常适合大型监控系统应用，可以大幅简化存储系统的运维和使用，重点加强了数据和服务的安全性，在数据访问速度上也有数量级提升。1.6.3.1 统一存储空间，直接共享数据统一存储空间管理是分布式文件系统的一个重要功能，只有提供统一存储空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一存储空间管理功能实现了将整个集群统一视图功能，整体对外提供
11、一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。具体方式是，通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成一个统一的存储空间池。同时，系统保证所有文件的文件名在统一命名空间内，实现文件访问的统一命名空间。具体的，是通过bucket名称全局唯一，以及bucket内文件名不重复实现了每个文件访问名称互不相同，实现了文件访问的统一管理。同时，集群存储空间的统一管理，实现资源的统一化。再通过集群唯一访问IP，对外呈现为一个统一的整体。只需要获得存储集群的访问IP，以及文件
12、所在bucket名称和文件名，即可通过系统客户端在其他主机上访问这个文件。这就实现了分布式文件系统内数据的高可共享能力。数据不需要在上层业务系统之间传递，任何系统需要取数据，都可以直接访问云存储来获取。1.6.3.2 海量存储能力，面向大数据应用传统存储服务器由于主机的性能、散热、最大支持盘位数、管理开销与复杂度等方面的限制，所能支持的存储能力都比较有限，而无法适应海量存储需求。而Scale-up的扩展方式显然无法突破其限制，且性价比较低。而本分布式文件系统通过集群技术，将众多廉价存储服务器组建成一个集群，实现了Scale-out方式的扩展，具备提供海量存储能力，成为一种性价比非常高的选择。分
13、布式文件系统提供海量存储能力，单个存储域的存储空间可以达到16PB，通过元数据服务器集群扩展，系统容量几乎没有上限，可以达到EB级别。系统通过良好设计，将数据存储和访问等数据业务流和系统管理、数据管理等相关的控制流分离。数据存储节点负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障。而元数据管理服务器负责控制流管理和服务。由于控制流流量相对有限，元数据服务器所能提供的存储空间，仅受限于服务器的内存。1.6.3.3 在线弹性伸缩，多维按需扩展系统采用模块化结构设计，扩容非常方便，既可满足当前的需要又可实现今后系统发展平滑扩展。系统支持不停止服务
14、的情况下，动态加入新的存储节点实现扩容，最大容量仅受元数据内存限制。同时，云存储系统扩展时，对上层业务系统是透明的，业务系统可根据需要对配额进行调整，而不需要管理新增空间。根据不同的需要，可以分别扩展不同的设备，最大限度的降低设备成本。比如监视和回放的客户端需求变多，就增加流媒体服务器，存储文件的数量变多，就扩展元数据服务器，存储空间变大，就扩展数据节点。数据节点的磁盘配置也非常灵活，不需要一次性把硬盘全部配齐，可以以硬盘位单位进行逐步增加，空间也以硬盘位单位增加。对于存储周期很长的系统，比如1年以上，可以先把数据节点配满，保证系统性能，采用同一个批次的数据节点也容易维护。而硬盘则可以分期投资
15、，比如初始情况下，每个节点硬盘都没有配满，先保证一段时间的存储，在满之前每个节点均匀直接插入新硬盘即可，可以分多期投入。1.6.3.4 高性能，文件秒级下载系统的高性能可以很好的支持以后大规模的数据共享和高效的视频分析数据挖掘应用。通过各种加速技术，系统可以达到非常高的的读写速度，比如万兆网络条件下，单文件的下载速度最高可达400MB/s，一个一小时的视频文件几秒钟就可以下载完毕。系统采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性
16、能调节到最高，实现资源优化配置。同时，系统采用文件切片，以及文件切片内再进行节点间冗余的数据分散方式，使得客户端可以有效利用众多存储节点提供的聚合网络带宽，实现高速并发访问。客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。1.6.3.5 数据的高可靠，服务高可用数据是业务系统核心应用的最终保障，其可靠性至关重要。云存储系统的核心是一个分布式文件系统，设计时假设任意机框、任意节点、任意硬盘都可能出现故障，通过分布式的数据冗余、数据操作日志、元数据主备冗余，数据自动恢复等多种机制
