《CVR存储分系统设计方案》由会员分享，可在线阅读，更多相关《CVR存储分系统设计方案（9页珍藏版）》请在金锄头文库上搜索。
1、CVR存储分系统设计1.1 需求概述存储分系统的设计需建立满足承载应用系统要求的数据存储能力，根据用户的网络和实际应用情况，对视频监控存储系统的建设要满足如下需求： 高性能由于有多路摄像头数据并发持续写入，考虑以后摄像头的增加，并且同时有多路服务器可能读取数据，所以需要高性能处理的存储系统。 海量存储空间要对海量视频数据进行存储，这就要求存储设备必须提供海量的存储空间。 集中式管理与共享实现数据和存储空间的统一管理和共享，使数据的管理、备份非常方便。 可靠性数据的安全性是第一位的，系统应保障在单点或多点故障的情况下，仍然能够持续运行，并能在线的恢复正常。 可扩展性 随着监控范围的扩大，摄像头数
2、据量的增加和存储天数延长，存储系统的可扩展性尤为重要，良好的扩展性可以保证业务的连续性。 易用性系统的操作应具有灵活简便，人机界面友好，易于掌握的特点，操作人员能够方便物进行使用及维护，使整个系统的功能得以最大实现。1.2 存储架构设计如何构建一个高效、经济、安全的存储架构对于平安城市的成功建设是至关重要的，我们采用分级存储、属地化管理、网络化调用等存储管理方式来构建平安城市视频图像信息存储系统。图1. 海量存储系统架构示意图1.2.1 实时视频存储通常NVR无法满足大路数视频监控的统一存储管理，在性能和接入路数上都不能无法满足大项目的实际需求。实时监控存储应用中无论采用DAS直接存储结构或是
3、SAN的网络化存储结构，都需要配置大量的视频存储服务器。数据流通过视频存储服务器写入存储设备，点播回放的数据流也是需要通过存储服务器读出。这样造成的问题有：1) 服务器往往会成为存储系统的瓶颈；2) 服务器增加了整体系统的单点故障；服务器也增加了成本开销。本项目拟采用海康CVR（直存技术），该方案有着不可比拟的技术优势，在稳定和性价比方面，一直领先业内各友商产品，并在2014年度第三方IDC排名中，连续4个季度位居榜首！一、流媒体直存方案把录像软件和播放软件嵌入到存储设备中是整体上解决服务器存储模式不足的一种新方法；编码器的视频数据直接写入存储，平台和客户端可以直接从存储中点播；降低了客户使用
4、成本，也提高了性能和可靠性。流媒体直存存储设备是集编码设备管理、录像管理、存储和转发功能为一体的视频专用存储设备。即把录像功能和播放功能嵌入到存储设备中，实现编码器数据流直接写入存储，或通过流媒体转发写入存储。平台和客户端可以直接从存储中点播、下载。流媒体直存技术可以提高系统性能和可靠性，同时降低客户使用成本，并具备高性能、高可靠、高密度、大容量、易扩展的特点。因此，本方案设计采用先进的流媒体直存技术和视频监控专用存储设备，在区县级中心机房设立存储中心，用于集中存储管理本区县所有前端监控镜头的实时监控录像。二、流媒体直存存储方案优势分析采用流直存技术的存储设备是一款集编码设备管理、录像管理、存
5、储和转发功能为一体的专用化存储设备，具备低成本、高性能、高稳定、高可靠、架构开放等优势特点，具体如下：1) 低成本 省去视频存储服务器（PCNVR） 支持低价的监控级硬盘作单盘模式或组建RAID； 支持视频抽帧存储，可节省存储空间。2) 高性能 支持高达512路2M码流并发写入； 视频流无需打包成文件，可即时回放查看、快速定位，检索效率高； 采用专用数据管理结构，无文件系统，规避长期循环覆盖写产生的文件碎片而引起的系统性能下降的问题； 对外提供大容量录像卷。3) 高稳定 规避断网断电情况下，出现文件不可读或丢失的问题； 由于省去了存储服务器，简化了系统架构，降低了系统单点故障。4) 高可靠 设
6、备级保护，支持N+1备机冗余，当在线设备故障时，备机自动接管其业务； 断网补录（ANR），当前端设备与CVR设备之间的网络中断时，录像可自动保存在前端，待网络恢复后再回传到CVR设备； 数据备份，可支持前端设备录像备份，录像数据本地备份和异地备份； 录像丢失检测报警，支持实时数据的丢帧报警（取流失败持续15秒报警）和历史数据丢失报警（每小时定时检测）。5) 架构开放 前端IPC/DVR/DVS/NVR等编码设备以RTSP/SIP（GB/T28181）/ONVIF/PSIA等标准流媒体协议或SDK私有流媒体协议，直接通过网络写入存储设备。三、关键技术和重点功能1) 流数据管理结构视频流直写存储采
7、用流数据结构进行底层数据管理，实现基于裸空间的预分配策略，规避文件系统损坏引起的文件不可读或丢失的问题，同时避免因文件碎片累积造成的覆盖写入性能衰减，保证性能稳定。 “合流“技术：无论多少个视频流进入存储后结合海康Smart Sequence in Cache技术完全汇聚成一个写入磁盘的顺序数据流，实现并发随机转化为顺序录像，优化录像性能。为了实现合流技术，CVR内部维护了一个全局虚拟化的映射表完成随机到顺序的数据映射。 “流存”技术：裸空间直接存储视频流，循环写入时视频流不断从头到尾覆盖整个存储空间，消除文件系统损坏问题带来的隐患，同时完全消除循环覆盖带来的文件碎片问题，彻底解决因文件碎片导
8、致的写入性能下降问题。2) 丰富的部署方式和录像方式 部署方式支持从IPC/DVS/DVR/NVR直接取流录像；支持从流媒体服务器取流录像和在存储中进行流媒体转发；支持主子码流录像，并可自动或手动切换。 录像方式报警录像、定时录像、手动录像、移动侦测录像、信号量报警录像、视频丢失报警录像等多种录像方式。3) 抽帧存储针对安防应用的特性，对过去一定时间的数据可进行抽帧存储，减少存储容量需求，抽帧后的录像数据仍然可以播放，录像质量不会降低。支持按1/2、1/4、1/8的剩余容量比例和抽I帧的不同策略抽帧方式。4) N+1模式系统运行时间较长时，难免不出现设备级故障。N+1备机冗余功能保证工作机故障
9、时，录像业务不中断，数据不丢失，提供设备级保护，提升系统可靠性。其工作原理如下：指定一台存储设备作为监控主机，对网域内其他存储设备（工作主机）启动监控功能，当发现被监控的工作主机出现异常成为故障主机时，此台监控主机主动接管故障主机的工作，可以实现取流，存储，下载，回放等功能，同时继续监控故障主机，当发现故障主机恢复正常成为工作主机时，则停止所有的接管工作，并将接管期间的录像数据回迁到工作主机中。5) 数据完整性 智能补录（ANR）前端与数据中心网络异常时，前端设备启动录像并保存在本地存储设备上（SD卡，硬盘等）；网络恢复后，录像自动回传到中心CVR存储，保证数据的完整性。同时，CVR设备支持回
10、传策略设定，可选择在业务空闲时（例如下班时间）进行回传，解决业务繁忙时录像数据与业务数据的带宽竞争问题。 录像丢失检测报警针对恶劣的网络环境，经常出现网络中断导致视频数据丢帧或整段录像丢失的问题，为提升系统的可靠性和安全性，方便客户即时发现数据的不完整性，海康威视提出录像丢失检测及报警技术，该技术支持实时流检测机制和历史数据定时检测两种机制。实时流即时检测，当录像取流失败持续15秒以上则触发报警机制；历史数据固定每小时检测一次，当发现在策略调度时间段内或者手动录像时间段内存在录像丢失，则报警，同时恢复策略录像。6) 数据可靠性 数据备份多种数据备份模式：与前端共同实现双重备份、存储本地备份以及
11、存储间的异地备份。双重备份：带存储功能的前端设备实现本地录像存储，可同时吐流存入存储设备，实现数据前端和存储双重备份；存储本地备份：存储设备从前端设备取流后，将流数据写到录像卷的同时，自动将流数据备份到存档卷，不占用外部数据带宽，也无需平台干预。由于存档卷不会被循环覆盖，这增加了重要通道数据的安全性。存储间异地备份：是指将存储A机器上的录像数据备份到B机器的存档卷中，防止A机器因为异常或录像卷循环覆盖而造成重要录像数据的丢失，可实现跨局域网备份，无需平台干预。 录像锁定针对关键视频，需要超过录像周期时也不被循环覆盖。海康威视CVR存储设备可自动或按照策略对视频进行锁定。锁定方式：根据锁定策略,
12、录像的同时实现加锁；手动执行锁定录像段。锁定周期过后，自动解锁，同时支持随时手动解锁。 VRAID（VideoRAID）技术同一个RAID组内，无论多少块硬盘故障，只要还剩余一块无故障硬盘，其上面的视频仍可提供读取服务，最大限度的保护用户的数据资源，同时支持数据写入。1.2.2 重要数据备份存储重要数据备份存储系统主要用来备份核心监控点位的视频录像，以及保存报警事件关联视频录像、重要案（事）件视频等重点关注的内容，要求保存的周期至少为3个月以上（案事件数据至少保存1年以上），目的是对重要数据做到备份存储，其主要存储的是视频、图片等非结构化数据，这些具有数据容量不大、数据数量巨大、单位信息较小等
13、特点，同时具有检索、分析、比对等专业应用的需求。基于上述备份视频存储的需求，本方案推荐采用与服务器结合紧密的iSCSI高速块级存储技术IP SAN。在中心机房部署IP SAN存储设备，实现备份数据的长时间保存。1.3 存储策略说明图像信息存储采用分级存储策略，支持多种存储设备共存。具体存储策略说明如下：1）、前端设备在县局中心机房汇聚和接入，并采用流媒体直存存储设备进行图像的高性能存储，实时存储视频不少于30天2）、中心机房应采用IPSAN存储设备，对重点区域及重要图像进行保存。3）、中心机房只对重要图像进行保存，采用IPSAN方式进行存储。4）、中心机房可迁移存储关键监控点的视频图像。5）、
14、常态视频图像信息在保存30天后，如没有继续保存的需要，则被新的视频图像信息自动覆盖；如属于与案事件有关或其他重要的视频图像信息，可按行政管辖权限上传到上级监控中心保存，同时转移到本地监控中心专用的重要视频图像信息存储空间进行长期保存。1.4 存储容量计算1.4.1 视频图像存储容量计算系统支持200万像素高清、130万像素高清图像的实时存储和管理，新建视频监控系统存储容量按照1920*1080（1080P），4Mbps码流；1280*720(720P)，2Mbps码流。其存储空间计算公式：单路实时视频的存储容量(GB)【视频码流大小(Mb)60秒60分24小时存储天数/8】/1024；以一路视频图像在7天、15天、30天所需要的占用空间为例：存储天数视频规格7天15天30天1920*1080(1080P),4Mb码流295.3 GB632.8 GB1265.6GB1280*720(720P) ,2Mb码流147.65 GB316.4 GB632.8GB
