《大规模监控视频高可靠存储方案》由会员分享，可在线阅读，更多相关《大规模监控视频高可靠存储方案（14页珍藏版）》请在金锄头文库上搜索。
1、 大规模监控视频高可靠存储方案目 录1 前言31.1 大规模视频监控方案特点31.2 大规模视频监控方案趋势之高清建设32 视频存储需求分析42.1 存储性能需求分析52.2 存储容量需求分析62.3 关键技术需求分析63 存储网络及存储类型分析83.1 DAS（直接访问存储）83.2 NAS（网络附加存储）83.3 FC SAN（光纤存储区域网络）93.4 IP SAN（IP存储区域网络）103.5 存储产品选型分析114 系统方案设计124.1 存储产品优势124.2 存储系统设计141 前言 随着城市化进程的不断加剧，平安城市建设规模越来越大，整个城市的点位数从以前的千级上升到万级，而随
2、着网络视频监控技术在平安城市中的普及应用，监控视频的存储数据量也随着跨越式增长，如何稳定、高效的对这些视频数据进行存储成为了平安城市建设中不得不考虑的一个问题。1.1 大规模视频监控方案特点根据其业务需求，大规模监控系统有如下要求：系统延时小实时性强系统可靠性高图像清晰，视频流畅，运动图像表现好(对于高速变化的图像，其画面质量也必需清晰)，最大编码帧率必需达到25fps图像压缩比高存储可靠性高1.2 大规模视频监控方案趋势之高清建设视频监控业务走向高清之路是必然趋势，但高清是一个系统概念，不仅前端摄像机要高清的，传输设备、存储设备、显示设备等都需要是高清的。在这个系统链路上，任何一个环节不满足
3、高清需求，都会造成系统缺陷，达不到整体的高清质量，故高清视频监控系统严格意义上来讲是一个系统工程。目前高清视频系统的两大技术流派：1、 以广播行业标准演进而来的HDTV非压缩监控系统，主要是使用HD-SDI(1.485Gbit/s)高清视频信号作为高清摄像机、高清光端机、高清矩阵、高清显示设备互连的标准。系统图像质量优异，图像无延时；此方案优点突出缺点也明显，只支持高清，不能做到高标清混合；图像存储方案需要与IP高清监控系统混合才能形成完整高清解决方案，建设投资是所有高清方案中最高的。2、 基于帧内及帧间压缩的HDTV解决方案(压缩标准主要采用H.264)，也就是以网络高清摄像机、IP承载网、
4、IP存储为典型系统组成部件的高清视频监控系统。随着地铁线路的延长和多条线路的交汇，地铁监控有持续扩容的要求，因此对监控系统的技术开放性有较高要求，但同时对建设成本会有严格的控制。地铁监控应用对图像质量，图像延时，系统的可靠性都有很高的要求。图像编码H.264压缩方案需支持到MainProfile以上级别，保证活动图像细节体现。无论系统规模多大，需要做到任意图像的编解码延时必须做到300ms以内。车站、监控中心显示墙任意图像调度与PC终端任意图像调度时间要小于500ms。综上，HDTV非压缩监控系统与IP高清监控系统混合建设的系统可以满足地铁需求，前者实况图像质量优质无延时，录像质量取决于编码技
5、术，适合地铁高清建设，但建设投资高，扩容成本高，系统较复杂；IP高清监控系统使用H.264MainProfile以上级别图像编码技术，实况、录像图像质量好，低延时，投资最低，扩容简单成本低，广泛适用于各大中城市地铁高清建设。2 视频存储需求分析视频监控系统一般具有监控点多，摄像头数量多，监控时间长，采集数据的时间往往长达几天或几十天。因此应用在视频监控系统中的存储设备在数据读写方式上具有与其它类型系统不同的特点，主要表现在以下几个方面：1、编码器或采集服务器以流媒体方式写入数据，实时存储监控点的实时图像和画面，存储的文件类型为流媒体文件，因此检索服务器也会以流方式来读取已存储的视频文件。2、数
6、据读写操作的持续时间长。由于摄像头一般都是7*24 小时工作的，即使采集后视频数据采用分段保存，写入操作的持续也有可能长达2-6个小时，后期回放时也需要相同的时间。为了保证视频在采集过程和回放过程不会发生丢帧现象，存储系统不仅要求有足够的带宽，还要求存储系统具有超强的长时间工作能力，保持长时间的稳定性。3、除了数据读写时间长外，由于视频采集过程中，视频文件格式一般都不会发生变化，且码率保持恒定，因此视频监控系统的读写操作还具有码率恒定，也就是带宽恒定的特点。4、视频监控系统存储的读写方式与数据库系统存储和文件服务器存储采用的小数据块读写或文件传输读写方式与有着根本的区别，因此视频监控系统存储在
7、技术参数要求方面与其它应用系统有较大的区别。5、视频监控系统一般具有摄像头数量多，视频图像存储时间长，存储容量大等特点，因此视频监控系统存储必须支持大容量，且容量具有高扩展性，满足长时间大容量视频图像存储的需求。6、因为视频监控系统的数据量十分巨大，而且需要保留的时间不长，如果通过磁带备份方式来进行备份，数据的备份时间和恢复时间将会是一个非常漫长的过程，所以不能采用其它应用系统如银行、电信等所应用的磁带备份方式来为视频流数据提供安全保障，而需要通过存储系统的品质（可靠性、稳定性、安全性）来保证视频信息的安全。2.1 存储性能需求分析本项目对存储性能需求有以下几个要求： 1、以流媒体方式对存储设
8、备进行访问；2、视频流连续同时写入；3、满足若干个客户端并发访问；4、视频访问带宽要求较高，并要求带宽恒定；5、视频访问时间长，要求存储稳定性高；2.2 存储容量需求分析视频存储容量计算工式如下：摄像头数量（路）*码率*1小时（3600秒）*24小时(每天)*存储时间（天）=存储可用容量2.3 关键技术需求分析1）硬盘在硬盘类型的选择上，目前市面上常用存储硬盘有FC、SAS、SATA三种，其中FC/SAS硬盘价格非常昂贵，同样容量的FC/SAS硬盘价格会比SATA硬盘贵80%以上，且FC/SAS硬盘单碟容量最大仅为600GB，而SATA硬盘单碟最大容量则达到2TB、3TB。考虑到视频存储的海量
9、需求，本项目中建议采用单块3TB容量的企业级SATA II硬盘。采用SATA II技术的硬盘推出已有很长一段时间，技术上较成熟、稳定，作为大容量存储，它具有低得多的每GB成本，同时它又具备热插拔等服务器硬盘技术。2）Raid技术磁盘阵列可以有效提高存储系统的性能，但也存在缺点。那就是由于多个设备(磁盘)同时运行，导致了可靠性降低(从概率的角度来讲:N个设备的可靠性是一个设备的1/N)。为此，需要采用RAID技术，即通过给磁盘阵列增加冗余磁盘的方式来提高磁盘阵列的可靠性。所谓冗余磁盘，即该磁盘不用于存放实际数据，而用来存放少许冗余信息，而这些冗余信息可用来在必要的时候进行有效数据恢复，从而增加磁
10、盘阵列的可靠性。目前应用较多的RAID方式是RAID0，RAID1、RAID5及RAID6。a. RAID0通过实现磁盘阵列存放数据条带状分布,提高了大规模数据访问的性能，但并没有冗余容错的功能。b. RAID1实现了数据条带状分布，同时，在数据写入一个磁盘的时候，相应情况下在另一个磁盘做相应的镜象,具有数据容错功能。但磁盘利用率比较底，仅为50%。RAID10磁盘利用率同样仅为50%，因此不另行分析。 c. RAID5实现了单个磁盘冗余纠错功能，提高了磁盘有效利用率。其校验信息并非存放在一块固定磁盘上，而是存放在不同磁盘，这样可以平衡各个磁盘的读写次数，从而平衡各个磁盘的运用频率(因为校验位
11、的读写要相对频繁)。综合磁盘利用率、性能和可靠性等各个因素，RAID5是目前主流的RAID技术。对于N个硬盘，只需要用1块做冗余校验，磁盘率用率为（N-1）/N。RAID5的读取性能很高，接近于RAID0。但在写性能上有一定的牺牲，特别是在硬盘数量非常大的时候，因此一般RAID5组的硬盘数量应控制在5-12个。RAID5在1个硬盘出现故障的时候，仍可以正常工作，保证数据的读写不会发生中断。如果有2个或以上的硬盘同时出现故障，则RAID5失效，不过多个硬盘同时发生故障的机率非常低。为了进一步增强RAID5的可靠性，一般结合全局热备盘共同使用，在出现1个硬盘故障时，立即自动的用热备盘替换故障硬盘，
12、这样RAID5的可靠性就可以得到全面的保障。d. RAID6RAID6是近年出现的新RAID技术，与RAID5最大的不同就是能提供第二个校验位，可使得在2块硬盘同时出现故障时，RAID组仍能正常工作。由于RAID6使用了更为复杂的多重校验计算，它的读写性能受到很大的影响，特别是在写数据的时候。RAID6没有统一的技术标准，各个厂商的实现方式都不一样，目前还没有得到大规模的应用。综合以上分析，考虑到可靠性与系统性能的平衡，建议采用Raid5技术（单个Raid组应不超过24块硬盘），并结合热备盘(即一旦磁盘阵列某块盘发生故障时，则通过校验盘向热备盘转移数据)的设置，以确保存储数据的安全性。3 存储
13、网络及存储类型分析网络架构主要是指存储设备与服务器或工作站之间的连接方式，数据读写方式和共享方式。主流的存储系统网络架构有DAS、NAS、SAN三种网络架构，其中SAN网络环境中，因采用存储设备类型的不同又可以分为FC SAN（采用光纤通道存储产品）和IP SAN（采用iSCSI存储设备）。3.1 DAS（直接访问存储）DAS是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。DAS方式实现了机内存储到存储子系统的跨越，但是缺点依然有很多：u 扩展性差，服务器与存储设备直接连接的方式导致出现新的应用需求时，只能为新增的服务器单独配置存储设备，造成重复投资。u 资源利用率低，DAS方式的
14、存储长期来看存储空间无法充分利用，存在浪费。不同的应用服务器面对的存储数据量是不一致的，同时业务发展的状况也决定这存储数据量的变化。因此，出现了部分应用对应的存储空间不够用，另一些却有大量的存储空间闲置。u 可管理性差，DAS方式数据依然是分散的，不同的应用各有一套存储设备。管理分散，无法集中。异构化严重，DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，导致维护成本据高不下。3.2 NAS（网络附加存储）NAS是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。 NAS的优点：u NAS可以即插即用。u NAS通过TCP/IP
15、网络连接到应用服务器，因此可以基于已有的企业网络方便连接。u 专用的操作系统支持不同的文件系统，提供不同操作系统的文件共享。u 经过优化的文件系统提高了文件的访问效率，也支持相应的网络协议。即使应用服务器不再工作了，仍然可以读出数据。 NAS的缺点：1、NAS设备与客户机通过企业网进行连接，因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用。2、共用网络带宽成为限制NAS性能的主要问题。3、NAS访问需要经过文件系统格式转换，所以是以文件一级来访问。不适和Block级的应用，尤其是要求使用裸设备的数据库系统。3.3 FC SAN（光纤存储区域网络）FC SAN由服务器，后端存储系统，FC SAN连接设备组成；后端存储系统由FC SAN控制器和磁盘系统构成，控制器是后端存储系统的关键，它提供存储接入，数据操作及备份，数据共享、数据快照等数据安全管理，及系统管理等一系列功能。后端存储系统为FC SAN解决方案提供了存储空间。使用磁盘阵列和RAID策略为数据提供存储空间和安全保护措施。连接设备包括交换机，HBA卡和各种介质的连接线。FC SAN的优点：u 高性能，服务器和存储设备通过专用的网络（光纤通道）连
