《交通视图云存储解决方案V1.0》由会员分享，可在线阅读，更多相关《交通视图云存储解决方案V1.0（19页珍藏版）》请在金锄头文库上搜索。
1、交通视图云存储解决方案2015-10更新记录序号日期新版本号更新说明作者1V1.0方案编写 2V1.0方案审核1 交通行业视频存储的挑战31.1 海量非结构化数据31.2 大容量41.3 大带宽高性能41.4 统一管理42 视图存储对存储系统的要求42.1 高并发性能42.2 高安全可靠性42.3 易扩展42.4 可管理性53 互信互通对象存储架构特点及优劣势53.1 架构特点简介53.2 优劣势分析64 互信互通对象存储系统设计64.1 设计思路64.2 设计目标64.3 设计方案描述84.3.1 大数据存储及平台设计94.3.2 方案设计图94.4 产品特性介绍104.4.1 EB 级扩展
2、104.4.2 存储策略154.4.3 安全可靠154.4.4 节能易管理171 交通行业视频存储的挑战近年来，随着视频技术的快速发展，交通视频监控的发展也已经进入高清华阶段，大数据时代的来临，视频监控存储技术和市场更是发生了质的变化。随着安防产品和技术的不断提升，对视频监控图像质量的要求越来越高，随之对数据存储的要求也越来越高，这就必然会促进视频监控存储市场的变革。面对快速发展的视频监控行业，视频存储领域又随之面临着哪些问题呢？未来面临的挑战和问题又是哪些？总结归纳，面临的挑战主要有几点。具体见下文描述。1.1 海量非结构化数据在交通行业，视频存储涉及的数据信息类型很多，以数据的结构类型来看
3、，包括了各类非结构化、结构化以及半结构化信息。l 非结构化数据主要指视频录像和图片记录，如监控视频录像，报警录像，摘要录像，车辆卡口图片，人脸抓拍图片，报警抓拍图片等;l 结构化数据则包括报警记录，系统日志记录，运维数据记录，摘要分析结构化描述记录，以及各种相关的信息数据库，如人口信息，地理数据信息，车驾管信息等;l 半结构化数据则如人脸建模数据，指纹记录等。据相关部门统计，交通行业的视频存储目前仍以图像视频等非结构化信息为主，其数据量占据了整个系统存储容量的60%。1.2 大容量近年来，随着视频技术的快速发展，交通行业视频监控的发展也已经进入高清华阶段，视频监控图像的存储时间往往都在1-3个
4、月甚至更久。以标准H.264压缩技术的高清网络摄像机为例，一路1080P高清摄像机，码流是8Mbps，24小时录像产生的数据量为84GB，30天录像数据量为2520GB，一年录像数据量为30TB。如果是一个交通项目，总的监控路数通常是几千到上万路，这样的存储规模是难以想象的，想把这些数据都存在普通硬盘里，年复一年，建一个“信息大厦”也存不下这些硬盘。1.3 大带宽高性能从应用层面讲，视频存储主要是视频码流的写入，表征性能的是存储能支持多少路码流(通常是384Kbps-2Mbps)。在多路并发写的情况下，对带宽、数据能力、缓存等都有较大影响，对存储的压力很大，这时候存储需要有专门针对视频性能的优
5、化处理。1.4 统一管理交通监控视频存储应用中，由于需要大量存储设备，存储设备中的海量数据，必须被有效的管理起来，对最终用户的使用提供方便、可靠、透明的支持。2 交通视图存储对存储系统的要求根据现状中的客户痛点问题，对于存储系统的建设提出了很高的要求，可以说存储系统建设的优劣将直接影响整个证据视频存储、编辑检索等的效率高低，因此，存储系统需要遵循以下5点进行搭建。2.1 高并发性能满足硬盘持续高带宽、高吞吐量存储需求，保证在视频检索等分析流程中提供更有力的性能支撑。满足大规模制作上千个前端应用，同时使用存储系统提供及高的并发性能和足够的带宽。2.2 高安全可靠性满足证据视频存储的安全保护需求，
6、防止因设备、部件等故障而导致停机或数据丢失。数据安全已经成为了业务连续性的基本保障，但传统的RAID技术只能从硬盘级别提供数据保护，随着磁盘数量的增多，硬盘故障的几率增加，RAID技术数据恢复时间长、保护范围有限等缺陷使其越来越不能满足实际应用的需求，用户需要更高可靠性的设计。2.3 易扩展支持未来灵活在线扩展，无论是硬件还是软件的扩充，均需要满足不断变化的业务需求。2.4 可管理性便于存储系统相关资源管理及存储数据一体化管理，使IT管理员更加简洁有效地监控、管理和分配资源。3 互信互通对象存储架构特点及优劣势HX8000大数据存储系统主要由接入节点、存储节点、存储网络三部分组成。 3.1 架
7、构特点简介互信 HX8000大数据存储系统基于低功耗、高密度Kinetic对象以太网硬盘架构，通过采用Daasbank Object Storage（简称DOS）对象存储、分布式存储集群引擎、大数据应用等技术，构建巨量数据对象存储基础架构平台。互信HX8000对外提供大容量，高安全，低成本，高可靠以及高扩展存储服务、大数据的存储、检索、调整等，可以支撑多种云存储解决方案。互信HX8000支持单文件最大5TB，可应用于大数据的存储、检索分析。互信HX8000大数据存储系统采用动态扩展技术，用户无需中断应用的运行就可以通过HX8000的配置工具动态添加节点以扩大系统的容量、性能和规模，系统会自动实
8、现负载均衡。而随着存储节点数据的增多，整套系统的聚合带宽也会线性的增长，完全可以满足业务不断发展所产生的容量和性能需求，保持用户业务的连续性。3.2 优劣势分析架构优劣势分析如下表：架构优势n 对象存储架构，天生适用海量非结构化数据。n 高安全，全冗余集群设计，允许整机宕机。n 吞吐量带宽大，高并发性能高，满足后期的视频检索，分析，调整等。n 去中心化设计，更低成本，更低CTO，成本降低50%，性能提升4倍n 易用性，中文监控管理界面。架构劣势n 初期投资2个节点以上，不适应微小规模项目4 互信互通对象存储系统设计4.1 设计思路采用互信大数据存储HX8000构建海量数据存储分析云存储，能够充
9、分利用存储资源，提高安全性和低风险地新一代灵活可靠的IT技术。云存储系统可以构架虚拟化存储系统，实现不同容量、不同地区的异构存储聚合，全面管理大型基础架构资源池，包括处理器、存储和网络等，使其成为一种无缝、灵活、动态的操作环境，同时结合全局文件系统，实现数据云交换。4.2 设计目标l 架构领先互信HX8000大数据系统基于新一代的Kinetic以太网对象硬盘应用了国际领先的对象存储架构作为支撑，可支持海量的非结构化信息数据处理。计算性能与数据处理规模可以动态伸缩。未来可以自由的扩展，满足不断增长的应用需求。l 存储资源池虚拟化存储平台将所有硬件资源构建成一个大的集群资源池，将处理性能、缓存、带
10、宽聚合按需分配资源。服务应用不在与硬件一一绑定，即一个硬件不在单独为一个硬件服务，资源从专有独占的方式转变为完全共享方式。l 管理智能化自动化的管理，故障自动迁移恢复，不需人工干涉。通过DRS技术自动合理分配资源，自动休眠。透明的IT资产管理，清晰的网络运维情况，在线人数检测 ，设备使用率在线检测。l 数据存储并行化 鉴于多个应用服务器计算节点需要共享访问数据，并发访问的程度较高，这给存储系统带来较大的IO压力。互信HX8000大数据存储系统通过多台接入节点和存储节点提供同时数据存取服务的方法以满足大量应用服务器的并发访问需求。在应用服务器端，当应用程序往存储系统上写文件时，文件将会被根据一定
11、大小进行分片存放到多台存储节点上；在应用程序读文件时，则并发的从多个服务器上读取数据。由于大量的数据IO请求都被分散到多台存储节点上，使得所有的存储节点上的磁盘性能和网络带宽都可以同时得到充分的利用，这样互信HX8000大数据存储系统的聚合带宽由多台的存储节点上的IO带宽相加而成，从而克服了原来SAN或NAS的单一出口点所造成性能瓶颈，以先进的分布式架构模式来满足用户对业务应用的需求。l 兼容性良好 互信HX8000大数据存储采用分布式云存储架构模式，将所有硬件资源构建成一个大的集群资源池，将处理性能、缓存、带宽聚合按需分配资源。服务应用不在与硬件一一绑定，即一个硬件不在单独为一个硬件服务，资
12、源从专有独占的方式转变为完全共享方式。采用互信HX8000大数据存储系统，是面向对象、面向服务、模块化设计的存储系统，在存储的整体架构中，可实现按需分配的原则，保证各种应用对资源的调取，实现整体存储资源的共享，满足前端海量视频存储业务需求的网络性能，并能实时在线的大规模扩容。将网络将物理分布的存储资源聚集在一起，无缝兼容虚拟化，互信HX8000大数据存储系统独有的分布式元数据集群算法，消除了单点故障和性能瓶颈，真正实现了分布式架构的并行化，可跨广域网进行数据管理和访问。l 可靠性高本套存储主要用于收集视频监控设备录取的数据，在使用存储系统过程中有两大特点，第一、全年不间断存取存储数据，对硬件寿
13、命是一个极大的考验；第二、因为存储的数据用于案件的侦破工作，证据视频存储，数据的完整性和安全性更为重要。基于这两大特点，对存储系统更是提出了较高的要求，正是由于全年不停机硬盘进行高速的运转，直接将导致硬盘硬件老化严重，硬盘故障率高，传统的存储系统基于RAID机制进行数据保护，以RAID5举例来说，存储系统组件RAID5后，由于RAID5的保护机制，只能支持到坏一块硬盘，当维护人员对坏损硬盘进行更换时，如果有另外一块硬盘损坏，那么数据将有丢失的风险，且RAID5重建时间较长，尤其是面对公安行业这种海量数据大容量磁盘，其恢复时间会更长，在恢复过程还会极大降低系统的整体I/O性能对数据安全性是一个极
14、大的威胁，还会有可能影响应用业务的正常使用。建立一套更高安全机制的存储系统，在保证公安行业的数据安全和业务连续性方面，显得更为重要。l 安全性强 策略机制安全性互信HX8000系统采用了灵活的文件副本设定机制，对重点文件可设定2/3/4等多种保护策略机制，可实现多数据中心的融合。 架构设计安全性 互信HX8000整体产品架构包括两部分，分别是接入节点和存储节点。接入节点负责数据的调度，上层业务的数据请求通过它分发到存储节点；存储节点负责数据的存储。两者均采用高可用集群部署，分别是业务集群和存储集群，以满足海量数据需求。l 易操作维护 互信HX8000大数据存储系统采用标准的TCP/IP架构，具
15、有智能化故障高速修复功能。管理必须能够集中化、自动化、智能化，确保管理工作量不会随着容量的增长而增加。互信HX8000大数据存储系统管理平台提供了有利于管理人员操作的友好的中图形用户界面及完备的用户手册，管理界面易操作、简洁高效，能够使管理员很容易掌所致系统的管理、监控和维护升级。管理操作过程提供图形模式操作，全面满足使用者简单易用的需求。 系统维护是一项繁重的工作，代价也颇高。可以说，一个系统的易维护性决定了该系统的寿命，也决定了该系统的实际运行成本。系统管理应有详细设备运行状态报表和监控预警功能，当系统出现风险时及时通知管理员采取有效措施，避免出现严重问题。系统硬件设备采用全冗余模块化设计，当进行系统维护时能够快速的完成，简化管理人员工作量同时降低了系统停机时间。 互信HX8000大数据存储系统支持集群化部署功能，只需要通过1个统一管理界面就可以完成对大数据存储系统内所有的存储节点进行配置操作。在部署
