《天网云存储系统建设方案》由会员分享，可在线阅读，更多相关《天网云存储系统建设方案（13页珍藏版）》请在金锄头文库上搜索。
1、天网云存储系统建设方案1.1 存储需求概述XX天网二期需要建设XX个高清监控点位，随着城市防控体系系统规模越来 越大，以及高清视频的大规模应用，对系统中需要存储的数据和应用的复杂程度 在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以 调用，对存储系统的可靠性和性能等方面都提出了新的要求。面对数百TB甚至上PB级的海量视频存储需求，传统的SAN或NAS在容 量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现 性能与容量的线性扩展，这对于本项目存储系统来说是一个新选择。视频云存储通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中 的存储设备集合起来协
2、同工作，共同对外提供数据存储和业务访问功能。为满足 本次高清点位视频存储的需求，同时符合行业发展趋势，满足业务使用需求，本 次XX天网二期拟建设云存储系统进行录像存储和业务访问接口。大容量存储需求随着各地城市视频监控系统建设的深入，摄像头数量日益增多。前端建设普 遍采用1080P高清摄像机。依据平安城市的建设要求，高清图像存储30天，那 么一万路视频的总存储容量需要大致为十几个PB。集中存储需求对于城市级系统数十 PB 的存储需求，若采用通用 IPSAN 存储方案，则需上 千台IPSAN，难以实现高效、统一的存储与设备管理，无法高效支撑公安视频实 战应用。高IO性能需求基于视频大数据的智能实战
3、应用对大量视频的快速收集与分析有非常高的 要求，而传统IPSAN存储方式由于IO性能低，无法满足视频大数据应用的存储 与应用要求。1.2 存储系统基本要求在设计XX天网视频监控系统存储系统时，依据以下设计要求：(1) 监控点的录像过程将对网络交换设备产生很大的压力，核心交换机应能 负担如此大的交换压力，需考虑网络故障以后录像数据的缓存功能以及网络恢复 以后的补录功能。(2) 能集中管理所有存储资源并统一调度，统一部署存储策略。与存储资源 物理位置无关，只要 IP 网可达，便可实现对存储资源随时随地检索和回放。(3) 保障存储系统数据的安全性，对访问权限进行集中管理与分配。(4) 存储空间统一管
4、理、统一分配，可实现无缝在线扩容。(5) 存储系统具有冗余备份的能力，提供持续稳定的性能。(6) 存储系统提供标准的运维接口，维护简单方便。 (8)存储系统具备高可靠性，出现设备故障后，存储业务不中断。本项目在 XX 分局建设分布式视频云存储中心，每个存储中心依据接入到该 区的视频前端的数量实际情况，规划建设分布式云存储系统。1.3 云存储拓扑示意图RCIP匚 NFSi卡口獅i& 一卡cwi丑陀巧眼甘器 存幡眼务開UCS 的存储节点通过 Uni-FS 分布式文件系统，将多台存储节点上的物理资源形成一个统一的大存储池对外提供数据存储空间，并提供数据保护功能。云存储提供标准的CIFS/NFS/FT
5、P/HTTP等文件传输访问协议；通过流媒体服务器过存储服务器实现照片流，视频流的转存；提供标准访问接口，兼容性好；利用云存储提供的纠删码、复制卷等多种基础数据可靠性，解决视频数据冗 余问题，当存储节点、磁盘故障保证业务不中断，数据不丢失。1.4 云存储架构下图为分布式云视频存储解决方案总体架构图。縊虽城八一“一匚丄I11二;.！1负脚術 1i|_ 一1 _业券腮努雇gfl?务解SI屈务 Uj_ .HTP.讯务 m M 09 ea 卜 mb W m Bi -JL .-L“.:二工二-二”工二存碼节点1存讪书点工存诽节底“云存儲图：分布式云视频存储解决方案总体架构图本次项目所采用的分布式云存储方案
6、主要包含三大模块，分别为：业务服务 层，数据处理层以及物理硬盘层。业务服务层作为云存储系统的对外管理 GUI 界面和业务功能服务层，实现云存储相关的功能，如负载均衡、故障自动切换、认证管理、配额管理等，并可基 于标准协议ISCSI/NFS/CIFS/FTP、POSIX接口等提供对外的业务连接接口;数据处理层作为云存储系统所有存储节点之上的分布式文件系统，它将各物 理存储设备节点组成一个集群，对外提供文件存取和数据保护等功能。完成内部 文件系统的管理，完成各存储节点间的通信和任务调度、任务监测等。完成存储 节点和设备的虚拟化。它采用无元数据设计的全对称分布式架构，支持3300 个存储节点的弹性无
7、缝扩展，可提供PB级单一存储空间。物理磁盘层为云存储系统的基本组成单元，对外提供数据存储空间，包含实 际的存储节点及其所插入的硬盘等。本次项目新建的摄像机通过运营商提供的网络直达区分局机房，各分局对应 的摄像机视频存储在各分局建设的分布式视频存储中心中，其中 XX 分局的视频 资源就近接入XX分局分布式视频存储中心，XX分局视频资源就近接入到XX分 局分布式视频存储中心。1.5 云存储功能特性1.5.1 无元数据设计元数据就是记录数据逻辑与物理位置的映像关系，以及诸如属性和访问权限 等信息。传统分布式文件系统一般采用集中式元数据服务或分布式元数据服务来 维护元数据。集中式元数据服务会导致单点故
8、障和性能瓶颈问题，一般情况采用双机主备 方式来解决单点故障问题但无法解决性能瓶颈问题，因此此类分布式文件系统的 扩展性相对来说较差；而分布式元数据服务存在增加算法的复杂度，在性能负载 和元数据同步一致性上存在问题，特别是对于海量文件的应用，元数据问题是个 非常大的挑战。本次宇视UCS云存储系统采用无元数据服务的设计，取而代之使用算法来定 位文件。集群中的所有存储系统管理单元都可以智能地对文件数据分片进行定位, 仅仅根据文件名和路径并运用算法即可，而不需要查询索引或者其他服务器。这 使得数据访问完全并行化，从而实现线性性能扩展。1.5.2 弹性算法本次设计的UCS云存储系统，不需要将元数据与数据
9、进行分离，集群中的任 何存储节点和客户端只需根据路径和文件名通过弹性HASH算法就可以对数据进 行定位和读写访问，且文件定位可独立并行化进行。imi 二沪比 27-ji-31.5.3 全局统一命名空间分布式文件系统最大的特点之一就是提供全局统一的命名空间。全局统一命 名空间就是将多个存储服务器的磁盘和内存资源聚集成一个单一的虚拟存储池， 对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池 中进行弹性扩展。全局统一命名空间可以让不同的用户通过单一挂载点进行数据 共享，I/O可在命名空间内的所有存储设备上自动进行负载均衡。本次项目采用的宇视UCS云存储系统是基于文件系统提供统一
10、命名空间，在 同一个、云存储系统中可以同时有多个文件系统的卷(物理资源池，由多个存储 设备的资源组成)，不同的卷创建的文件系统有不同的命名空间。云存储系统同 时也是基于文件系统的卷提供共享文件目录，因此不同用户可通过访问这个单一 的共享文件目录，实现IO在这个文件系统命名空间内的所有存储设备上自动负 载均衡。1.5.4 纠删码数据保护本次项目宇视UCS云存储系统的数据保护采用数据N+M纠删码保护模式， 通过N+M纠删码实现M个节点冗余，资源利用率为N/(N+M)云存储支持基于文件系统级别（卷级别）的 NM 纠删码，对文件采用原数 据+冗余数据的保护模式,N为文件原始数据分片份数,M为冗余数据分
11、片份数。在N+M卷模式下，最多可允许M个节点故障，数据仍可被正常访问，并自动恢 复。如下以 42 为例介绍 ：文件写入，文件被分为多个固定大小的数据块，而1个数据块被分为N个数据分片，通过N+M纠删码算法得到M个冗余分片，存入N+M个存储节点，如下圖走大小存储节福1存祐节点2存储诘点m存储节点耳存睹节鳶5得慵节疸图；在没有存储节点故障时，文件直接从数据分片中读取。测敷擱分片通離擱分片温敷擱甘片何站擱分片 糾删码算法冗余幅甘片冗余截据甘片固琢大少+s+B1垣大小-哋块數据快文件当M个节点故障时，文件读取恢复:可通过其他节点数据算出数据，如下图:文件冗杀啊甘片回走大小存储节蠱1存祐节点2荐慵节点3
12、舂傭节点斗存傭节点5荐傭节点零固走丸小 啟捉块躺捌码JI浚囚走丸小 哋块确晰甘片陌敷搁甘片趣愎据甘片确數18甘片1.5.5 弹性扩展本次项目UCS云存储系统采用无元数据设计，通过弹性HASH算法定位文件 访问的架构，决定了云存储系统获得了接近线性的高扩展性。UCS云存储系统支持从横向和纵向的扩展模式，实现在容量、性能和带宽三 方面的线性扩展。横向扩展：通过增加存储节点，实现系统容量、性能和带宽的扩展。存储节 点最大可扩展至 300 个。纵向扩展：在单节点的硬件性能范围内，通过增加磁盘扩展柜和磁盘实现系 统容量和性能的扩展。1.5.6 负载均衡与故障切换本次采用的UCS云存储系统提供前端虚拟IP
13、地址池，为节点分配动态IP 地址，客户端根据域名访问云存储系统，采用轮询的方式为客户端（流媒体服务 器等）返回不同的IP地址，实现业务在不同节点上进行读写访问，从而达到业 务负载均衡的目的。客户端访问云存储系统如图示： 客户端使用域名访问云存储系统，发送域名解析请求到DNS服务器； DNS 服务器轮询返回云存储系统前端虚拟 IP 池中的 IP 给客户端； 客户端使用 DNS 返回的 IP 访问云存储中相应的节点。笑十i决3衬电M户删IS2.1SS.O. 1D询神即拧jru户仙丄92.1GE.O.2O12. 1&S.C.3O192. 168.0.35故障切换功能是当节点宕机之后，可以将该节点上的
14、动态IP地址漂移到其 他节点上，由其他节点继续提供服务，保持业务的连续性，待故障存储节点恢复之后，重新为该节点分配动态IP地址，继续提供服务。川1沖JTU眄山IPiSi.lce.D 10192.168.020132.168.0 .M|! 152.16S.C 15102.teSO25i92.iGS.0=J5Iriwumpiu192.1 bt.C, 10152.1 .0.20 a，W-B s-s-s-s-n s s .事MioiPiLh192 1E8U9.1SH16S,O-.M192.16?.O1B1.5.7 访问协议本次采用的UCS云存储系统支持NFS、CIFS、FTP、HTTP、iSCSI协议
15、访问。NFS主要应用于流媒体服务器为Linux的操作系统;CIFS主要应用于流媒 体服务器为windows的操作系统，实现视频文件和照片文件的存储与访问。FTP是TCP/IP网络上两台计算机传送文件的协议，FTP客户机可以给服 务器发出命令来下载文件，上传文件，创建或改变服务器上的目录，支持间接使 用远程计算机， 使用户不因各类主机文件存储器系统的差异而受影响； 可靠且 有效的传输数据。HTTP协议（HyperText Transfer Protocol超文本转移协议）是用于从 WWW 服务器传输超文本到本地浏览器的传送协议。1.5.8 认证方式UCS云存储系统支持本地认证和外部域认证，域认证支持外部AD域服务 器认证，外部 LDAP 域服务器认证和外部 NIS 域服
