分布式存储解决

《分布式存储解决》由会员分享，可在线阅读，更多相关《分布式存储解决（13页珍藏版）》请在金锄头文库上搜索。

1、分布式存储解决方案分布式存储解决方案篇一：基于分布式架构的内容存储解决方案基于分布式架构的内容存储解决方案 摘要:本文介绍了 Bycast 分布式内容存储系统,可以对企业与机构的存档信息进行快速安全访问。通过该系统构建的分布式存储环境为内容管理环境提供了新的参考。 关键词:Bycast 内容管理 分布式存储 随着信息的巨量增长,人们对内容的需求正在加剧。今天,在许多业务领域,非结构化数据或数字内容(内容管理系统管理的一类信息)正以每年 200%的速度快速增加。许多企业事实上已经淹没在内容的汪洋之中。一套理想的解决方案应该通过一个统一的储存库在多个部门之间展开内容管理,允许各部门与其他业务部门轻

2、松共用并重复使用其内容,并从存取这些有价值资讯中获益。 1 Bycast 内容管理系统 Bycast 使用先进的虚拟化、自动化和网格技术,这些技术可以为企业与机构的存档信息进行快速安全访问,同时还可以提供实时故障切换与自恢复能力以及信息生命周期管理和先进的数据保护功能。Bycast 通过为企业应用提供单一的存储系统来实现,即将底层的存储仓库汇集成单一的企业存储池甚至是这些存储仓库分散在跨多家机构以及包含多家供应商的存储介质中。这样,这款高度自动化的系统就允许 IT 管理员将主要精力集中在存储规划和基础设施改进以及消除很多人工管理任务上,从而实现更高的 IT服务水平。 篇二：分布式文件存储方案1

3、DFS 系统 (DFS) 是 AFS 的一个版本，作为(OSF)的分布 分布式文件系统 式计算环境(DCE)中的文件系统部分。 如果文件的访问仅限于一个用户，那么分布式文件系统就很容易实现。可惜的是，在许多网络环境中这种限制是不现实的，必须采取并发控制来实现文件的多用户访问，表现为如下几个形式： 只读共享 任何客户机只能访问文件，而不能修改它，这实现起来很简单。 受控写操作 采用这种方法，可有多个用户打开一个文件，但只有一个用户进行写修改。而该用户所作的修改并不一定出现在其它已打开此文件的用户的屏幕上。 并发写操作 这种方法允许多个用户同时读写一个文件。但这需要操作系统作大量的监控工作以防止文

4、件重写，并保证用户能够看到最新信息。这种方法即使实现得很好，许多环境中的处理要求和网络通信量也可能使它变得不可接受。 NFS 和 AFS 的区别 NFS 和 AFS 的区别在于对并发写操作的处理方法上。当一个客户机向服务器请求一个文件(或数据库记录)，文件被放 在客户工作站的高速缓存中，若另一个用户也请求同一文件，则它也会被放入那个客户工作站的高速缓存中。当两个客户都对文件进行修改时，从技术上而言就存在 着该文件的三个版本(每个客户机一个，再加上服务器上的一个)。有两种方法可以在这些版本之间保持同步： 无状态系统 在这个系统中，服务器并不保存其客户机正在缓存的文件的信息。因此，客户机必须协同服

5、务器定期检查是否有其他客户改变了自己正在缓存的文件。这种方法在大 的环境中会产生额外的 LAN 通信开销，但对小型 LAN 来说，这是一种令人满意的方法。NFS 就是个无状态系统。 回呼(Callback)系统 在这种方法中，服务器记录它的那些客户机的所作所为，并保留它们正在缓存的文件信息。服务器在一个客户机改变了一个文件时使用一种叫回叫应答 (callbackpromise)的技术通知其它客户机。这种方法减少了大量网络通信。AFS(及 OSFDCE 的 DFS)就是回叫系统。客户机改变文件 时，持有这些文件拷贝的其它客户机就被回叫并通知这些改变。 无状态操作在运行性能上有其长处，但 AFS

6、通过保证不会被回叫应答充斥也达到了这一点。方法是在一定时间后取消回叫。客户机检查回叫应答中的时间期限以保证回叫应答是当前有效的。回叫应答的另一个有趣的特征是向用户保证了文件的当前有效性。换句话说，若 一个被缓存的文件有一个回叫应答，则客户机就认为文件是当前有效的，除非服务器呼叫指出服务器上的该文件已改变了。数据软件Yonghong Z-Data Mart Yonghong Data Mart 是一款数据存储、数据处理的软件。 Yonghong Data Mart 采用基于 ZDFS 的分布式列存储系统，就是将数据分散存储在多立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服

7、务器 成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负 荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。 Yonghong Data Mart 的分布式文件存储系统 (ZDFS)是在 Hadoop HDFS 基础上进行的改造和扩展，将服务器集群内所有节点上存储的文件统一管理和存储。这些节点包括唯一的一个 NamingNode，在 ZDFS 内部提供元数据服务；许多 MapNode，提供存储块。存储在 ZDFS 中的文件被分成块，然后将这些块复制到多个计算机中（

8、Map Node） 。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。Naming Node 监控存在服务器集群内所有节点上的文件操作，例如文件创建、删除、移动、重命名等等。 Network File System 2NFS 介绍 NFS 定义 （NFS） （Network File System）是个分布式的客户机/服务器文件系统。NFS 的实质在于用户间计算机的共享。用户可以联结到共享计算机并像访问本地硬盘一样访问共享计算机上的文件。管理员可以建立远程系统上文件的访问，以至于用户感觉不到他们是在访问远程文件。 NFS 是个到处可用和广泛实现的。 NFS

9、设计目标 允许用户象访问本地文件一样访问其他系统上的文件。提供对无盘工作站的支持以降低网络开销。 简化应用程序对远程文件的访问使得不需要因访问这些文件而调用特殊的过程。 使用一次一个服务请求以使系统能从已崩溃的服务器或工作站上恢复。 采用安全措施保护文件免遭偷窃与破坏。 使 NFS 协议可移植和简单，以便它们能在许多不同计算机上实现，包括低档的 PC 机。 大型计算机、小型计算机和文件服务器运行 NFS 时，都为多个用户提供了一个文件存储区。工作站只需要运行 TCP/IP 协议来访问这些系统和位于 NFS 存储区内的文件。工作站上的 NFS 通常由TCP/IP 软件支持。对 DOS 用户，一个

10、远程 NFS 文件存储区看起来是另一个磁盘驱动器盘符。对 Macintosh 用户，远程 NFS 文件存储区就是一个图标。 NFS 部分功能服务器目录共享 服务器广播或通知正在共享的目录，一个共享目录通常叫做出版或出口目录。有关共享目录和谁可访问它们的信息放在一个文件中，由操作系统启动时读取。 客户机访问 在共享目录上建立一种链接和访问文件的过程叫做装联(mounting)，用户将网络用作一条通信链路来访问远程文件系统。 NFS 的一个重要组成是(VFS)，它是应用程序与低层文件系统间的接口。 3VFS 操作 close 文件关闭操作 create 文件生成操作 fsync 将改变保存到文件中

11、 getattr 取文件属性 link 用另一个名字访问一个文件 lookup 读目录项 mkdir 建立新目录 open 文件打开操作 rdwr 文件读写操作 remove 删除一个文件 rename 文件改名 rmdir 删除一目录 setattr 设置文件属性 4AFS 服务器 Andrew File System(AFS)(AFS) AFS 是专门为在大型分布式环境中提供可靠的文件服务而设计的。它通过基于单元的结构生成一种可管理的分布式环境。一个单元是某个独立区域中文件服务器和客户机系统的集合，这个独立区域由特定的机构管理。通常代表一个组织的计算资源。用户可以和同一单元中其他用户方便地

12、共享信息，他们也可以和其他单元内的用户共享信息，这取决于那些单元中的机构所授予的访问权限。 文件服务器进程 这个进程响应客户工作站对文件服务的请求，维护目录结构，监控文件和目录状态信息，检查用户的访问。 基本监察(BOS)服务器进程 这个进程运行于有 BOS 设定的服务器。它监控和管理运行其他服务的进程并可自动重启服务器进程，而不需人工帮助。 卷宗服务器进程 此进程处理与卷宗有关的文件系统操作，如卷宗生成、移动、复制、备份和恢复。 卷宗定位服务器进程 该进程提供了对文件卷宗的位置透明性。即使卷宗被移动了，用户也能访问它而不需要知道卷宗移动了。 鉴别服务器进程 此进程通过授权和相互鉴别提供网络安

13、全性。用一个“鉴别服务器”维护一个存有口令和加密密钥的鉴别数据库，此系统是基于 Kerberos 的。 保护服务器进程 此进程基于一个保护数据库中的访问信息，使用户和组获得对文件服务的访问权。更新服务器进程 此进程将 AFS 的更新和任何配置文件传播到所有 AFS 服务器。 AFS 还配有一套用于差错处理，系统备份和 AFS 分布式文件系统管理的实用工具程序。例如，SCOUT 定期探查和收集 AFS 的信息。信息在给定格式的屏幕上提供给。设置多种阈值向管理者报告一些将发生的问题，如磁盘空间将用完等。另一个工具是 USS，可创建基于带有字段常量模板的用户帐户。Ubik 提供数据库复制和同步服务。

14、一个复制的数据库是一个其信息放于多个位置的系统以便于本地用户更方便地访问这些数据信息。同步机制保证所有数据库的信息是一致的。 5KASS 分布式文件系统 KASS 分布式文件系统(Kass File System)， 简称KFS，是开始软件有限公司自主研发的具有业内先进水平的分布式文件服务系统。KFS 系统架构及功能服务类似于Hadoop、GFS 等分布式文件系 统，它通过 HTTP-WEB 为上层应用系统(KASS 文档管理系统及其他各种应用系统)提供底层文件服务为企业快速搭建云文件服务平台。 KFS 的核心价值 为上层 IT 应用系统提供统一的底层文件服务平台 ? 文件存储服务(分布式存储

15、/海量存储/多副本存储/ 多版本存储/CDN 广 域网传输加速/断点续传) ? 文件处理服务(全文搜索/在线预览/格式转换/PDF处理/ 图片处理/视频 播放/水印签章等 ) ? 服务器集群，系统线性扩展(存储量/并发性/IO 吞吐量等) KFS 为应用系统提供的文件服务KFS 为 KASS 文档管理系统提供云文件服务 篇三：分布式存储的两种应用方案 分布式存储的两种应用方案 接口与外设在一个视频监控系统中，选择什么样的存储存储解决方案直接决定了整个系统的系统架构以及系统的性能和稳定程度，目前视频监控系统中的存储方案大致上有两种。视频监控系统存储方案一种是在摄像监控前端采用有一定存储容量（如）

16、的 DVRDVR 设备，所有需要的数据均保存在前端 DVR 的存储设备中，比较好的方案中，后台软件可以管理和维护多台的 DVR 设备，包括这些 DVR设备的存储数据，如录像的转存、删除和回放等功能。这种方案中所有数据主要保存在 DVR 中，后台主要负责维护和必要的存储。 另一种是在摄像监控前端采用 DVR 或者网络视频服务器网络视频服务器，而存储主要在远端通过后台的 PC 或者服务器软件来将数据保存在后台的存储设备上。 上述两种存储方案均有很多弊端，尤其当监控点很多，需要的存储量又很大的情况下，这些可能的弊端包括：由于存储分散导致难以维护；由于存储的专业程度不高导致存储的可靠性不高，进而导致整个系统的可靠性不高；存储的利用率不高；存储的扩展性不好。 为了克服这些弊端，现在有推荐使用基于分布式存储、集中管理思路的、以及基于 iSCSI 技术的 IPSAN 来作为视频监控的存储解决方案，这个方案的主要特点包括： 1、分布式存储，集中管理； 2、基于 iSCSI 技术的 IPSAN（STorageAreaNetwork） ；3、流媒体网关可以作为存储解决方案的核心设备。 分布