《对象存储系统的元数据管理》由会员分享，可在线阅读，更多相关《对象存储系统的元数据管理（50页珍藏版）》请在金锄头文库上搜索。
1、 III摘 要* 随着网络技术和信息数字化的快速发展， 面向海量数据的大型应用纷纷涌现，进一步对存储系统性能提出更为苛刻的要求。尽管磁存储技术仍在不断发展中，但受到块级存储访问接口制约， 无法改变 I/O 性能远落后于 CPU 和内存速度的状况。对象存储系统（Object-Based Storage System）以对象为接口，将有望解决这些问题。容纳海量用户数据的对象存储系统中高效的元数据管理成为了新的挑战和研究课题。 对象存储系统由客户端、元数据服务器和各个对象存储节点三部分组成。用户数据存放在直接联网访问的智能存储节点上。元数据服务器在对象存储系统中的位置非常重要，是整个系统潜在的瓶颈。
2、在这种具有分布式体系结构特征的对象存储系统中，文件被映射到一个或多个对象存储节点上。合理的对象分布策略对系统性能显得尤为重要。针对常用对象分布策略哈希 (Hashing) 算法和分片 (Fragment-Mapping) 算法存在的优缺点，提出一种能够结合两者优点、又尽量避免其缺点的柔性对象分布算法，同时分析了影响对象存储系统性能的主要因素。 元数据服务器的设计及元数据的组织和存储是面向对象系统中元数据管理的重要组成部分。元数据服务器使用了轻量级目录访问协议（Lightweight Directory Access Protocol，LDAP）作为存放元数据的平台，针对这个平台设计了相应的数据
3、分配算法和数据转换模块，针对元数据访问特征，构建缓冲机制优化元数据访问性能。通过测试验证了柔性对象分布算法和元数据组织管理模式在对象系统中是行之有效的，并对系统性能的提升起到了重要作用。 关键词关键词：网络存储，对象存储系统，元数据管理，对象分布策略， 轻量级的目录访问协议 *本文的研究工作受国家重点基础研究发展计划(973 计划)资助项目(2004CB318201)和中国国家自然科学基金资助项目(60303032) 资助 IVAbstract* The rapid development of network technology and digital information has st
4、imulated the emergence of mass information applications. The current storage architecture becomes the performance bottleneck. The rapid development of magnetic store technology leads to the situation that the I/O performance falls behind the speed of CUP and memory. However, the traditional block ac
5、cess interface can not change this situation. The Object-Based Storage (OBS) providing object-based access interface is expected to change the situation. And its metadata management becomes new challenges and research topics. The object-based storage system contains three major components, namely ar
6、e clients, Metadata Server (MDS) and object-based storage nodes. Data is stored on the nodes that can be directly accessed through the network, while metadata is managed separately by one or more specialized metadata servers. The position of the MDS in the object-based storage system is very importa
7、nt, and it can be a potential bottleneck of the system. In the object-based storage system files are mapped onto one or more data objects stored on the nodes. The policy for object allocation is a critical aspect affecting the overall system performance. Hashing and fragment-strip are two common tec
8、hniques used for managing objects, but both have their disadvantages and advantages. We present an efficient algorithm that combines the advantages of these two approaches while avoiding their shortcomings. The key factors which can impact the performance in the objects allocation are also be discus
9、sed. The design of MDS in object-based storage system and the organizing and management of metadata are also very important. The MDS in our system uses Lightweight Directory Access Protocol (LDAP) to store the metadata. And we design data allocation and data conversion modules especially for it. We
10、also build buffers to optimize the performance. We test the system and prove that our object allocation algorithm is effective and the buffers optimize the performance. Keywords: Network Storage, Object-Based Storage, Metadata Management, Object Allocation, Lightweight Directory Access Protocol * Th
11、e research is supported by National Basic Research Program of China (973 Program) under Grant No. 2004CB318201 and the National Science Foundation of China under Grant No.60303032. 11 绪 论 1.1 课题背景 随着信息社会的发展，越来越多的信息被数字化，尤其是伴随着 Internet 的发展，数据量呈现出爆炸式增长。因而在未来几年内，存储技术将成为令人瞩目的一个市场。1999 年，世界范围的存储服务市场为 210
12、 亿美元；到 2003 年，已超过 400 亿美元。而在今后的几年内，存储服务市场将进入飞速发展期。基于Internet 的应用，比如电子商务、电子邮件和企业数据信息，将成为存储服务的主要市场，这些应用都要求快速的数据访问。从存储服务的发展趋势来看，一方面，是对数据存储量的需求越来越大，另一方面，是对数据的有效管理提出了更高的要求1。 目前存储系统除了传统以服务器为中心的直接存储（Direct Access Storage, DAS） 外， 例如附网存储 （Network Attached Storage, NAS）2、 存储区域网 （Storage Area Network, SAN）3-5
13、 等网络存储占据主导地位。NAS 采用“文件”数据组织，通过网络接口把存储设备直接连入到网络中，是一种特制的网络文件系统“瘦”服务器，支持 NFS 和 CIFS 的网络文件协议，实现细粒度数据共享以及跨平台文件共享，具有系统易用性和可管理性，但同时存在系统扩展性差的缺陷，这包括存储容量的扩展性和性能的扩展性6,7。 SAN 采用“块”数据组织，通过可伸缩的高速专用存储网络互连不同类型的存储设备与服务器，提供内部任意节点间多路可选择的数据交换，方便地共享存储设备，向外界提供服务，从而提高存储系统的可用性和性能8,9。SAN 很大程度地解决了集中存储、 存储管理和存储空间共享的问题， 特别是在数据
14、的可用性、系统容量和系统性能的动态可扩展性方面明显优于 NAS 系统，但它存在使用复杂、数据共享的颗粒度过大，以及难于直接支持文件级的数据共享。基于对象存储技术（Object-Based Storage, OBS）是采用了“对象”数据组织，克服了 NAS与 SAN 中不足，它既有“块”接口的快速，又有“文件”接口的便于共享。对象2使文件数据和存储元数据管理进行分离，突破了 SAN 的文件共享限制和 NAS 系统中常见的数据路径瓶颈。对象由数据、属性及操作组成，在安全性、跨平台数据共享、高性能和可扩展性特性中更胜一筹。为满足文件服务、事务处理、流媒体服务等不同类型的应用需求，存储对象应是可变长的
15、，并可以包含任何类型的数据，如文件、数据库记录、图像以及多媒体视频音频等。与基于固定的块大小访问的块存储设备不同，对象可动态地扩大和缩小，即数据的种类、属性不同，操作方法应简繁有别。对象的属性用于描述对象的特征，如多媒体数据对象的服务质量（Quality of Service, QoS）属性描述该对象的网络延迟要求；文件对象的属性描述文件的访问权限等。对象的操作类型应多种多样，既有基本的文件访问时对存储设备的操作，也有数据库、流媒体等访问时对存储设备的操作，同时操作类型还应能根据应用需求进行调整和扩充。 1.2 面向对象的存储技术简介 对象存储文件系统的核心是将数据通路（数据读或写）和控制通路
16、（元数据）分离，并且基于对象存储设备10（Object-based Storage Device，OSD）构建存储系统，每个对象存储设备具有一定的智能，能够自动管理其上的数据分布，对象存储文件系统通常有以下几部分组成11。 1.2.1 对象 对象是系统中数据存储的基本单位，一个对象实际上就是文件的数据和一组属性的组合，这些属性可以定义基于文件的磁盘阵列（Redundant Arrays of Independent Disks, RAID）参数、数据分布和 QoS 等，而传统的存储系统中用文件或块作为基本的存储单位，在块存储系统中还需要始终追踪系统中每个块的属性，对象通过与存储系统通信维护自己的属性12。在存储设备中，所有对象都有一个对象标识，通过对象标识 OSD 命令访问该对象。通常有多种类型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组对象是存储设备上共享资源管理策略的对象集合等。 对象由数据、属性及相应操作代码组成，由对象 ID（OID）号标识。也就是3说，存储对象中既包含数据，也包含了数据的操作代码，是一个具有
