《计算机分布式文件的操作设计》由会员分享，可在线阅读，更多相关《计算机分布式文件的操作设计（5页珍藏版）》请在金锄头文库上搜索。
1、计算机分布式文件的操作设计摘要：分布式文件系统在集群存储中起着重要的作用，。本文详细介绍了一种分布式文件系统的设计和实现，着重叙述了统一名字空间的设计和 Linux 下客户端文件系统的实现。该分布式文件系统的读写性能比网上邻居有明显的优势。关键词：集群存储；统一名字空间；超级块；目录项；索引节点1 引言为了满足文件存储的新的要求(大容量、高可靠性、高可用性、高性能、动态可扩展性、易维护性)，设计一种好的分布式文件系统越来越成为需要。分布式文件系统使得分布在多个节点上的文件如同位于网络上的一个位置便于动态扩展和维护。因为分布式文件系统中的数据可能来自很多不同的节点，它所管理的数据也可能存储在不同
2、的节点上，这使得分布式文件系统中有很多设计和实现与本地文件系统存有巨大的差别。下面主要讲述分布式文件系统设计和实现中所要面对和解决的主要问题2。2 软件总体结构设计一个好的分布式文件系统是集群存储的关键。我们设计的分布式文件系统通过统一名字空间管理使得分布在多个服务器上的文件如同 位于网络上的一个位置便于动态扩展和维护。我们把整个系统主要划分客户端与服务器端两部分。客户端包括MVFS文件系统，cca块(Clientcache ) , CNSgl块( ClientNameSpace) ,CN 模块( ClientNetwork )。服务器端包括SC模块(ServerCache) , SNSffl
3、块(ServerNameSpace ,SN 模块(Server Network )。应用程序的I/O请求首先送给MVF故件系统， MVFSC件系统根据文件句柄获得本文件系统的全局文件名并把对文件 的访问转换为对CC的访问。CC收到请求之后，如果在 Cache中没有发现对应的数据，则将请求发给CNS!, CNS!根据全局文件名获得该文件所在的服务器。最终通过 CN层将命令发给服务器。服务器端SN层通过网络接待命令后，将命令传递给SNS层负责将全局文件名转化成本地的文件名，然后到SC层去查找，如果在Cache中找不到，最终会 通过本地的文件系统完成对应的 I/O 请求。整个系统的总体结构如图 1
4、所示。在服务器端还有一个全局管理程序（心跳协议程序）。通过该心跳协议程序，所有的存储节点的所共享出来的文件构成了整个文件系统的 单一的全局逻辑树，从而可以让客户端见到唯一确定的全局逻辑树。图 1 总体结构图3 关键技术4 1 统一名字空间的设计与实现统一名字空间是指服务器上的每一个目录和文件在我们的文件系统中都有一个统一的，唯一的名字。要实现统一名字空间就必须将服务器上的本地局部路径与文件系统中的全局路径一一对应，所以我们在每一个服务器上都存放了一个本地配置文件来记录这个映射关系，每个服务器应该根据所有服务器的本地配置文件而形成一个全局配置文件。本地配置文件的第一行主要记录其版本号。后面的每一
5、行是一条记录，主要包括共享的全局路径（客户端看到的文件或目录名）及物理路径 （服务器上存放的文件或目录名）。而全局配置文件的第一行主要记录其版本号，服务器个数及每个服务器的 IP ，后面的每一行是一条记录，与本地配置文件的记录相识，仅仅多了一个服务器IP 的信息当服务器启动后，首先根据自己的本地配置文件生成一个全局配置文件，然后广播自己的本地配置文件。当服务器接收到其他服务器的本地配置文件后，会根据这个本地配置文件修改全局配置文件。当全局配置文件中不包括该服务器的信息即第一行没有该服务器的 IP ，我们将全局配置文件的版本号改为两个配置文件中版本号的稍大者，并修改服务器个数，添加服务器的 IP
6、 及对应的记录。如果全局配置文件中已包括该服务器的信息且全局配置文件的版本号大则不用修改，否则将全局配置文件的版本号修改成接收文件的版本号，并修改服务器个数，添加服务器的 IP 及对应的记录。当修改了某个服务器的信息后，我们应该将本地配置文件的版本号修改为全局配置文件的版本号加一，然后广播自己的本地配置文件。当获得一个全局配置文件后我们还应将其转化为一棵目录文件树使得在客户端对一个文件或目录的操作能够转换成对服务器上得操作。为了方便查找，我们将全局配置文件转化为一棵二叉树，以全局配置文件中记录的全局路径来建树。其中树的根节点代表者全局路径的根目录。树中节点的左儿子为其子目录，右儿子与其在同一级
7、目录上。5 2客户端文件系统的设计与实现文件系统应该提供一组服务，使用户能够处理数据，以执行所需要的操作，包括创建文件、删除文件、组织文件、读/ 写文件、控制文件的访问权限等。Linux通过VFS （虚拟文件系统）为各种文件系统提供统一的接口。VFS是内核中的一个软件层次，负责处理所有与文件系统相关的系统调 用。我们通过像VFS注册了一种文件系统MVFS使得用户的请求可以 由我们提供的函数来处理3。MVF成件系统中主要包括超级块，目录项和索引节点。MVF故件系统的总体结构如图所示。图2MVFSC件系统的总体结构文件系统的超级块主要记录文件系统的数据块大小，存放文件系统设备的设备号以及该文件系统
8、根目录的目录项的指针，在MVFSC件系统中，我们在超级块中还存放了要连接的服务器的 IP 和使用的用户名和密码。MVFSC件系统的目录项描述文件系统中与某个文件索引节点相链接的一个目录项 （可以是文件, 也可以是目录 ） ，同时通过链表记录了父目录与它下面的子目录和文件的关系。而索引节点记录了关于这个目录或文件的一些系统信息，比如文件的所有者，文件相关的一些权限记录，关于文件的若干个时间戳。要想访问服务器上的目录和文件，必须先挂载MVFSC件系统。当挂载MVFSC件系统时，我们的处理流程如图 3所示。图3MVF驻载流程在初始化超级块，索引节点时，需要将它们的成员函数赋值。MVFSC件系统主要通
9、过将一些函数如对目录的读取以及对文件的创建和读写与它的索引节点关联，使得以后对该目录或文件的操作都由这些函数来实现。其中对目录的读取方法如图所示：图 3 目录的读取流程首先根据文件句柄获得对应的目录项结构，而目录项结构存放了对应的全局目录名，因此可以得到对应的全局目录名。当我们获得了该目录下的目录名或文件名后，可以调用VFS提供的回调函数filldir 。VFS会为这些目录和文件分配目录项结构，并将它们链接起来4。对于文件的读写，首先根据文件句柄获得对应的目录项结构，从目录项结构可以得到对应的全局文件名。然后以全局文件名，缓冲区，要读的大小，文件偏移为参数向 CC!发出读或写文件命令。当 CC层的 函数返回时，要读或写的数据已在缓冲区里。6 性能测试我们在相同环境下，客户端和服务器均为P4P评台，配置512MB勺DDRRAM通过千兆网连接，分布采用我们的分布式文件系统和网上邻 居，使用IOMETER寸不同负载的读请求进行测试，具体的测试结果如图 4 所示。从图中可知，我们的分布式文件系统的读性能要比网上邻 居好的多。图 4 网上邻居和分布式文件系统的读性能比较7 结束语本文详细介绍了分布式文件系统的设计和实现，着重论述了实现过程中采用的关键技术。随着对分布式文件系统的进一步开发，将会对系统的性能、扩展性、可用性等方面进行完善。计算机分布式文件的操作设计
