《Lustre文件系统深入分析.docx》由会员分享，可在线阅读，更多相关《Lustre文件系统深入分析.docx（6页珍藏版）》请在金锄头文库上搜索。
1、Lustre学习总结集群存储简介:在集群里，一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一的命名空间。厂商们也已经制造了一些软件和硬件设备，它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共享其他用户的数据，而无需考虑是什么介质或其所处的是哪台主机。集群存储系统需要解决的最基本的问题：（1）提供共享访问数据，便于集群应用程序的编写和存储的负载均衡；（2）提供高性能的存储，在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求与分布式文件系统相比：数据不需要从一个文件系统拷贝或复制到另一个文件系统，通过集群系统共享应
2、用和数据的任务执行起来要比在单独的设备上执行快得多；集群可以为文件和文件系统提供更多的空间;因为只需要管理一个文件系统，而不再是每个存储设备或主机都需要一个文件系统，管理也更容易了；如果集群内的某台服务器出现了故障，另一台服务器就可以把它的工作接手过来，故障恢复也成为了现实；用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。Lustre集群文件并行系统由客户端，两个MDS，OSD设备池通过高速以太网或QWS Net多构成。其采用分布式的锁管理机制来实现并发控制，元数据和文件数据的通信链路分开管理。1 Lustre系统由来： Lustre是HP，Intel，Cluster File S
3、ystem公司连个美国能源部开发的Linux集群并行文件系统。它来源于卡耐基梅隆大小额的NASD项目研究工作。Lustre文件系统在2003年推出了了1.0版本。它是第一个机遇对象存储设备的、开源的并行文件系统。 Lustre是一个透明的全局文件系统，客户端可以透明地访问集群文件系统中的数据，而无需知道这些数据的存储位置。2 开发Lustre系统的目的： Luster的名字是有Linux和Cluster演化而来的，是为海量存储问题而设计的全新文件系统。它可支持10000个节点，PB级的存储量，100GB/S的传输速度，具有完美的可伸缩性，安全性和可管理性。 3 Luster的组成部分： Met
4、adata Server(MDS)：元数据服务器存储了文件系统的基本信息，负责管理整个系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统数据的一致性。通过MDS的文件和目录访问管理，Lustre能够控制客户端对文件系统中文件和目录的创建、删除、修改。Client可以通过MDS读取保存到MDT上的元数据。当Client读写文件时，从MDS得到文件信息，从OSS中得到数据。Client通过LNET协议和MDS/OSS通信。在Lustre中MDS可以有2个，采用Active-Standby的容错机制，当其中一个MDS不能正常工作时，另外一个后备MDS可以启动服务。 Metada
5、ta Target(MDT)：MDT存储了MDS上元数据的文件名、目录、权限和文件布局。一个文件系统只能有一个MDT，不同的MDS之间共享同一个MDT。Object Storage Servers(OSS)：对象存储服务器提供了文件I/O服务和用来处理一个或多个当地OST的网络请求。OST、MDT和Client可以同时在一个节点运行。但是典型的配置是一个MDT专用一个节点，每个OSS节点可以有两个或多个OST，一个客户端可以有大量的计算机节点。Object Storage Target(OST)：OST负责实际数据的存储，处理所有客户端和物理存储之间的交互。这种存储是基于对象的，OST将所有的
6、对象数据放到物理存储设备上，并完成对每个对象的管理。OST和实际的物理存储设备之间通过设备驱动方式来实现交互。通过驱动程式的作用，Lustre能继承新的物理存储技术及文件系统，实现对物理存储设备的扩展。为了满足高性能计算系统的需要，Lustre针对大文件的读写进行优化，为集群系统提供了较高的I/O吞吐率。存储在OST上的文件都是普通文件，也能是复制文件。Lustre同时还将数据条块化，再把数据分配到各个存储服务器上，提供了比传统SAN的“块共享”更为灵活和可靠的共享方式。Client：客户端通过标准的POSIX接口向用户提供对文件系统的访问。对客户端而言，Client同OST进行文件数据的交互
7、，包括文件数据的读写、对象属性的改动等；同MDS进行元数据的交互，包括目录管理、命名空间管理等。存储设备跟普通的，基于块的IDE存储设备不同，是基于对象的智能存储设备。客户端在需要访问文件系统的文件数据时，先访问MDS，获取文件相关的元数据信息，然后就直接和相关的OST通信，取得文件的实际数据。客户端通过网络读取服务器上的数据，存储服务器负责实际文件系统的读写操作以及存储设备的连接，元数据服务器负责文件系统目录结构、文件权限和文件的扩展属性以及维护整个文件系统的数据一致性和响应客户端的请求。图1 Lustre组成部分结构图图2 Lustre文件系统各部分连接图 4 Luster文件系统的安装过
8、程1 安装Centos5.4 Linux操作系统首先检查硬件设备是否好用，包括：内存条，有无硬盘，硬盘型号是否正确(SATA盘，SAS盘等)，硬盘是否能用，硬盘连接线是否以及接好，光驱是否好用，显示器，键盘，最好弄两张安装盘等然后插上电源线和网线开始安装操作系统。2采用RPM包的方法安装Lustre。2.1 安装软件包rpm -ivh kernel rpm -ivh lustre-modulerpm -ivh lustre-ldiskfs rpm -ivh lustrerpm ivh e2fsprogs或rpm -Uvh e2fsprogs2.2 reboot安装完成后，grub被自动修改为已
9、经修改过内核的启动项，直接重启机器即可。也可以查看一下/ect/grub.conf中的default=0确认一下。2.3 磁盘配置每个MDS和OSS服务器上单独创建一个分区/dev/sda3用来分配给mdt/ost，利用fdisk /dev/sda p n +20G p w reboot.2.4创建并挂载MDS/MDT,OSS/OST2.4.1 在所有系统的/etc/modprobe.conf中添加如下内容：options lnet networks=tcp添加完以后执行：modprobe lnetlctl network up后显示LNET configured说明网络连接正常2.4.2 在
10、mds中执行一下操作：mkfs.lustre -fsname=test -mdt -reformat -mgs /dev/sda3mkdir /mnt/mdtmount.lustre /dev/sda3 /mnt/mdt2.4.3 在oss上执行一下操作：mkfs.lustre fsname=test ost reformat mgsnode=10.53.11.143tcp1 /dev/sda3mount.lustre /dev/sda3 /mnt/ost2.5 安装客户端软件包rpm -ivh lusterrpm -ivh lustre-modulerpm -ivh lustre-clien
11、t-modulesrpm -ivh lustre-clientrpm -ivh kernel 2.6 客户端连接MDS检测一下网络连接是否正常mkdir /lustrefsmount.lustre 10.53.11.143tcp0:/tes t /lustrefs2.7客户端查连接情况使用lfs df -h命令可用看到挂载的空间。2.8 停止lustre文件系统 按照lustre的启动顺序完全相反的的顺序停止。先停止客户机，再停止ost，再停止mds。停止即卸载：umount /mnt/lustrefsLuster手册例子：options lnet networks=tcprootmds /#
12、 mkfs.lustre -fsname=test reformat -mgs -mdt /dev/sda3This command generates this output: Permanent disk data:Target: test-MDTffffIndex: unassignedLustre FS: testMount type: ldiskfsFlags: 0x75 (MDT MGS needs_index first_time update )Persistent mount opts: iopen_nopriv,user_xattr,errors=remount-roPar
13、ameters: mdt.group_upcall=/usr/sbin/l_getgroupsdevice size = 19085MB2 6 18formatting backing filesystem ldiskfs on /dev/sda3target name test-MDTffff4k blocks 4885768options -J size=400 -i 4096 -I 512 -q -O dir_index,extents,uninit_groups -Fmkfs_cmd = mke2fs -j -b 4096 -L test-MDTffff -J size=400 -i
14、4096 -I 512 -q -O dir_index,extents,uninit_groups -F /dev/sda3 4885768Writing CONFIGS/mountdata rootmds /# mount -t lustre /dev/sda3 /mnt/mdtrootoss1 /# mkfs.lustre -ost -fsname=test reformat -mgsnode=10.53.11.143tcp0 /dev/sda3 Permanent disk data:Target: test-OSTffffIndex: unassignedLustre FS: test
15、Mount type: ldiskfsFlags: 0x72 (OST needs_index first_time update )Persistent mount opts: errors=remount-ro,extents,mballocParameters: mgsnode=10.53.11.143tcpdevice size = 19085MB2 6 18formatting backing filesystem ldiskfs on /dev/sda3target name test-OSTffff4k blocks 4885768options -J size=400 -i 16384 -I 256 -q -O dir_index,extents,uninit_groups -Fmkfs_cmd = mke2fs -j -b 4096 -L test-OSTffff -J size=400 -i 16384 -I 256 -q -O dir_index,ext
