分布式系统moosefs－金锄头文库

资源描述

《分布式系统moosefs》由会员分享，可在线阅读，更多相关《分布式系统moosefs（26页珍藏版）》请在金锄头文库上搜索。

3、work file system) Samba ftp 其他分布式文件系统的种类 Hadoop FastDFS MooseFS PNFS（Parallel NFS ） PVFS，PVFS2 Lustre 其他为什么选Moosefs 实施起来简单。MFS的安装、部署、配置相对于其他几种工具来说，要简单和容易得多。看看 lustre 700多页的pdf文档，让人头昏吧不停服务扩容。MFS框架做好后，随时增加服务器扩充容量；扩充和减少容量皆不会影响现有的服务恢复服务容易。除了MFS本身具备高可用特性外，手动恢复服务也是非常快捷的我在实验过程中得到作者的帮助，这让我很是感激。 Moos

4、efs体系结构图MooseFS分布式文件系统的组成元数据服务器（Master）数据存储服务器（chunkservers）客户端（clients）元数据服务器（master）分布式文件系统MooseFS的主控端：控制个数据存储服务器目前只有一个master,存在单点故障客户端的访问接口就是master 支持各种linux/unix数据存储服务器（chunkserver）数据实际存储的地方由多个物理服务器组成在数据存储目录，看不见实际的数据（只有带编号的目录及文件）建议使用2-3个副本支持各种linux/unixMoosefs客户端挂接分布式文件系统一般是应用服务器

5、客户端可以是linux,freebsd等各种类unix 数个客户端 Freebsd的fusefs_kmod可能会有性能问题安装moosefs 元数据服务器(master)安装：配置、编译、安装。数据存储服务器(chunkserver)安装：与元数据服务器相同客户端安装：根据客户端的平台不同，安装稍有差异（个操作系统的fuse不同）MooseFs客户端是linux时的安装安装FUSE 设置环境变量 export KG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH 配置 ./configure enable-mfsmount

6、编译安装 make;make installmoosefs客户端是freebsd时的安装安装内核模块 fusefs-kmod : SysinstallConfigurePackagesKldfusef s-kmod-0.3.9.p1_2 加载内核模块fusefs-kmod:kldload /usr/local/modules/fuse.ko 安装pkg-config： 1、cd /usr/ports/devel/pkg-config 2、make install cleanmoosefs客户端是freebsd时的安装（续）安装MFS客户端 1、解包 tar zxvf mfs-1.5.1

7、2.tar.gz 2、切换目录 cd mfs-1.5.12 3、创建用户 pw useradd mfs s /sbin/nologin 4、配置 ./configure -prefix=/usr/local/mfs - -with-default-user=mfs -with-default- group=mfs -enable-mfsmount 5、编译安装 make ; make install配置元数据服务器master默认配置文件mfsmaster.cfg(不需要修改即可使用) # WORKING_USER = mfs # WORKING_GROUP = mfs # LOCK_FILE

8、 = /var/run/mfs/mfsmaster.pid # DATA_PATH = /usr/local/mfs/var/mfs # SYSLOG_IDENT = mfsmaster # BACK_LOGS = 50 # REPLICATIONS_DELAY_INIT = 300 # REPLICATIONS_DELAY_DISCONNECT = 3600 # MATOCS_LISTEN_HOST = * # MATOCS_LISTEN_PORT = 9420 # MATOCU_LISTEN_HOST = * # MATOCU_LISTEN_PORT = 9421 # CHUNKS_LOO

9、P_TIME = 300 # CHUNKS_DEL_LIMIT = 100 # CHUNKS_REP_LIMIT = 15数据存储服务器chunkserver配置 2个配置文件：主配置文件 mfschunkserver.cfg及共享磁盘配置文件 mfshdd.cfg数据存储服务器chunkserver配置(续 )Mfschunkserver.cfg #WORKING_USER = mfs #WORKING_GROUP = mfs # DATA_PATH = /usr/local/mfs/var/mfs # LOCK_FILE = /var/run/mfs/mfschunkserver.pid

10、# SYSLOG_IDENT = mfschunkserver # BACK_LOGS = 50 # MASTER_RECONNECTION_DELAY = 30 MASTER_HOST = 192.168.0.19 MASTER_PORT = 9420 # MASTER_TIMEOUT = 60 # CSSERV_LISTEN_HOST = * # CSSERV_LISTEN_PORT = 9422 # CSSERV_TIMEOUT = 60 # CSTOCS_TIMEOUT = 60 # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg 数

11、据存储服务器chunkserver 配置(续) 共享磁盘配置文件mfshdd.cfg /data1 /data2Moosefs分布式文件系统启/停元数据服务器启动：mfsmaster start（ mfsmaster -s）数据存储服务器启动：mfschunkserver start(mfschunkserver -s) 客户端启动：mfsmount挂接moosefs的元数据服务器挂接和使用moosefs Mfsmount h ip (客户机操作) 默认的挂接点是/mnt/mfs.可以用选项-w 改变挂接点在客户端执行ls mkdir cp等操作测试MooseFS客户端常用工具查看挂

12、接情况rootmysql-bk # df -h Filesystem Size Used Avail Capacity Mounted on /dev/ad4s1a 26G 570M 24G 2% / devfs 1.0K 1.0K 0B 100% /dev /dev/ad4s1g 356G 157G 170G 48% /data /dev/ad4s1f 17G 215M 15G 1% /home /dev/ad4s1d 28G 1.1G 25G 4% /usr /dev/ad4s1e 24G 362M 21G 2% /var /dev/fuse0 2.5T 256G 2.2T 11% /mn

展开阅读全文

分布式系统moosefs

最新文档