《glusterfsstoragepool高可用及负载均衡配置v2011091402》由会员分享，可在线阅读，更多相关《glusterfsstoragepool高可用及负载均衡配置v2011091402（15页珍藏版）》请在金锄头文库上搜索。
1、GlusterFS Storage Pool 高可用及负载均衡配置1.概述32.GlusterFS 安装配置33.CTDB简介34.CTDB安装配置54.1.通过源码编译安装54.2.通过yum安装54.3.CTDB配置55.CTDB高可用测试85.1.关于CTDB虚拟IP和CTDB集群内节点的实IP之间的关系116.RR DNS简介137.RR DNS master/slave安装配置137.1.通过yum安装137.2.通过源码安装137.3.Master/Slave配置147.3.1.BIND Master的配置14Zone配置文件中关键字说明177.3.2.BIND Slave的配置1
2、78.RR DNS负载均衡测试18参考资料191. 概述通过为GlusterFS 存储池配置CTDB以及RR DNS ，实现CIFS、NFS、Gluster Native输出的高可用和负载均衡。2. GlusterFS 安装配置GlusterFS安装：略。GlusterFS卷必须配置为副本模式，确保底层集群文件系统是高可用的。3. CTDB简介CTDB is a cluster implementation of the TDB database used by Samba and other projects to store temporary data. If an applicatio
3、n is already using TDB for temporary data it is very easy to convert that application to be cluster aware and use CTDB instead.Features include:CTDB provides a TDB that has consistent data and consistent locking across all nodes in a cluster.CTDB is very fast.In case of node failures, CTDB will auto
4、matically recover and repair all TDB databases that it manages.CTDB is the core component that providespCIFS(parallel CIFS) with Samba3/4.CTDB provides HA features such as node monitoring, node failover, and IP takeover.CTDB provides a reliable messaging transport to allow applications linked with C
5、TDB to communicate to other instances of the application running on different nodes in the cluster.CTDB has pluggable transport backends. Currently implemented backends are TCP and Infiniband.CTDB supports a system of application specific management scripts, allowing applications that depend on netw
6、ork or filesystem resources to be managed in a highly available manner on a cluster.4. CTDB安装配置4.1. 通过源码编译安装4.2. 通过yum安装yum install ctdb4.3. CTDB配置在GlusterFS存储池中创建一个副本卷conf，用来存放CTDB的 lock file。停止samba服务，修改/etc/samba/smb.conf配置文件。创建CTDB的主配置文件ctdb。在这里指定其他文件的位置及名称。创建public_addresses文件，在这里指定虚拟IP。创建nodes
7、文件，在这里指定CTDB各个节点的真实IP。启动ctdb服务。并设置为自动启动。验证ctdb是否已经启动。至此，CTDB配置完成。相关配置文件如下所示。 每个CTDB节点均挂载这个存储CTDB锁文件，以及配置文件的GlusterFS卷conf，在/etc/sysconfig/下创建一个软连接ctdb指向/gluster/lock/ctdb/ctdb文件即可。5. CTDB高可用测试测试环境： 共三台服务器，其中两台在GlusterFS存储池内，另外一台作为客户端。Gluster存储池内的两台服务器IP和MAC的对应如下，通过arp命令，用MAC地址作为判断客户端连接了哪台服务器的依据。inet
8、 addr:192.168.0.6 HWaddr 00:1C:C4:A5:8A:8Cinet addr:192.168.0.5HWaddr 00:18:FE:FA:C2:EC测试案例一：停止当前客户端正在连接的CTDB集群内一台服务器上的cifs服务，测试其能否成功切换到其他服务器。在客户端通过虚拟IP连接CIFS服务。通过arp我们确定，虚拟IP 192.168.0.220对应的物理服务器是192.168.0.6。在cifs挂载点下，通过一个脚本不停的给hello文件中追加内容，同时通过tail实时查看文件的内容。然后停止192.168.0.6服务器上的cifs服务。此时查看文件内容是否依然
9、被更新。上层的应用丝毫没有受到影响，打开的文件依然可以正常读写。也就是说CTDB对上层应用是完全透明的，而且能够保持CIFS的session。测试案例二：停止当前客户端正在连接的CTDB集群内一台服务器上的Gluster客户端，测试其能否成功切换到其他服务器。根据当前arp可看到，当前CIFS客户端通过虚拟IP 192.168.0.220挂载的CIFS服务对应的真实IP是192.168.0.5这台服务器。接下就卸载192.168.0.5这台服务器上的gluster客户端挂载点。成功卸载后，查看客户端的CIFS是否成功切换到其他服务器。5.1. 关于CTDB虚拟IP和CTDB集群内节点的实IP之
10、间的关系我们先看下虚拟IP和CTDB节点实IP相关的配置文件内容：rootlocalhost # cat /gluster/lock/ctdb/public_addresses 192.168.0.220/24 eth0192.168.0.221/24 eth0192.168.0.222/24 eth0192.168.0.223/24 eth0这是虚拟IP的配置文件，这里我们配置了4个虚拟IP，以及相对应的网卡。rootlocalhost # cat /gluster/lock/ctdb/nodes192.168.0.5192.168.0.6这是CTDB节点实IP的配置文件，在CTDB集群内有
11、两个节点。通过CTDB提供的工具，我们可以清楚的看到，虚拟IP和实IP之间的关系。4个虚拟ip被平分到了两个节点上了。见上图。这是CTDB集群内另一个节点上看到的情况。见上图。如果CTDB集群内有两个节点，只配置一个虚拟IP，则这个虚拟IP只在其中一个节点上。只有该节点出现问题，才会被另一个节点接管。见上图。多个客户端连接不同的虚拟IP时，可以对应到CTDB集群内不同的服务器实IP上。多个客户端连接同一个虚拟IP时，只对应到同一服务器真实IP上。基于此，我们还需要一个基于IP负载均衡的工具，在不同虚拟IP上轮询。以达到负载均衡的效果。这就是RR DNS。另外，因为CTDB虚拟IP正常时只会对应
12、到一个实IP上，所以虚拟IP数量应该等于或大于实际IP数量，以便所有实IP轮询上。6. RR DNS简介RR-DNS（Round-Robin Domain Name System），顾名思义，轮询的DNS服务。他响应DNS请求不是仅仅返回一个固定的IP，而是从一个IP列表中轮询，返回IP。具体实现的套件是BIND( Berkeley Internet Name Domain)。接下来即安装BIND。7. RR DNS master/slave安装配置7.1. 通过yum安装yum install bind7.2. 通过源码安装 源码下载地址：ftp:/ftp.isc.org/isc/bind9
13、/9.8.1/bind-9.8.1.tar.gz7.3. Master/Slave配置BIND的主要配置文件为/etc/named.conf。，各种针对主机的设定值都在这个档案中设定，包括zone的名称，以及对应的文件。7.3.1. BIND Master的配置Master 的named.conf配置文件如下：相关zone的配置文件；至此，BIND Master的配置就完成了。启动named服务： service named startZone配置文件中关键字说明$TTL定义出向外查询的数据可以记录在 DNS 的 cache 当中多久，单位：秒。代表named.conf中定义的对应的zone。
14、SOAStart of Authority 开始设定的内容的意思NS表示 name server 的意思A将DNS域名对应到IPv4地址AAAA将DNS域名对应到IPv6地址.加上了 . 表示这个完整的主机名称，亦即是 hostname + domain name 了，如果没有加上 . 的话，表示该名称仅为 hostname 而已PTR这是反解的符号CNAME设定主机别名7.3.2. BIND Slave的配置Slave的配置跟master配置文件除了named.conf不同，其他都相同，其中自定义的zone的配置文件会自动同步。这里只需要手动从master拷贝localhost.rev，na
15、med.root，name.localhost三个配置文件。zone.gluster，zone.gluster.rev会自动从master同步过来。Slave的named.conf配置文件：启动named服务： service named start8. RR DNS负载均衡测试通过ping gluster.local 来测试RR DNS 。根据其每次返回的IP地址是否相同来判断负载均衡的效果。从同一客户端多次ping gluster.local，CTDB配置的4个虚拟IP轮询。依次从不同客户端ping gluster.local也会得到轮询的效果。参考资料l CTDB - http:/ctdb.samba.orgl Troubleshooting CTDB - http:/ctdb.samba.org/testing.htmll Round-robin DNS - http:/
