《高可用集群培训课件》由会员分享，可在线阅读，更多相关《高可用集群培训课件（71页珍藏版）》请在金锄头文库上搜索。
1、方德高可信服务器集群方德高可信服务器集群报告日期：报告日期：目录目录集群介绍集群介绍集群管理工具集群管理工具集群各模块服务集群各模块服务集群应用集群应用总结总结集群介绍集群介绍n集群概述集群概述 集群技术集群技术(Cluster(Cluster技术技术) )就是将多台服务器用集群软件连接在一就是将多台服务器用集群软件连接在一起，组成一个高度透明的大型服务器群的计算机系统；起，组成一个高度透明的大型服务器群的计算机系统；作为一个整体为客户端提供服务，客户端能共享网络上的所有资源，作为一个整体为客户端提供服务，客户端能共享网络上的所有资源，如数据或应用软件等，同时客户端的用户并不关心其应用如数据或
2、应用软件等，同时客户端的用户并不关心其应用ServerServer运运行在那台服务器上，只关心其应用行在那台服务器上，只关心其应用ServerServer是否能连续工作。是否能连续工作。集群介绍集群介绍当集群系统内某一台服务器出现故障时，其备援服务器便立当集群系统内某一台服务器出现故障时，其备援服务器便立即接管该故障服务器的应用服务，继续为前端的用户提供服即接管该故障服务器的应用服务，继续为前端的用户提供服务。务。从客户端看来，集群中的所有服务器是一个系统，就像一台从客户端看来，集群中的所有服务器是一个系统，就像一台大型的计算机系统，其上运行着客户端需要的应用服务。在大型的计算机系统，其上运行
3、着客户端需要的应用服务。在一年之内可达一年之内可达99999999可用性时，这样的集群系统我们称为可用性时，这样的集群系统我们称为高可用性的集群系统。高可用性的集群系统。集群模型集群模型集群普通结构集群普通结构集群分类（集群分类（1 1）n高可用集群高可用集群高高 可可 用用 集集 群群 简简 称称 HA（ High AvailabilityCluster）。是是一一项项以以减减少少服服务务中中断断时时间间为为目目的的服务器集群技术。的的服务器集群技术。工作方式工作方式高可用集群通常有两种工作方式：高可用集群通常有两种工作方式：容错系统：通常是主从服务器方式。容错系统：通常是主从服务器方式。互
4、备系统：集群中所有的节点都处于活动状态，它们互备系统：集群中所有的节点都处于活动状态，它们 承担系统的工作负载。承担系统的工作负载。集群分类（集群分类（2）n负载均衡集群负载均衡集群负载均衡集群就是带均衡策略算法的服务器集负载均衡集群就是带均衡策略算法的服务器集群。负载均衡集群在多节点之间按照一定的算法群。负载均衡集群在多节点之间按照一定的算法分发网络或计算处理负载。分发网络或计算处理负载。集群的重要性集群的重要性n在高可用性的集群系统中，由于是多台服务器在高可用性的在高可用性的集群系统中，由于是多台服务器在高可用性的集群系统软件的管理下为客户端提供服务，故每一个计算机集群系统软件的管理下为客
5、户端提供服务，故每一个计算机的部件都有冗余备份，其中最重要的是数据存放的介质要有的部件都有冗余备份，其中最重要的是数据存放的介质要有冗余保护，一旦某个部件出现问题，冗余部件会自动接管故冗余保护，一旦某个部件出现问题，冗余部件会自动接管故障部件的工作，也就是说某台服务器出现故障，则备份服务障部件的工作，也就是说某台服务器出现故障，则备份服务器将在集群软件的指挥下自动接管故障服务器的工作，从而器将在集群软件的指挥下自动接管故障服务器的工作，从而消除了此故障对整个系统的影响。消除了此故障对整个系统的影响。集群应用前景集群应用前景n网络的高速发展网络的高速发展, ,带来了服务器的线形增长带来了服务器的
6、线形增长, ,当访问需求增当访问需求增长时长时, ,服务器会在很短的时间内超载服务器会在很短的时间内超载, ,集群技术由此应运而集群技术由此应运而生。目前生。目前, ,越来越多的企业采用越来越多的企业采用LinuxLinux操作系统操作系统, ,提供提供WebWeb、邮件、文件存储数据库等服务。邮件、文件存储数据库等服务。n随着人们对随着人们对LinuxLinux服务器依赖的加深服务器依赖的加深, ,对其可靠性、负载能对其可靠性、负载能力和数据能力也备加关注。力和数据能力也备加关注。LinuxLinux集群技术以低廉的成本集群技术以低廉的成本, ,实现了这些需求。实现了这些需求。LinuxLi
7、nux可以运行于极为普及的可以运行于极为普及的PCPC机上机上, ,不不需要购买昂贵的需要购买昂贵的UNIXUNIX硬件设备。在几台运行硬件设备。在几台运行LinuxLinux的的PCPC机上机上, ,只要加入相应的集群软件只要加入相应的集群软件, ,就可以组成具有很强可靠性、就可以组成具有很强可靠性、负载能力和计算能力的负载能力和计算能力的LinuxLinux集群。集群。集群介绍集群介绍小结：小结：l本次集群是在中科方德高可信服务器操作系本次集群是在中科方德高可信服务器操作系统平台上进行搭建；统平台上进行搭建；l技术的目标在于通过多层网络结构进一步提技术的目标在于通过多层网络结构进一步提高扩
8、展性、可用性与可靠性；高扩展性、可用性与可靠性；l将目前应用最为广泛的高可用集群技术和负将目前应用最为广泛的高可用集群技术和负载均衡集群技术融合到一起。载均衡集群技术融合到一起。目录目录集群介绍集群介绍集群管理工具集群管理工具集群各模块服务集群各模块服务集群应用集群应用总结总结Heartbeat介绍：介绍：概述：概述：HeartbeatHeartbeat是是Linux-HALinux-HA工程的一个组件。是集群的管理工程的一个组件。是集群的管理工具，同时也是集群中的一个服务；工具，同时也是集群中的一个服务；它通过插件技术实现了集群间的串口、多播、广播和它通过插件技术实现了集群间的串口、多播、广
9、播和组播通信，根据通信媒介选择采用的通信协议，组播通信，根据通信媒介选择采用的通信协议，heartbeatheartbeat启动的时候检查这些媒介是否存在，如果存启动的时候检查这些媒介是否存在，如果存在则加载相应的通信模块。在则加载相应的通信模块。检测各节点和服务的运行状态，不需要人工干预的情检测各节点和服务的运行状态，不需要人工干预的情况下，自动保证系统能持续对外提供服务。况下，自动保证系统能持续对外提供服务。 HeartbeatHeartbeat组件结构图组件结构图n结构图结构图Heartbeat原理原理高可用性集群的实现原理大致来说，就是有服务监测进程高可用性集群的实现原理大致来说，就是
10、有服务监测进程运行在负载均衡器上，用来定期检查服务器是否可用。运行在负载均衡器上，用来定期检查服务器是否可用。如果在指定的时间内没有响应服务接入请求或没有从服务如果在指定的时间内没有响应服务接入请求或没有从服务器获得器获得ICMPECHO_REQUEST数据，监测服务就会认为数据，监测服务就会认为服务器是不可用，并且将它从现有的负载均衡器上的服务服务器是不可用，并且将它从现有的负载均衡器上的服务器列表中删除，从而不会有新的请求再被发送到这台不可器列表中删除，从而不会有新的请求再被发送到这台不可用的服务器中。用的服务器中。当监测服务检测到不可用的服务器已经可以恢复工作，监当监测服务检测到不可用的
11、服务器已经可以恢复工作，监测服务将会把这台服务器重新添加到可用的服务器列表中。测服务将会把这台服务器重新添加到可用的服务器列表中。pacemakerpacemaker介绍介绍PacemakerPacemaker是集群资源管理。它利用你的集是集群资源管理。它利用你的集群基础组件（如群基础组件（如heartbeatheartbeat）来停止，启动）来停止，启动甚至监控你希望集群提供服务的健康状况。甚至监控你希望集群提供服务的健康状况。它可以在任何大小规模的集群中工作，伴随它可以在任何大小规模的集群中工作，伴随使用可靠的模块，管理可以很准确的描述集使用可靠的模块，管理可以很准确的描述集群中资源的关系
12、。群中资源的关系。hb_guihb_gui介绍介绍pacemakerpacemaker的图形管理工具的图形管理工具 : :图形界面图形界面nrootroot用户登录信息用户登录信息 ：CmanCman介绍介绍l cmancman概述概述 cmancman（cluster managercluster manager）是）是RHCS(RedRHCS(Red Hat Hat Cluster Suite)Cluster Suite)管理工具集的其中一个组件，是一管理工具集的其中一个组件，是一个基于内核的对称通用分布式集群管理工具，在个基于内核的对称通用分布式集群管理工具，在RHCSRHCS中执行集群
13、管理任务，通过配置和管理其它组中执行集群管理任务，通过配置和管理其它组件来管理高可用集群。件来管理高可用集群。CmanCman介绍介绍l cmancman原理原理 cmancman通过监视集群节点提供一个法定节点数通过监视集群节点提供一个法定节点数（quorumquorum），当集群中有多余一半的节点处于），当集群中有多余一半的节点处于活跃状态时说明有一个法定节点数，当有一半活跃状态时说明有一个法定节点数，当有一半或少于一半的节点处于活跃状态是则不具有一或少于一半的节点处于活跃状态是则不具有一个法定节点数，此时整个集群不可用。个法定节点数，此时整个集群不可用。cmancman通通过监控节点来了
14、解节点的成员关系，当集群中过监控节点来了解节点的成员关系，当集群中的成员关系改变时，的成员关系改变时，cmancman通知底层结构做相应通知底层结构做相应调整。调整。CmanCman组件（组件（1 1） cman.kocman.ko：CMAN CMAN 的的内内核核模模块块。 cman_toolcman_tool：这：这是是 CMAN CMAN 的的管管理理前前台台，是，是一一个个管管理理 CMAN CMAN 群群集集管管理理器器的的程程序序。它它启启动动和和停停止止 CMAN CMAN 并并能能修修改改某某些些内内部部参参数数，它，它提提供供加加入入集群集群、离离开开集集群群、杀杀死死节节点
15、点或或修修改改集集群群里里节节点点的的预预期期 quorum quorum votes votes 的的功功能能。 dlm_controlddlm_controld：由：由 cmancman 初初始始脚脚本本启启动动的的守守护护进进程程，它，它管管理理内内核核中中的的 dlmdlm；用；用户户不不可可直直接接使使用用。CmanCman组件（组件（2 2）gfs_controldgfs_controld：cmancman 初初始始脚脚本本启启动动的的守守护护进进程程，它，它管管理理内内核核中中的的 gfsgfs；用；用户户不不可可直直接接使使用用。group_toolgroup_tool：用：用
16、来来获获取取与与保保护护（fencingfencing）、）、DLMDLM、GFS GFS 相相关关的的组组群群列列表表，并，并获获取取调调试试信信息息，包，包括括 cman_toolcman_tool services services 在在 RHEL 4 RHEL 4 中中提提供供的的信信息息。GroupdGroupd：cmancman 初初始始脚脚本本启启动动的的守守护护进进程程，它，它是是 openais/cmanopenais/cman 和和 dlm_controld/gfs_controld/fenceddlm_controld/gfs_controld/fenced 之之间间的的
17、接接口口；用；用户户不不可可直直接接使使用用。总结总结lHeartbeatHeartbeat集群管理工具主要负责心跳信号，而集群管理工具主要负责心跳信号，而PacemakerPacemaker对对资源进行管理。资源进行管理。PacemakerPacemaker则可以通过命令行或者图形界面则可以通过命令行或者图形界面来对资源（组），节点创建，管理，配置等工作，用来搭建来对资源（组），节点创建，管理，配置等工作，用来搭建和管理一个高可用集群。和管理一个高可用集群。lcmancman集群管理工具用于管理集群成员，消息和通知。集群管理工具用于管理集群成员，消息和通知。cmancman包包括一套内核补丁
18、和一个用户空间程序括一套内核补丁和一个用户空间程序 。cman_toolcman_tool 用于使用于使一个节点加入或者离开集群。改变集群的投票期望值。一个节点加入或者离开集群。改变集群的投票期望值。目录目录集群介绍集群介绍集群管理工具集群管理工具集群各模块服务集群各模块服务集群应用集群应用总结总结多网卡绑定多网卡绑定lbonding概述概述Linuxbonding实实现现就就是是用用多多块块网网卡卡虚虚拟拟成成为为一一块块网网卡卡，这这个个聚聚合合起起来来的的设设备备对对外外看看起起来来是是一一个个单单独独的的以以太太网网接接口口设设备备，通通俗俗点点讲讲就就是是多多块块网网卡卡具具有有相相
19、同同的的IP地地址址而而并并行行链链接接聚聚合合成成一个逻辑链路工作。一个逻辑链路工作。BondingBonding原理原理正常情况下，网卡只接收目的硬件地址正常情况下，网卡只接收目的硬件地址(MAC Address)(MAC Address)，自身自身MacMac的以太网帧，将别的数据帧都滤掉，以减轻驱动的以太网帧，将别的数据帧都滤掉，以减轻驱动程序的负担。程序的负担。网卡也支持另外一种被称为混杂网卡也支持另外一种被称为混杂promiscpromisc的模式，可以接的模式，可以接收网络上所有的帧，收网络上所有的帧，bondingbonding运行在这个模式下，而且修运行在这个模式下，而且修改
20、了驱动程序中的改了驱动程序中的macmac地址，将两块网卡的地址，将两块网卡的MacMac地址改成地址改成相同，可以接收特定相同，可以接收特定macmac的数据帧。然后把相应的数据帧的数据帧。然后把相应的数据帧传送给传送给bondbond驱动程序处理。驱动程序处理。Linux bonding Linux bonding 驱动提供了一个把多个网络接口设备捆驱动提供了一个把多个网络接口设备捆绑为单个的网络接口设置来使用，用于网络负载均衡及绑为单个的网络接口设置来使用，用于网络负载均衡及网络冗余。网络冗余。bondingbonding模块模块 bonding模块本质上是一个虚拟的网卡驱动模块本质上是
21、一个虚拟的网卡驱动（networkdevicedriver），只不过并没有真实），只不过并没有真实的物理网卡与之对应，而是由这个虚拟网卡去的物理网卡与之对应，而是由这个虚拟网卡去“管辖管辖”一系列的真实的物理网卡，所以它的一系列的真实的物理网卡，所以它的代码结构和一般网卡驱动的代码结构非常类似，代码结构和一般网卡驱动的代码结构非常类似，这是共性；除此之外，它还有自己的一些特性这是共性；除此之外，它还有自己的一些特性功能，例如特别的链路状态监控机制，绑定功能，例如特别的链路状态监控机制，绑定/解解除绑定等。除绑定等。DRBDDRBD介绍介绍DRBDDRBD概述：概述： DRBD（Distribu
22、tedReplicatedBlockDevice）实际上是一种块设备的实现，主要被用于构建实际上是一种块设备的实现，主要被用于构建linux系统下的高可用集群。它是由内核模块和相系统下的高可用集群。它是由内核模块和相关程序组成，通过网络通信来同步镜像整个设备。关程序组成，通过网络通信来同步镜像整个设备。DRBD负责接收数据，将数据写入本地负责接收数据，将数据写入本地DRBD设设备上的文件系统时，数据会同时被发送到该服务备上的文件系统时，数据会同时被发送到该服务器集群中另外的节点，并以完全相同的内容格式器集群中另外的节点，并以完全相同的内容格式保存。保存。DRBDDRBD原理：原理：每个设备（每
23、个设备（DRBD提供了不止一个设备）都有一提供了不止一个设备）都有一个状态，可能是主状态或从状态。在带有主设备个状态，可能是主状态或从状态。在带有主设备的节点上，应用程序能运行并且访问主、从节点的节点上，应用程序能运行并且访问主、从节点设备。每次写入都会发往本地底层设备和从节点设备。每次写入都会发往本地底层设备和从节点设备中。从节点只能简单地把数据写入它的底层设备中。从节点只能简单地把数据写入它的底层块设备上。块设备上。DRBD数据镜像特点数据镜像特点适时性：当应用程序在写入或修改数据的同时也在向其它适时性：当应用程序在写入或修改数据的同时也在向其它节点进行备份该数据；节点进行备份该数据；透明
24、性：将数据保存到本地设备时，实际上也保存到其它透明性：将数据保存到本地设备时，实际上也保存到其它节点上，而在其它节点也能看到数据的保存过程；节点上，而在其它节点也能看到数据的保存过程；同步或异步：同步是指本地节点与集群中的其它节点同时同步或异步：同步是指本地节点与集群中的其它节点同时对数据进行写入；异步是写数据被存储到本地节点中之后，对数据进行写入；异步是写数据被存储到本地节点中之后，写事务被认可，对等节点中的数据副本出现在后台中；写事务被认可，对等节点中的数据副本出现在后台中；DRBD模式模式n单用户模式单用户模式 在单主模式下，任何资源，在任何时候，集群成员只有一在单主模式下，任何资源，在
25、任何时候，集群成员只有一个主角色。这样就保证了只有一个集群节点操纵数据，这个主角色。这样就保证了只有一个集群节点操纵数据，这种模式可用于与任何传统的文件系统。种模式可用于与任何传统的文件系统。n双主模式双主模式 在双主模式下，任何资源，在任何时候，两个节点都在集在双主模式下，任何资源，在任何时候，两个节点都在集群节点上都发挥主节点作用。这种模式要求共享集群文件群节点上都发挥主节点作用。这种模式要求共享集群文件系统管理者使用一个分布式锁机制。包括系统管理者使用一个分布式锁机制。包括GFSGFS与与OCFS2OCFS2。DRBDDRBD组件组件DRBD包含几个具有可与内核组件通信能力的管理工具，包
26、含几个具有可与内核组件通信能力的管理工具，为了能够配置和管理为了能够配置和管理DRBD资源。资源。ndrbdadm：DRBD应用套件的高层管理工具。应用套件的高层管理工具。ndrbdsetup：需要用户配置已经被载入到运行内核的：需要用户配置已经被载入到运行内核的DRBD模型，它是模型，它是drbd应用套件的底层工具。应用套件的底层工具。ndrbdmeta：该应用允许用户创建，删除，恢复，修改：该应用允许用户创建，删除，恢复，修改DRBD的元数据结构，也是一个很少使用的命令的元数据结构，也是一个很少使用的命令iSCSIiSCSI介绍介绍niSCSIiSCSI概述概述iSCSIiSCSI是由是由
27、IEETFIEETF开发的网络存储标准，目的是为开发的网络存储标准，目的是为了用了用IPIP协议将存储设备连接在一起。通过在协议将存储设备连接在一起。通过在IPIP网网上传送上传送SCSISCSI命令和数据，命令和数据，iSCSIiSCSI推动了数据在网际推动了数据在网际之间的传递，同时也促进了数据的远距离管理。之间的传递，同时也促进了数据的远距离管理。iSCSIiSCSI原理原理niSCSIiSCSI技术的核心是在技术的核心是在TCP/IPTCP/IP网络上传输网络上传输SCSISCSI协议，是指用协议，是指用TCP/IPTCP/IP报文、报文、iSCSIiSCSI报文封装报文封装SCSIS
28、CSI报文，使得报文，使得SCSISCSI命令和数据可以在普通命令和数据可以在普通以太网络上进行传输，以太网络上进行传输，iSCSI iSCSI 协议定义了在协议定义了在 TCP/IP TCP/IP 网络发送、接网络发送、接收收 blockblock（数据块）级的存储数据的规则和方法。发送端将（数据块）级的存储数据的规则和方法。发送端将SCSISCSI命命令和数据封装到令和数据封装到 TCP/IP TCP/IP 包中再通过网络转发，接收端收到包中再通过网络转发，接收端收到 TCP/IP TCP/IP 包之后，将其还原为包之后，将其还原为SCSISCSI命令和数据并执行，完成之后将命令和数据并执
29、行，完成之后将返回的返回的SCSISCSI命令和数据再封装到命令和数据再封装到 TCP/IP TCP/IP 包中再传送回发送端。而包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就象访问本地的整个过程在用户看来，使用远端的存储设备就象访问本地的 SCSISCSI设备一样简单。设备一样简单。iSCSIiSCSI工作流程工作流程iSCSIiSCSI工作流程：工作流程：iSCSIiSCSI组件组件iSCSI存储使用以下三个组件：存储使用以下三个组件：服务端（服务端（Initiator）：安装在需要使用）：安装在需要使用iSCSI存储设备的主机存储设备的主机上的客户端软件，提供连接上的客户
30、端软件，提供连接iSCSI存储设备并进行数据读写存储设备并进行数据读写的驱动程序；的驱动程序；客户端（客户端（Target）：）：iSCSI存储设备，提供数据存储服务；存储设备，提供数据存储服务；端口（端口（Portal）：由）：由IP地址和端口（默认为地址和端口（默认为TCP3260）组成，）组成，发起方通过入口来连接目标。发起方通过入口来连接目标。iSCSIiSCSI模块模块niscsiadm模块模块iscsiadm是用来管理（更新、删除、插入、查询）iSCSI配置数据库文件的命令行工具。niscsi-target模块模块target端即磁盘阵列或其他装有磁盘的主机。niscsi-init
31、iator模块模块iSCSI-initiator提供了相当合理的iSCSI解决方案。GFS与与GFS2介绍介绍nGFS与与GFS2概述概述Global(GFS)是一个开放源代码的，是一个开放源代码的，POSIX兼容的兼容的Cluster文件系统和卷管理系统。是文件系统和卷管理系统。是RedHatClusterSuite提供一个集群文件系统，它允许多个节点在块级别提供一个集群文件系统，它允许多个节点在块级别上共享存储。上共享存储。GFS使用一个分布式的元数据和多个记录，使用一个分布式的元数据和多个记录，GFS是一个理想的集群文件系统。是一个理想的集群文件系统。GFS2是是GFS基础上基础上的改进
32、。的改进。GFS工作原理工作原理nGFS文件系统通过一个或多个存储单元来构建一个存储文件系统通过一个或多个存储单元来构建一个存储池，集群中的节点通过池，集群中的节点通过SAN可以连接到指定的存储池，可以连接到指定的存储池，这样每个集群节点就可以通过一个或多个路径把存储池这样每个集群节点就可以通过一个或多个路径把存储池连接到网络应用中，由于存储池连接方式是通过直接连接到网络应用中，由于存储池连接方式是通过直接I/O连接方式，所以可以大大提升连接方式，所以可以大大提升I/O性能。性能。GFSGFS文件系统格式转换文件系统格式转换将将GFS文件系统转成文件系统转成GFS2文件系统操作步骤：文件系统操
33、作步骤：n备份原来的备份原来的GFS文件系统；文件系统；n从所有集群节点中卸载从所有集群节点中卸载GFS文件系统；文件系统；n在在GFS文件系统中执行文件系统中执行gfs_fsck命令，确保没有文件系统损坏，并且命令，确保没有文件系统损坏，并且现在使用的文件系统是一个干净的文件系统；现在使用的文件系统是一个干净的文件系统；n执行执行gfs2_convert+文件系统，系统将显示警告或确认信息文件系统，系统将显示警告或确认信息ldirectord介绍介绍n为了从主为了从主Director将将LVS负载均衡资源故障转移到备用负载均衡资源故障转移到备用Director，并从集群中自动移除节点，我们需
34、要使用，并从集群中自动移除节点，我们需要使用ldirectord程序，这个程序在启动时自动建立程序，这个程序在启动时自动建立IPVS表，然表，然后监视集群节点的健康情况，在发现失效节点时将其自后监视集群节点的健康情况，在发现失效节点时将其自动从动从IPVS表中移除。表中移除。ldirectord原理原理nldirectord守护进程通过向每台真实服务器真实守护进程通过向每台真实服务器真实IP（RIP）上的）上的集群资源发送访问请求来实现对真实服务器的监控，这对所有集群资源发送访问请求来实现对真实服务器的监控，这对所有类型的类型的LVS集群都是成立的：正常情况下，为每个集群都是成立的：正常情况下
35、，为每个Director上上的的VIP地址运行一个地址运行一个ldirectord守护进程，当真实服务器不响应守护进程，当真实服务器不响应运行在运行在Director上的上的ldirectord守护进程时，守护进程时，ldirectord守护进程守护进程运行适当的运行适当的ipvsadm命令将命令将VIP地址从地址从IPVS表中移除。（以后，表中移除。（以后，当真实服务器回到在线状态时，当真实服务器回到在线状态时，ldirectord使用适当的使用适当的ipvsadm命令将真实服务器重新添加到命令将真实服务器重新添加到IPVS表中）；表中）；Ldirectord功能功能n负载均衡集群，通过负载
36、均衡集群，通过Ldirectord监测各监测各RealServer的健康状况。在的健康状况。在RealServer不可用不可用时把它从群中剔除，恢复时重新加入。时把它从群中剔除，恢复时重新加入。ldirectordldirectord模块模块nipvsadmIPVS（IP虚拟服务器）是实现传输层的负载均衡工具包虚拟服务器）是实现传输层的负载均衡工具包含在含在linux内核中，所以也叫做内核中，所以也叫做4层交换机。层交换机。nldirectordLdirectord(LinuxDirectorDaemon)是是JacobRief编程实编程实现的一个独立进程，以实现对服务和物理服务器的监测，现的
37、一个独立进程，以实现对服务和物理服务器的监测，广泛地用于广泛地用于http和和https服务。服务。NFS NFS 介绍介绍nNFS（Net）网络文件系统是由）网络文件系统是由SUN公司开发，目前已经成公司开发，目前已经成为文件服务的一种标准（为文件服务的一种标准（RFC1904，RFC1813）。）。nNFS是分布式计算机系统的一个组成部分，可实现在异构是分布式计算机系统的一个组成部分，可实现在异构网络上共享和装配远程文件系统。其最大功能是可以通过网络上共享和装配远程文件系统。其最大功能是可以通过网络让不同操作系统的计算机可以共享数据和远程访问，网络让不同操作系统的计算机可以共享数据和远程访
38、问，所以也可以将其看作是一台文件服务器。所以也可以将其看作是一台文件服务器。NFSNFS原理原理nNFS客户端通过其客户端通过其TCP/IP模块向模块向NFS服务器发送服务器发送RPC请请求，求，NFS主要使用主要使用UDP，最新的实现也可以使用，最新的实现也可以使用TCP。nNFS服务器在端口服务器在端口2049接收作为接收作为UDP数据包的客户端请求，数据包的客户端请求，尽管尽管NFS可以被实现为使用端口映射器，允许服务器使用可以被实现为使用端口映射器，允许服务器使用一个临时端口，但是大多数实现都是直接指定一个临时端口，但是大多数实现都是直接指定UDP端口端口2049。n当当NFS服务器收
39、到一个客户端请求时，它将这个请求传递服务器收到一个客户端请求时，它将这个请求传递给本地文件访问例程，然后访问服务器主机上的一个本给本地文件访问例程，然后访问服务器主机上的一个本地的磁盘文件。地的磁盘文件。LVMLVM介绍介绍nLVM概述概述nLVM是逻辑盘卷管理（是逻辑盘卷管理（LogicalVolumeManager）的简）的简称，称，LVM作为作为Linux环境下对磁盘分区进行管理的一种环境下对磁盘分区进行管理的一种机制，机制，LVM是建立在硬盘和分区之上的一个逻辑层，来是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。提高磁盘分区管理的灵活性。LVM是在磁盘分区和文件是在磁
40、盘分区和文件系统之间添加的一个逻辑层，来为文件系统屏蔽下层磁系统之间添加的一个逻辑层，来为文件系统屏蔽下层磁盘分区布局，提供一个抽象的盘卷，使得用户在无需停盘分区布局，提供一个抽象的盘卷，使得用户在无需停机的情况下方便地调整各个分区大小，在盘卷上建立文机的情况下方便地调整各个分区大小，在盘卷上建立文件系统。件系统。基本术语基本术语n物理存储介质（物理存储介质（Thephysicalmedia）这里指系统的存储设备：硬盘，如：这里指系统的存储设备：硬盘，如：/dev/hda1/dev/hda1、/dev/sda/dev/sda等等，等等，是存储系统最低层的存储单元。是存储系统最低层的存储单元。n
41、物理卷（物理卷（physicalvolume）物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备备( (如如RAID)RAID)，是，是LVMLVM的基本存储逻辑块，但和基本的物理存储介质的基本存储逻辑块，但和基本的物理存储介质（如分区、磁盘等）比较，却包含有与（如分区、磁盘等）比较，却包含有与LVMLVM相关的管理参数。相关的管理参数。n卷组（卷组（VolumeGroup）LVMLVM卷组类似于非卷组类似于非LVMLVM系统中的物理硬盘，其由物理卷组成。可以系统中的物理硬盘，其由物理卷组成。可以在卷组上创建一个或多个在卷组上创建
42、一个或多个“LVMLVM分区分区”（逻辑卷），（逻辑卷），LVMLVM卷组由一卷组由一个或多个物理卷组成。个或多个物理卷组成。基本术语基本术语n逻辑卷（逻辑卷（logical volumelogical volume）LVMLVM的逻辑卷类似于非的逻辑卷类似于非LVMLVM系统中的硬盘分区，在逻辑卷之上可以系统中的硬盘分区，在逻辑卷之上可以建立文件系统建立文件系统( (比如比如/home/home或者或者/usr/usr等等) )。nPEPE（physical extentphysical extent） -逻辑扩展逻辑扩展每一个物理卷被划分为称为每一个物理卷被划分为称为PE(Physical
43、 Extents)PE(Physical Extents)的基本单元，的基本单元，具有唯一编号的具有唯一编号的PEPE是可以被是可以被LVMLVM寻址的最小单元。寻址的最小单元。PEPE的大小是可配的大小是可配置的，默认为置的，默认为4MB4MB。nLELE（logical extentlogical extent）逻辑卷也被划分为被称为逻辑卷也被划分为被称为LE(Logical Extents)LE(Logical Extents)的可被寻址的基本的可被寻址的基本单位。在同一个卷组中，单位。在同一个卷组中，LELE的大小和的大小和PEPE是相同的，并且一一对应。是相同的，并且一一对应。集群服
44、务总结集群服务总结n总结总结集群的实现离不开以上的服务，多网卡绑定保证了网络的集群的实现离不开以上的服务，多网卡绑定保证了网络的连接；磁盘镜像实现了数据的备份；多机热互备为用户服连接；磁盘镜像实现了数据的备份；多机热互备为用户服务提供了安全保障；负载均衡提高了服务器的性能，同时务提供了安全保障；负载均衡提高了服务器的性能，同时也节省了用户的访问时间。也节省了用户的访问时间。目录目录集群介绍集群介绍集群管理工具集群管理工具集群各模块服务集群各模块服务集群应用集群应用总结总结系统配置环境系统配置环境本章所描述的实例应用的系统配置环境如下：本章所描述的实例应用的系统配置环境如下：n硬件环境：硬件环境
45、：集群节点：每个节点设备应该能运行中科方德高可信服务器集群节点：每个节点设备应该能运行中科方德高可信服务器操作系统，并且内存大于等于操作系统，并且内存大于等于1GB，应具备两个，应具备两个网络适配器接口。网络适配器接口。交换机或者交换机或者Hub：为了每个节点相互链接。：为了每个节点相互链接。存储器：集群所必需的设备存储器：集群所必需的设备系统配置环境系统配置环境n软件环境：软件环境：操作系统版本：方德高可信服务器操作系统操作系统版本：方德高可信服务器操作系统64位位操作系统内核版本：操作系统内核版本：2.6.18-123.7NFSHeartbeat服务版本：服务版本：heartbeat-2.
46、99.2-9.1Pacemaker服务版本：服务版本：pacemaker-0.6.6-6.6Bonding服务版本：服务版本：3.2.4Drbd服务版本：服务版本：0.7.23Iscsi-target版本：版本：0.4.17-LAXS3Iscsi-initiator-utils版本：版本：6.2.0.868-0.18.LNFSIpvaadm服务版本：服务版本：1.24Ldirectord服务版本：服务版本：1.186-ha-2.99.2集群应用（集群应用（1 1）下图提供了一种下图提供了一种5 5节点的高可用负载均衡集群解决方案：节点的高可用负载均衡集群解决方案：方案说明方案说明n从上图我们看
47、出，从上图我们看出，LVSLVS的抽象体系结构分为三个层次。的抽象体系结构分为三个层次。 第一层是负载均衡器，这是集群的唯一入口。从客第一层是负载均衡器，这是集群的唯一入口。从客户端的角度看，集群通过这层的服务体现为一个基户端的角度看，集群通过这层的服务体现为一个基于于IPIP地址的单一系统映像（地址的单一系统映像（SSISSI），整个集群共用这），整个集群共用这个虚拟地址，通过它客户端可以把整个集群看作一个虚拟地址，通过它客户端可以把整个集群看作一个独立的具有合法个独立的具有合法IPIP地址的主机系统，客户端的所地址的主机系统，客户端的所有访问都发往这个虚拟有访问都发往这个虚拟IPIP地址。
48、地址。 方案说明方案说明n但我们也发现，如果仅有一台负载均衡器，容易造成但我们也发现，如果仅有一台负载均衡器，容易造成负载均衡器成为集群的单点失效，使其成为集群中最负载均衡器成为集群的单点失效，使其成为集群中最脆弱的环节。因此，有必要提供容错机制，能够在负脆弱的环节。因此，有必要提供容错机制，能够在负载均衡器失效的时候进行自动检测并平滑替换，也就载均衡器失效的时候进行自动检测并平滑替换，也就是常说的是常说的HAHA技术。在上图的结构中，有一个以备份均技术。在上图的结构中，有一个以备份均衡身份运行的结点实时地监控负载均衡器的运行状态，衡身份运行的结点实时地监控负载均衡器的运行状态，并根据检测到的
49、状态做出响应：报警、接管、恢复。并根据检测到的状态做出响应：报警、接管、恢复。方案说明方案说明n第二层是提供实际服务的服务器组，并且节点间使第二层是提供实际服务的服务器组，并且节点间使用用drbddrbd服务来实现磁盘镜像。客户端发出的服务请服务来实现磁盘镜像。客户端发出的服务请求经过均衡器处理以后，转交到服务池由具体的服求经过均衡器处理以后，转交到服务池由具体的服务器响应请求并返回数据。通常我们会在服务结点务器响应请求并返回数据。通常我们会在服务结点池上提供池上提供WebWeb服务、服务、FTPFTP服务或者视频点播服务。由服务或者视频点播服务。由于单一系统无法应付高峰值的数据访问，那么通过
50、于单一系统无法应付高峰值的数据访问，那么通过多台服务器分担这些负载就比较经济可行了。多台服务器分担这些负载就比较经济可行了。方案说明方案说明n服务器节点也有可能出现暂时失效的情况，特别是服务器节点也有可能出现暂时失效的情况，特别是在节点提供多种服务的时候，系统的随机故障或外在节点提供多种服务的时候，系统的随机故障或外部环境的突变都可能造成该节点的某个服务暂时不部环境的突变都可能造成该节点的某个服务暂时不可用。因此，由负载均衡扩展出的容错机制要能够可用。因此，由负载均衡扩展出的容错机制要能够识别这种错误，及时进行处理。同样，当错误排除识别这种错误，及时进行处理。同样，当错误排除后，集群能够自动识
51、别恢复事件，把恢复的结点重后，集群能够自动识别恢复事件，把恢复的结点重新纳入集群继续运行。新纳入集群继续运行。 方案说明方案说明n由于服务器节点可能会失效，所以保护节点中的由于服务器节点可能会失效，所以保护节点中的数据是非常重要的！通过数据是非常重要的！通过drbddrbd服务，可以让集群服务，可以让集群之间的节点实现磁盘镜像。每个节点中的硬盘都之间的节点实现磁盘镜像。每个节点中的硬盘都会有自己的镜像，这样即使某节点失效了，用户会有自己的镜像，这样即使某节点失效了，用户也可以正常访问其镜像中的数据，从而不会出现也可以正常访问其镜像中的数据，从而不会出现数据丢失的现象，更不会有用户访问不到数据的
52、数据丢失的现象，更不会有用户访问不到数据的现象发生。现象发生。方案说明方案说明n第三层是存储服务系统，为整个集群内部运行提供第三层是存储服务系统，为整个集群内部运行提供稳定、一致的文件存取服务。这一层作为稳定、一致的文件存取服务。这一层作为LVSLVS集群的集群的扩展，可以为集群节点池提供单一的文件系统入口，扩展，可以为集群节点池提供单一的文件系统入口，即在每一台服务结点上都共用同一个根（即在每一台服务结点上都共用同一个根（/ /）；并且）；并且自动完成不同结点访问文件系统所引发的文件锁定、自动完成不同结点访问文件系统所引发的文件锁定、负载均衡、容错、内容一致、读写事务等底层功能，负载均衡、容
53、错、内容一致、读写事务等底层功能，对应用层提供一个透明的文件访问服务。对应用层提供一个透明的文件访问服务。集群应用（集群应用（2 2）下图提供了一种下图提供了一种1616节点的高可用负载均衡集群解决方案：节点的高可用负载均衡集群解决方案：应用说明应用说明n本集群模型是一个的本集群模型是一个的3 3层集群的概念多节点扩充，前端是层集群的概念多节点扩充，前端是4 4个个负载均衡器实现的是主备模式的负载均衡，而中间层是多节负载均衡器实现的是主备模式的负载均衡，而中间层是多节点的服务器层运行客户所需的服务，为负载均衡服务器提供点的服务器层运行客户所需的服务，为负载均衡服务器提供多个可供选择的真实服务器
54、，存储层还是沿用中型集群设计多个可供选择的真实服务器，存储层还是沿用中型集群设计方案进行设计。方案进行设计。应用说明应用说明n本集群的设计基于大型企业来设计的，由本集群的设计基于大型企业来设计的，由1616台计算机或者服务器来台计算机或者服务器来组成有一个大规模的集群，成本方面，由于是组成有一个大规模的集群，成本方面，由于是1616台计算机的联合工台计算机的联合工作的大型集群，所以成本费用较高，但是增加负载均衡服务器的主作的大型集群，所以成本费用较高，但是增加负载均衡服务器的主备模式，提高了负载均衡服务器的可用性；存储方面，由于使用了备模式，提高了负载均衡服务器的可用性；存储方面，由于使用了共
55、享存储，所以提高了数据的安全性和保密性；共享存储方面，使共享存储，所以提高了数据的安全性和保密性；共享存储方面，使用了磁盘镜像技术，对数据进行备份从而提高了对数据的可靠性。用了磁盘镜像技术，对数据进行备份从而提高了对数据的可靠性。但是本集群的服务器节点过多，而存储层只使用一个双节点磁盘镜但是本集群的服务器节点过多，而存储层只使用一个双节点磁盘镜像与共享存储的综合应用，对数据的访问和存储有一定局限，如果像与共享存储的综合应用，对数据的访问和存储有一定局限，如果需要更改，可以减少节点数，增加存储层的节点个数。需要更改，可以减少节点数，增加存储层的节点个数。节点状态添加节点状态添加n节点状态图：节点
56、状态图：资源添加资源添加n资源窗口：资源窗口：服务添加服务添加n添加添加httphttp服务：服务：资源粘性资源粘性n添加资源粘性：添加资源粘性：集群应用总结集群应用总结n高可用性集群的配置实现了集群的整体服务。高可用性集群的配置实现了集群的整体服务。对集群各项对集群各项功能一一配置并测试后，按预定方案配置，将热互备、磁功能一一配置并测试后，按预定方案配置，将热互备、磁盘镜像、负载均衡、共享存储综合到一起，实现了高可用盘镜像、负载均衡、共享存储综合到一起，实现了高可用集群；集群；n通过在中科方德高可信服务器操作系统上实际配置小型集通过在中科方德高可信服务器操作系统上实际配置小型集群，并获得了一
57、个综合性的中科方德高可信服务器操作系群，并获得了一个综合性的中科方德高可信服务器操作系统的统的LVSLVS集群方案。使得我们的理论得到了实际的支持。集群方案。使得我们的理论得到了实际的支持。目录目录集群介绍集群介绍集群管理工具集群管理工具集群各模块服务集群各模块服务集群应用集群应用总结总结p经常不断地学习,你就什么都知道。你知道得越多,你就越有力量pStudyConstantly,AndYouWillKnowEverything.TheMoreYouKnow,TheMorePowerfulYouWillBe写在最后谢谢你的到来学习并没有结束，希望大家继续努力Learning Is Not Over. I Hope You Will Continue To Work Hard演讲人：XXXXXX 时 间：XX年XX月XX日
