《solrcloud搭建全面总结》由会员分享，可在线阅读，更多相关《solrcloud搭建全面总结（19页珍藏版）》请在金锄头文库上搜索。
1、solrcloud 集群搭建1 什么是 SolrCloud1.1 什么是 SolrCloudSolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud 的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。1.2 SolrCloud 结构SolrCloud 为了降低单机的处理压力，需要由多台服务器共同来完成索引和搜索任务。实现的思路是将索引数据进行 Shard（分片）拆分，每个分片由多台的服务器共同完成，当一个索引或搜索请
2、求过来时会分别从不同的 Shard 的服务器中操作索引。SolrCloud 需要 Solr 基于 Zookeeper 部署，Zookeeper 是一个集群管理软件，由于SolrCloud 需要由多台服务器组成，由 zookeeper 来进行协调管理。下图是一个 SolrCloud 应用的例子：对上图进行图解，如下：注：1、一个分片有且只有一个主服务节点。2、collection 是完整体，内容分别存放在各个 shard 中3、一个 shard 中的每个 core 的数据是一致的。4、从上图可以看出，core 才是存放数据的物理结构1.2.1 物理结构三个 Solr 实例（每个实例包括两个 Co
3、re） ，组成一个 SolrCloud。1.2.2 逻辑结构索引集合包括两个 Shard（shard1 和 shard2） ，shard1 和 shard2 分别由三个 Core 组成，其中一个 Leader 两个 Replication，Leader 是由 zookeeper 选举产生，zookeeper 控制每个shard 上三个 Core 的索引数据一致，解决高可用问题。用户发起索引请求分别从 shard1 和 shard2 上获取，解决高并发问题。注：zk 会自动把一个 shard 上的 core 创建在不同 solr 服务上，如下，两个服务器各起了一个 solr 服务。1.2.2.1
4、collectionCollection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard（分片） ，它们使用相同的配置信息。创建 collection:http:/x.x.x.x:8080/solr/admin/collections?action=CREATE&collection.configName=gdsconf&name=goodsInfo&numShards=1&replicationFactor=2&maxShardsPerNode=2numShards 表示创建多少个 shard1.2.2.2Core每个 Core 是 So
5、lr 中一个独立运行单位，提供索引和搜索服务。一个 shard 需要由一个Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。1.2.2.3Master 或 SlaveMaster 是 master-slave 结构中的主结点（通常说主服务器） ，Slave 是 master-slave 结构中的从结点（通常说从服务器或备服务器） 。同一个 Shard 下 master 和 slave 存储的数据是一致的，这是为了达到高可用目的。1.2.2.4ShardCollection 的逻辑分片。每个 Shard
6、被化成一个或者多个 replication，通过选举确定哪个是 Leader。2 SolrCloud 搭建SolrCloud 结构图如下：z o o k e e p e rS o l r C l o u dS o l r1 9 2 . 1 6 8 . 0 . 1S o l r1 9 2 . 1 6 8 . 0 . 2S o l r1 9 2 . 1 6 8 . 0 . 3S o l r1 9 2 . 1 6 8 . 0 . 4C o r eC o r e C o r e C o r eZ k 11 9 2 . 1 6 8 . 0 . 5Z k 21 9 2 . 1 6 8 . 0 . 6Z k
7、 31 9 2 . 1 6 8 . 0 . 7S h a r d 1S h a r d 2C o l l e c t i o n参考：“solrcloud 搭建.docx ”文档2.1 环境准备CentOS-6.5-i386-bin-DVD1.isojdk-7u72-linux-i586.tar.gzapache-tomcat-7.0.57.tar.gzzookeeper-3.4.6.tar.gzsolr-4.10.3.tgz服务器 7 台: zookeeper 三台：192.168.0.5，192.168.0.6，192.168.0.7Solr 三台：192.168.0.1，192.168.
8、0.2，192.168.0.3，192.168.0.42.2 环境安装2.3 CentOs 6.5 安装略2.4 jdk7 安装略2.5 zookeeper 集群安装2.5.1 解压 zookeeper 安装包tar -zxvf zookeeper-3.4.6.tar.gz将 zookeeper-3.4.6 拷贝到/usr/local 下并将目录名改为 zookeeper至此 zookeeper 的安装目录为/usr/local/zookeeper2.5.2 进入 zookeeper 文件夹,创建 data 和 logs创建目录并赋于写权限指定 zookeeper 的数据存放目录和日志目录2.
9、5.3 拷贝 zookeeper 配制文件 zoo_sample.cfg拷贝 zookeeper 配制文件 zoo_sample.cfg 并重命名 zoo.cfgcp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper /conf/zoo.cfg2.5.4 修改 zoo.cfg加入 dataDir=/usr/local/zookeeper/datadataLogDir=/usr/local/zookeeper/logsserver.1=192.168.0.5:2888:3888server.2=192.168.0.6:28
10、88:3888server.3=192.168.0.7:2888:3888zoo.cfg 配制完后如下:# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the
11、directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/usr/local/zookeeper/data# the port at which the clients will connectclientPort=2181# the maximum number of client connections.# increase this if you need to handle more clients#maxClientC
12、nxns=60# Be sure to read the maintenance section of the # administrator guide before turning on autopurge.# http:/zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance# The number of snapshots to retain in dataDir#autopurge.snapRetainCount=3# Purge task interval in hours# Set to 0 to d
13、isable auto purge feature#autopurge.purgeInterval=1#dataLogDir=/usr/local/zookeeper/logsserver.1=192.168.0.5:2888:3888server.2=192.168.0.6:2888:3888server.3=192.168.0.7:2888:38882.5.5 进入 data 文件夹建立对应的 myid 文件例如server.1为192.168.0.5则 data文件夹下的myid文件内容为1server.2为192.168.0.6则 data文件夹下的 myid文件内容为2依此类推2.5
14、.6 拷贝 zookeeper 文件夹到其他机器(192.168.0.6 和192.168.0.7)2.5.7 开启 zookeeper 的端口/sbin/iptables -I INPUT -p tcp -dport 2181 -j ACCEPT/sbin/iptables -I INPUT -p tcp -dport 2888 -j ACCEPT/sbin/iptables -I INPUT -p tcp -dport 3888 -j ACCEPT/sbin/iptables -I INPUT -p tcp -dport 8080 -j ACCEPT -这里开启 tomcat 8080端口
15、/etc/rc.d/init.d/iptables save #将更改进行保存/etc/init.d/iptables restart #重启防火墙以便改动生效2.5.8 启动三台服务器的 zookeeper进入/usr/local/zookeeper/bin./zkServer.sh start查看集群状态./zkServer.sh status刚启动可能会有错误，集群中其他节点一并起来后就正常了2.6 tomcat 安装将 apache-tomcat-7.0.57.tar.gz 拷贝到/usr/local 下并解压cd /usr/localtar -zxvf apache-tomcat-7
16、.0.57.tar.gz2.7 solr 单机部署2.7.1 解压 solr.4.10.3.tgz在其中一台服务器上解压 solr.4.10.3.tgz，将 solr.4.10.3.tgz 拷贝到/usr/local 下，解压缩：tar -zxvf solr-4.10.3.tgz压缩后在/usr/local 下有 solr-4.10.3 目录 。2.7.2 solrhome在/home 下创建 solr 作为 solrhome 并赋于读写权限2.7.3 部署 solr.war参考 solr 单机部署方法。启动 tomcat 访问 http:/192.168.0.1:8080/solr 如图，至此单机版 solr 配制完成补充：设置 solr/home 的三种方式solr/home 是 solr 实例化 core 核的依据和入口，是必不可少的配置。在 tomcat 中有三种方式可以完成其配置。1、在 web.xml 中设置solr/homeC:/example2/so
