AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

搭建SolrCloud的详细步骤

2018-03-26 2164
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生网关 MSE Higress，422元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper，118元/月
简介： 搭建SolrCloud的详细步骤 一、需求 SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。 当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。

搭建SolrCloud的详细步骤

一、需求

SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。
当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能：
集中式的配置信息
自动容错
近实时搜索
查询时自动负载均衡
需要实现的solr集群架构

需要实现的solr集群架构

Zookeeper作为集群的管理工具。
集群管理：容错、负载均衡。
配置文件的集中管理
集群的入口

为实现zookeeper 高可用，需要搭建集群。建议是奇数节点，最少需要三个zookeeper服务器。

搭建solr集群需要7台服务器。

搭建伪分布式：
需要三个zookeeper节点
需要四个tomcat节点。

环境准备：
CentOS-6.5-i386-bin-DVD1.iso
jdk-7u72-linux-i586.tar.gz(建议虚拟机的内存1G以上。)
apache-tomcat-7.0.47.tar.gz
zookeeper-3.4.6.tar.gz
solr-4.10.3.tgz

二、Zookeeper集群搭建

第一步：在Linux下，需要安装jdk环境。
第二步：把zookeeper的压缩包上传到服务器。
第三步：解压缩。
第四步：把zookeeper复制三份。
[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper01
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper02
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper03
第五步：在每个zookeeper目录下创建一个data目录。
第六步：在data目录下创建一个myid文件，文件名就叫做“myid”。
内容就是每个实例的id。这里分别为1、2、3

[root@localhost data]# echo 1 >> myid
（创建一个名为myid的文件，并向文件中加入1，另外两个同理，也可用touch myid创建文件，vim myid 向文件中写入）

[root@localhost data]# ll
total 4
-rw-r--r--. 1 root root 2 Apr  7 18:23 myid
[root@localhost data]# cat myid 
1
第七步：修改配置文件。把conf目录下的zoo_sample.cfg文件改名为zoo.cfg
[root@Solr zookeeper01]# cd conf
[root@Solr conf]# ll
总用量 12
-rw-r--r--. 1 root root  535 3月  22 08:43 configuration.xsl
-rw-r--r--. 1 root root 2161 3月  22 08:43 log4j.properties
-rw-r--r--. 1 root root  922 3月  22 08:43 zoo_sample.cfg
修改：
[root@Solr conf]# mv zoo_sample.cfg zoo.cfg
[root@Solr conf]# ll
总用量 12
-rw-r--r--. 1 root root  535 3月  22 08:43 configuration.xsl
-rw-r--r--. 1 root root 2161 3月  22 08:43 log4j.properties
-rw-r--r--. 1 root root  922 3月  22 08:43 zoo.cfg

修改每个实例的配置文件：zoo.cfg

[root@Solr conf]# vim zoo.cfg 
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/solr-cloud/zookeeper01/data/（当前实例的data目录）
# the port at which the clients will connect
clientPort=2181（端口号，不能重复2181，2182，2183）
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=192.168.25.130:2881:3881
server.2=192.168.25.130:2882:3882
server.3=192.168.25.130:2883:3883
（每个实例的都一样）
~
~
第八步：启动每个zookeeper实例（启动之后先不要关闭，后面搭建solr集群的时候要用到）
[root@Solr solr-cloud]# ll
总用量 12
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper01
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper02
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper03

启动脚本：
[root@Solr solr-cloud]# vim start-zookeeper.sh
cd zookeeper01/bin
./zkServer.sh start
cd ../../
cd zookeeper02/bin
./zkServer.sh start
cd ../../
cd zookeeper03/bin
./zkServer.sh start
cd ../../

"start-zookeeper.sh" [新] 9L, 147C 已写入                                                             
[root@Solr solr-cloud]# ll
总用量 16
-rw-r--r--.  1 root root  147 3月  22 09:24 start-zookeeper.sh
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper01
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper02
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper03
[root@Solr solr-cloud]# chmod +x start-zookeeper.sh

启动：
[root@Solr solr-cloud]# ./start-zookeeper.sh 
JMX enabled by default
Using config: /usr/local/solr-cloud/zookeeper01/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
JMX enabled by default
Using config: /usr/local/solr-cloud/zookeeper02/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
JMX enabled by default
Using config: /usr/local/solr-cloud/zookeeper03/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@Solr solr-cloud]#

状态脚本：
[root@Solr solr-cloud]# vim status-zookeeper.sh
cd zookeeper01/bin
./zkServer.sh status
cd ../../
cd zookeeper02/bin
./zkServer.sh status
cd ../../
cd zookeeper03/bin
./zkServer.sh status
cd ../../
"status-zookeeper.sh" [新] 9L, 150C 已写入                                                            
[root@Solr solr-cloud]# chmod +x status-zookeeper.sh 

查看状态：
[root@Solr solr-cloud]# ./status-zookeeper.sh 
JMX enabled by default
Using config: /usr/local/solr-cloud/zookeeper01/bin/../conf/zoo.cfg
Mode: follower
JMX enabled by default
Using config: /usr/local/solr-cloud/zookeeper02/bin/../conf/zoo.cfg
Mode: follower
JMX enabled by default
Using config: /usr/local/solr-cloud/zookeeper03/bin/../conf/zoo.cfg
Mode: leader
[root@Solr solr-cloud]#

从上面的状态可以看出zookeeper03为内部选举出来的leadder。

zookeeper集群搭建成功！

三、Solr集群的搭建

第一步：创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480
[root@Solr ~]# cp -r apache-tomcat-7.0.52 /usr/local/solr-cloud/tomcat01
[root@Solr ~]# cp -r apache-tomcat-7.0.52 /usr/local/solr-cloud/tomcat02
[root@Solr ~]# cp -r apache-tomcat-7.0.52 /usr/local/solr-cloud/tomcat03
[root@Solr ~]# cp -r apache-tomcat-7.0.52 /usr/local/solr-cloud/tomcat04

[root@Solr solr-cloud]# vim tomcat01/conf/server.xml
进行如下修改：

这里写图片描述
这里写图片描述
这里写图片描述

其他tomcat操作一样，端口不能冲突。
vim tomcat02/conf/server.xml（8205、8280、8209）
vim tomcat03/conf/server.xml（8305、8380、8309）
vim tomcat04/conf/server.xml（8405、8480、8409）
第二步：部署solr的war包。把单机版的solr工程复制到集群中的tomcat中（首先要已经安装好单机版的solr）。
cp -r ../tomcat/apache-tomcat-7.0.52/webapps/solr/ tomcat01/webapps/
cp -r ../tomcat/apache-tomcat-7.0.52/webapps/solr/ tomcat02/webapps/
cp -r ../tomcat/apache-tomcat-7.0.52/webapps/solr/ tomcat03/webapps/
cp -r ../tomcat/apache-tomcat-7.0.52/webapps/solr/ tomcat04/webapps/
第三步：为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份（首先要已经安装好单机版的solrhome）。
[root@Solr solr-cloud]# cp -r ../solrhome/solr/ solrhome01/
[root@Solr solr-cloud]# cp -r ../solrhome/solr/ solrhome02/
[root@Solr solr-cloud]# cp -r ../solrhome/solr/ solrhome03/
[root@Solr solr-cloud]# cp -r ../solrhome/solr/ solrhome04/
[root@Solr solr-cloud]# ll
总用量 52
drwxr-xr-x.  4 root root 4096 3月  22 10:07 solrhome01
drwxr-xr-x.  4 root root 4096 3月  22 10:07 solrhome02
drwxr-xr-x.  4 root root 4096 3月  22 10:07 solrhome03
drwxr-xr-x.  4 root root 4096 3月  22 10:07 solrhome04
-rwxr-xr-x.  1 root root  147 3月  22 09:24 start-zookeeper.sh
-rwxr-xr-x.  1 root root  150 3月  22 09:31 status-zookeeper.sh
drwxr-xr-x.  9 root root 4096 3月  22 10:04 tomcat01
drwxr-xr-x.  9 root root 4096 3月  22 09:45 tomcat02
drwxr-xr-x.  9 root root 4096 3月  22 09:45 tomcat03
drwxr-xr-x.  9 root root 4096 3月  22 09:45 tomcat04
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper01
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper02
drwxr-xr-x. 11 root root 4096 3月  22 08:46 zookeeper03
第四步：需要修改solr的web.xml文件。把solrhome关联起来。
[root@Solr solr-cloud]# vim tomcat01/webapps/solr//WEB-INF/web.xml

这里写图片描述

其他三个同理

第五步：配置solrCloud相关的配置。每个solrhome下都有一个solr.xml，把其中的ip及端口号配置好。

这里写图片描述

    host:Linux的ip
    hostPort:分别为tomcat的端口号8180、8280、8380、8480
第六步：修改tomcat/bin目录下的catalina.sh （237行）文件，关联solr和zookeeper。
把此配置添加到配置文件中（每个tomcat中都加）：
JAVA_OPTS="-DzkHost=192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183"

这里写图片描述

第七步：让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可。
使用工具上传配置文件：/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

./zkcli.sh -zkhost 192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183
 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

查看zookeeper上的配置文件：
使用zookeeper目录下的bin/zkCli.sh命令查看zookeeper上的配置文件：

[root@localhost bin]# ./zkCli.sh （默认连到2181，指定：./zkCli.sh -server 192.168.25.130:2182）
[zk: localhost:2181(CONNECTED) 0] ls /
[configs, zookeeper]

[zk: localhost:2181(CONNECTED) 1] ls /configs
[myconf]
[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf

[admin-extra.menu-top.html, currency.xml, protwords.txt, mapping-FoldToASCII.txt,
 _schema_analysis_synonyms_english.json, _rest_managed.json, solrconfig.xml, 
_schema_analysis_stopwords_english.json, stopwords.txt, lang, spellings.txt, mapping-ISOLatin1Accent.txt,
 admin-extra.html, xslt, synonyms.txt, scripts.conf, update-script.js,
 velocity, elevate.xml, admin-extra.menu-bottom.html, clustering, schema.xml]

退出：
[zk: localhost:2181(CONNECTED) 3] quit
第八步：启动每个tomcat。（zookeeper集群为启动状态）
创建脚本启动：
[root@Solr solr-cloud]# vim start-tomcat.sh

/usr/local/solr-cloud/tomcat01/bin/startup.sh
/usr/local/solr-cloud/tomcat02/bin/startup.sh
/usr/local/solr-cloud/tomcat03/bin/startup.sh
/usr/local/solr-cloud/tomcat04/bin/startup.sh
第九步：开启Linux的端口号，供外部访问。
solr:
/sbin/iptables -I INPUT -p tcp --dport 8180 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 8280 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 8380 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 8480 -j ACCEPT

zookeeper:
/sbin/iptables -I INPUT -p tcp --dport 2181 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 2182 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 2183 -j ACCEPT

/etc/rc.d/init.d/iptables save
查看状态：
/etc/init.d/iptables status

图片去旅游了

solr集群搭建成功！

第十步：访问集群。
地址：192.168.25.130:8180/solr

这里写图片描述

第十一步：创建新的Collection进行分片处理。

http://192.168.25.130:8180/solr/admin/collections?
action=CREATE&name=collection2&numShards=2&replicationFactor=2
成功：

这里写图片描述

这里写图片描述

第十二步：删除不用的Collection。
http://192.168.25.130:8180/solr/admin/collections?action=DELETE&name=collection1
  • 1
  • 2

这里写图片描述

这里写图片描述

SolrCloud搭建成功……

测试

@Test
    public void addDocument() throws Exception {
        // 创建一个SolrServer对象，需要使用CloudSolrServer子类。构造方法的参数是zookeeper的地址列表。
        CloudSolrServer solrServer = new CloudSolrServer("192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183");
        // 设置DefaultCollection属性
        solrServer.setDefaultCollection("collection2");
        // 创建SolrInputDocument对象
        SolrInputDocument document = new SolrInputDocument();
        // 向文档对象中添加域
        document.addField("id", "test001");
        document.addField("item_title", "测试商品");
        // 把文档对象写入索引库
        solrServer.add(document);
        // 提交
        solrServer.commit();
    }
原文地址http://www.bieryun.com/2440.html
文章标签：
微服务引擎
应用服务中间件
开发工具
网络协议
索引
Linux
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
优惠码发放
目录
相关文章
yuanzhengme
|
29天前
|
Java Linux 网络安全
NIFI在Linux服务区上的部署配置过程是什么？
【10月更文挑战第21天】NIFI在Linux服务区上的部署配置过程是什么？
yuanzhengme
48 2
zcl19901222
|
3月前
|
Java Linux 开发工具
eft搭建详细步骤！
1、安装vmware 2、下载合适版本的centos并安装 稍后安装操作系统（安装第二个时把安装程序光盘映像文件ISO清空） 自定义硬件-内存4G-处理器2X2-网络适配器NAT-CD/DVD使用ISO映像 网络和主机名：主机名设置、开启以太网（安装好使用ip addr查看ip地址1-9-2开头的） root密码设置 3、安装xshell 使用ip addr看ip然后连接上 4、安装jdk yum search java|grep jdk yum install -y java-1.8.0-openjdk*
zcl19901222
102 2
爱你三千遍斯塔克
|
4月前
|
NoSQL JavaScript Redis
若依后端部署---若依部署,Redis在D盘的project的应用工具当中，在连接过程中，先用Xshell连接若依，RDM在应用工具里，同时host的主机也要写好
若依后端部署---若依部署,Redis在D盘的project的应用工具当中，在连接过程中，先用Xshell连接若依，RDM在应用工具里，同时host的主机也要写好
爱你三千遍斯塔克
150 0
创业之路＆下一个五年
|
Java 应用服务中间件 Linux
solr单机版服务搭建步骤
虽然简单的安装步骤，但是也是一个熟悉linux安装软件的过程
创业之路＆下一个五年
80 0
战斧.
|
数据可视化 Java Linux
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
战斧.
1019 0
chengfengpolang
|
存储 jenkins Java
搭建部署jenkins，服务器需要什么配置？底层原理是什么？
搭建部署jenkins，服务器需要什么配置？底层原理是什么？
chengfengpolang
1894 0
云课程笔记
|
存储 Kubernetes 监控
第一步如何创建集群及部署应用|学习笔记
快速学习第一步如何创建集群及部署应用
云课程笔记
236 0
程序员对白
|
分布式计算 资源调度 算法
搭建Hadoop集群的HA高可用架构（超详细步骤+已验证）（一）
搭建Hadoop集群的HA高可用架构（超详细步骤+已验证）（一）
程序员对白
1563 0
程序员对白
|
分布式计算 资源调度 Hadoop
搭建Hadoop集群的HA高可用架构（超详细步骤+已验证）（二）
搭建Hadoop集群的HA高可用架构（超详细步骤+已验证）（二）
程序员对白
418 0
店家小二
|
Kubernetes MySQL 关系型数据库
在K8S集群中一步步构建一个复杂的MySQL数据库
文档说明 ​ 本文面向容器初学者，作者先简单的用MySQL官方镜像搭建一个可运行的单实例数据库，而后考虑生产或现实需求，一步一步完善并揉合K8S多个技术，从而构建一个复杂且可供生产用的MySQL单实例库。
店家小二
1405 0

热门文章

最新文章

  • 1
    尝鲜：如何搭建一个简单的webrtc服务器
  • 2
    从零开始：阿里云上Kubernetes集群的搭建与部署
  • 3
    面试必问的4种单点登录的实现方式，你知道几个？
  • 4
    Github Pages+Hexo+阿里云域名绑定
  • 5
    测试开启MySQL performance_schema后对性能的影响
  • 6
    阿里云视频云总经理何亚明：基于倚天的视频云原生业务新范式
  • 7
    Windows SDK编程(Delphi版) 之 消息框和菜单资源
  • 8
    三级侧边栏-树形菜单案例效果
  • 9
    U盘故障详细维修方法
  • 10
    1、Windows API函数归总，网络函数、消息函数、文件处理
  • 1
    如何在项目中保证 Web 组件化的性能
    16
  • 2
    如何在项目中高效地进行 Web 组件化开发
    15
  • 3
    Vue3中v-model在处理自定义组件双向数据绑定时，如何避免循环引用？
    16
  • 4
    Vue3中v-model在处理自定义组件双向数据绑定时有哪些注意事项？
    102
  • 5
    在 Vue 3 中，如何使用 v-model 来处理自定义组件的双向数据绑定？
    20
  • 6
    网络漏洞
    16
  • 7
    网络安全
    14
  • 8
    完整性
    14
  • 9
    可用性
    97
  • 10
    可靠性
    13

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段

    • 相关电子书

    更多
  • HBase实践之MOB使用指南（未翻译）
  • 搭建4层电商项目架构，实战连接MySQL
  • 基于Kubernetes搭建HBase在知乎的实践

    • 相关实验场景

    更多
  • MySQL数据库快速部署实践
  • 安装配置Terraform环境
  • 使用云助手公共命令快速安装Java环境
  • 使用阿里云Elasticsearch快速搭建可观测系统
  • 搭建Hadoop环境
  • 如何在云端创建MySQL数据库
    • 下一篇
    无影云桌面