Solr7.3 Cloud On HDFS搭建

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: SolrCloud实际上是依托zk实现中心化配置管理的solr集群。具有容错、横向扩展和高可用等特性,能够对查询进行自动负载均衡和fail-over处理,适用于大规模的分布式索引和搜索。本文主要介绍最新版本solr on hdfs的搭建过程。

一、概要

SolrCloud实际上是依托zk实现中心化配置管理的solr集群。具有容错、横向扩展和高可用等特性,能够对查询进行自动负载均衡和fail-over处理,适用于大规模的分布式索引和搜索。本文主要介绍最新版本solr on hdfs的搭建过程。

二、环境

  • Centos7
  • JDK8
  • ZooKeeper
  • Hadoop 2.7

三、Solr安装

通过将solr安装到以下四个节点,使用外部的zk构建solr cloud。

emr-worker-1
emr-worker-2
emr-worker-3
emr-worker-4

emr-worker-1节点[下载安装包]。(http://www.apache.org/dyn/closer.lua/lucene/solr/7.3.1)

解压service安装脚本。

tar xzf solr-7.3.1.tgz solr-7.3.1/bin/install_solr_service.sh --strip-components=2

安装solr service。 默认的solr目录安装在/opt下, 启动配置文件solr.in.sh安装在/etc/default下,数据配置solr.xml文件和日志默认安装在/var/solr。以上安装目录可以在执行install_solr_service.sh时进行参数配置,具体可以通过-help查看。

bash ./install_solr_service.sh solr-7.3.1.tgz -n

配置solr.in.sh文件

SOLR_JAVA_MEM="-Xms4g -Xmx4g"

GC_LOG_OPTS="-verbose:gc -XX:+PrintHeapAtGC -XX:+PrintGCDetails \
  -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime"

ZK_HOST="emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/solr"

SOLR_HOST="emr-worker-1"

SOLR_TIMEZONE="UTC+8"

SOLR_OPTS="$SOLR_OPTS -Dsolr.directoryFactory=HdfsDirectoryFactory \
-Dsolr.lock.type=hdfs \
-Dsolr.hdfs.home=hdfs://emr-header-1:8020/solr"

注意:SOLR_HOST需要配置每个节点自己的HOST NAME

配置solr.xml文件

<str name="host">${host:emr-worker-1}</str>

注意:配置每个节点自己的HOST NAME

然后,依次在其它节点上安装并配置。最后在zk上创建solr目录

[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper, hadoop-ha, hbase]
[zk: localhost:2181(CONNECTED) 1] create /solr ''
Created /solr
[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper, hadoop-ha, hbase, solr]

启动solr服务

for h in "emr-worker-1" "emr-worker-2" "emr-worker-3" "emr-worker-4"
do
  ssh $h service solr start 
done

检查状态solr cloud状态,执行bin/solr status:

Found 1 Solr nodes:

Solr process 21527 running on port 8983
{
  "solr_home":"/var/solr/data",
  "version":"7.3.1 ae0705edb59eaa567fe13ed3a222fdadc7153680 - caomanhdat - 2018-05-09 09:30:57",
  "startTime":"2018-05-17T08:06:10.296Z",
  "uptime":"0 days, 0 hours, 1 minutes, 46 seconds",
  "memory":"112.8 MB (%2.9) of 3.8 GB",
  "cloud":{
    "ZooKeeper":"emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/solr",
    "liveNodes":"4",
    "collections":"1"}
}

四、Collection操作

切换到solr用户

su solr

创建集合

bin/solr create_collection -c collection1 -shards 4 -replicationFactor 2

集合健康状态检查

bin/solr healthcheck -c test_collection

删除集合

bin/solr delete -c collection1
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
存储 分布式计算 Hadoop
快速搭建HDFS集群
快速搭建HDFS集群
282 0
快速搭建HDFS集群
|
分布式计算 Java Linux
docker下,极速搭建spark集群(含hdfs集群)
搭建spark和hdfs的集群环境会消耗一些时间和精力,今天咱们就借助docker,极速搭建和体验spark和hdfs的集群环境
718 0
docker下,极速搭建spark集群(含hdfs集群)
|
分布式计算 资源调度 Hadoop
CDH 搭建_ Hadoop _ HDFS _主节点|学习笔记
快速学习 CDH 搭建_ Hadoop _ HDFS _主节点
380 0
CDH 搭建_ Hadoop _ HDFS _主节点|学习笔记
|
SQL 分布式计算 资源调度
CDH 搭建_ Hadoop _ HDFS _从节点和总结|学习笔记
快速学习 CDH 搭建_ Hadoop _ HDFS _从节点和总结
176 0
CDH 搭建_ Hadoop _ HDFS _从节点和总结|学习笔记
|
存储 分布式计算 搜索推荐
Hadoop : 搭建hdfs分布式集群
Hadoop : 搭建hdfs分布式集群
237 0
Hadoop : 搭建hdfs分布式集群
|
存储 分布式计算 Java
|
机器学习/深度学习 分布式计算 Hadoop
|
分布式计算 Java Hadoop
03【在线日志分析】之hadoop-2.7.3编译和搭建集群环境(HDFS HA,Yarn HA)
环境:CentOS6.5 1.下载hadoop2.7.3最新源码[root@sht-sgmhadoopnn-01 ~]# mkdir -p learnproject/compilesoft[root@sht-sgmhadoopnn-01 ~]# c...
1279 0
|
分布式计算 监控 Hadoop
04【在线日志分析】之Flume Agent的3台收集+1台聚合到hdfs的搭建
【log收集】:机器名称        服务名称    用户flume-agent-01: namenode    hdfsflume-agent-02: datanode    hdfsflume-agent-03: datanode    hdfs ...
1723 0

相关实验场景

更多