solr6.6初探之主从同步

简介: 1.关于solr索引数据同步    通常情况下,单节点部署的solr应用很难在并发量很大的情况下"久存",那么多节点部署提高Solr应用的负载量和响应时间势在必行。   solr索引同步有以下特点:     ·影响复制的配置由单个文件solrconfig.xml控制    ·支持配置文件和索引文件的复制    ·跨平台工作,配置相同    ·与Solr紧密结合;管理页面提供了对复制各个方面更细粒度控制    ·基于java的复制特性作为请求处理程序实现。

1.关于solr索引数据同步 

  通常情况下,单节点部署的solr应用很难在并发量很大的情况下"久存",那么多节点部署提高Solr应用的负载量和响应时间势在必行。

  solr索引同步有以下特点:

    ·影响复制的配置由单个文件solrconfig.xml控制
    ·支持配置文件和索引文件的复制
    ·跨平台工作,配置相同
    ·与Solr紧密结合;管理页面提供了对复制各个方面更细粒度控制
    ·基于java的复制特性作为请求处理程序实现。因此,配置复制类似于任何正常的请求处理程序。

 当主节点索引更新时,所变更的数据会拷贝到所有子节点上

 

2.配置ReplicationHandler

 在运行主从复制之前,应该设置处理程序初始化的参数:

 ·replicateAfter :SOLR会自行在以下操作行为发生后执行复制,有效的值为commit, optimize, startup 

   ·backAfter:solr在以下操作后会发生备份,有效的值为commit, optimize, startup 

 ·maxnumberofbackup:一个整数值,决定了该节点在接收备份命令时将保留的最大备份数量。

 ·maxNumberOfBackups :指定要保留多少备份。这可以用来删除除最近的N个备份。

 ·commitReserveDuration:如果提交非常频繁并且您的网络速度很慢,可以调整这个参数来保留增量索引的周期时间,默认是10秒

  在${core.home}/conf/solrConfig.xml中进行主节点配置实例:

  <requestHandler name="/replication" class="solr.ReplicationHandler">
    <lst name="master">
      <str name="replicateAfter">commit</str>
      <str name="backupAfter">optimize</str>
      <str name="confFiles">schema.xml,stopwords.txt,elevate.xml</str>
      <str name="commitReserveDuration">00:00:10</str>
    </lst>
    <int name="maxNumberOfBackups">2</int>
    <lst name="invariants">
      <str name="maxWriteMBPerSec">16</str>
    </lst>
  </requestHandler>

  从节点配置:

   ·masterUrl:主节点的地址,从节点通过replication参数来发送同步指令

   ·pollInterval:设置抓取间隔时间,用HH:mm:ss的格式设置

   ·compression 可选值:external,internal(局域网推荐使用此值)

 

 <requestHandler name="/replication" class="solr.ReplicationHandler">
    <lst name="slave">
      <!-- fully qualified url for the replication handler of master. It is
           possible to pass on this as a request param for the fetchindex command -->
      <str name="masterUrl">http://remote_host:port/solr/core_name/replication</str>
      <!-- Interval in which the slave should poll master.  Format is HH:mm:ss .
           If this is absent slave does not poll automatically.
           But a fetchindex can be triggered from the admin or the http API -->
      <str name="pollInterval">00:00:20</str>
      <!-- THE FOLLOWING PARAMETERS ARE USUALLY NOT REQUIRED-->
      <!-- To use compression while transferring the index files. The possible
           values are internal|external.  If the value is 'external' make sure
           that your master Solr has the settings to honor the accept-encoding header.
           See here for details: http://wiki.apache.org/solr/SolrHttpCompression
           If it is 'internal' everything will be taken care of automatically.
           USE THIS ONLY IF YOUR BANDWIDTH IS LOW.
           THIS CAN ACTUALLY SLOWDOWN REPLICATION IN A LAN -->
      <str name="compression">internal</str>
      <!-- The following values are used when the slave connects to the master to
           download the index files.  Default values implicitly set as 5000ms and
           10000ms respectively. The user DOES NOT need to specify these unless the
           bandwidth is extremely low or if there is an extremely high latency -->
      <str name="httpConnTimeout">5000</str>
      <str name="httpReadTimeout">10000</str>
      <!-- If HTTP Basic authentication is enabled on the master, then the slave
           can be configured with the following -->
      <str name="httpBasicAuthUser">username</str>
      <str name="httpBasicAuthPassword">password</str>
    </lst>
  </requestHandler>

 

  注意:从节点masterUrl属性应当配置为主节点的地址

 3.关于solr主从复制之repeater模式

  在上述配置中有一个弊端:

  ·一主多从模式,主节点存在宕机的风险,那么从节点会群龙无首(solr暂时未提供主节点选举策略)

  ·从节点很多的情况下,会严重拉低主节点的性能(占有主节点服务器网络资源,占有磁盘I/O,提升CPU占有率等)

  solr这里提供了一套机制,就是repeater(中转器模式),简单来说将一定量的solr服务器配置成即是主节点又是从节点的模式:

  

  由图我们看到 从节点访问repeater(中转器)即可,因此从而减轻了主节点的压力,也一定程度上了解决单点故障。

  配置实例如下:

<requestHandler name="/replication" class="solr.ReplicationHandler">
    <lst name="master">
      <str name="replicateAfter">commit</str>
      <str name="confFiles">schema.xml,stopwords.txt,synonyms.txt</str>
    </lst>
    <lst name="slave">
      <str name="masterUrl">http://master.solr.company.com:8983/solr/core_name/replication</str>
      <str name="pollInterval">00:00:60</str>
    </lst>
  </requestHandler>

 

  从节点的masterUrl属性改成reapter的地址,另外replicateAfter必须设置为commit

目录
相关文章
|
缓存 网络协议 安全
如何在阿里云使用 DNSSEC
DNSSEC(Domain Name System Security Extensions)是互联网上增强域名系统(DNS)安全性的一种解决方案。DNSSEC 的主要目的是解决 DNS 缓存投毒和 DNS 欺骗攻击等问题,其通过在 DNS 中增加数字签名的方式确保 DNS 记录的一致性和可靠性。DNSSEC 的广泛使用可以有效地增强网络安全性,提高用户数据的保护和隐私。
1047 0
|
移动开发 安全 前端开发
提升iOS应用安全性:全面代码混淆功能介绍,使用Ipa Guard保护你的应用
iOS加固保护是直接针对ios ipa二进制文件的保护技术,可以对iOS APP中的可执行文件进行深度混淆、加密。使用任何工具都无法逆向、破解还原源文件。对APP进行完整性保护,防止应用程序中的代码及资源文件被恶意篡改。Ipa Guard通过修改 ipa 文件中的 macho 文件中二进制数据(代码模块配置)进行操作,无需源码。不限定开发技术平台。支持oc,swift,cocos2d-x、unity3d、quick-cocos,html5 ,react native等等各种开发技术。Ipa Guard主要包含代码混淆全面、资源文件处理、不需要源代码更安全、调试信息清理、即时测试运行。
|
关系型数据库 MySQL 数据库
阿里云rds简介和如何使用
阿里云关系型数据库服务(RDS)是一种在云端提供的高可用性、可扩展、安全的关系型数据库服务。它支持多种数据库引擎,包括MySQL、PostgreSQL、Oracle等,并提供了丰富的监控、备份、恢复、容灾等功能,帮助企业快速构建和运维高可用、高性能的数据库系统。
2911 0
|
前端开发
定义CSS样式
定义CSS样式。
177 2
|
9月前
|
索引 搜索推荐 UED
基于elasticsearch + huggingface model 实现语义检索
项目地址:https://github.com/skyterra/elastic-embedding-searcher。本项目利用Hugging Face模型生成文本的嵌入向量,并将其同步至Elasticsearch创建索引,支持通过余弦相似度进行高效的向量搜索,实现精准的内容检索与推荐功能。该项目为开发智能搜索应用提供了强大的后端支持。 (该简介有239个字符,包括标点和空格)
294 8
OpenStack技术栈-OpenStack环境初始化
文章介绍了如何配置网卡bond模式,搭建时间同步服务器,并提供了OpenStack环境初始化的步骤和建议。
165 1
OpenStack技术栈-OpenStack环境初始化
|
资源调度 JavaScript Windows
Error: command failed: yarn
Error: command failed: yarn
503 0
|
测试技术 Python
Pytest系列(16)- 分布式测试插件之pytest-xdist的详细使用
Pytest系列(16)- 分布式测试插件之pytest-xdist的详细使用
807 0
|
敏捷开发 架构师 程序员
【干货合集】12篇文章带你读懂敏捷架构!
流行技术大狂欢,5月29日即将召开的第二届研发效能嘉年华,带来了前沿技术理念及实践技术成果分享。本次峰会将有10位技术大咖进行干货分享,多角度,不同领域的带领大家了解高效研发。
8045 0