ElasticSearch集群快照

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: ElasticSearch集群快照

前言

之前我们介绍过单节点的ES快照、恢复,这里介绍一下集群的方式进行快照

多台服务器共享快照目录挂载

SSHFS方式

Linux es 用户调整

所有es使用的服务器进行es用户调整,保证es用户id与es用户组id相同,不相同可能会导致后期文件同步后权限不一致。

  • 官方GitHub地址

     https://github.com/libfuse/sshfs/releases
    
  • 安装

    yum install -y fuse-sshfs
    

    这里安装可能会提示No package fuse-sshfs available.

    解决方法:

    安装epel,执行

    # rpm -Uvh https://mirrors.tuna.tsinghua.edu.cn/epel/epel-release-latest-7.noarch.rpm
    

    其他版本epel在这里查看:https://mirrors.tuna.tsinghua.edu.cn/epel/

    或者直接执行yum -y install epel-release (该方法可能无法安装,推荐使用上面rpm安装)

  • 挂载远程目录

    sshfs 远程服务器用户名@远程服务器ip:远程主机需要挂载到本地的目录 挂载到本地的目录
    chmod 777 /opt/jast
    sshfs es@192.168.179.238:/opt/jast /opt/jast  -o allow_other
    
     -o allow_other 是给其他用户权限操作
    

    此时再本机和192.168.179.238服务器上对/opt/jast目录数据进行删除新增文件都会双向同步

  • 多台服务器挂载远程目录

    在三台服务器创建/opt/jast目录
    修改权限为:chmod 777 /opt/jast
    在A服务器执行
    sshfs root@172.16.99.14:/opt/jast /opt/jast -o allow_other
    在B服务器执行
    sshfs root@172.16.99.14:/opt/jast /opt/jast -o allow_other
    此时A、B服务器与172.16.99.14的/opt/jast目录之间已经实现共享
    

    注意:

    要在A,B两台服务器分别挂载C服务器;在A /opt/jast分别挂载B和C的/opt/jast只能同步成功一个。

    错误挂载:

    [es@gz-a00-2 jast]$ df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    /dev/vdb1                       2.4T  1.9T  370G  84% /opt
    root@192.168.179.238:/opt/jast  2.4T  1.7T  560G  76% /opt/jast
    root@172.16.99.14:/opt/jast     2.4T  1.7T  560G  76% /opt/jast
    

    正确挂载:

    [root@gz-a00-2 opt]# df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    ...
    root@192.168.179.238:/opt/jast  985G  765G  170G  82% /opt/jast
    
    [root@gz-a00-1 jast]# df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    ...
    root@192.168.179.238:/opt/jast  985G  765G  170G  82% /opt/jast
    
  • 卸载挂载

     fusermount -u /opt/jast
    
  • 强制卸载

    如果fusermount无法卸载可以使用umount命令进行卸载

    umount -fl /opt/jast
    

ElasticSearch 设置备份文件地址

  • 在elasticsearch.yml 新增
    /opt/jast_s是我们新增的快照地址,/opt/es/snapshot是之前配置的,这里我们不用,直接忽略。
    path.repo: ["/opt/es/snapshot","/opt/jast_s"]
    

注册快照存储库

jastsnapshot使我们快照存储库名称

PUT _snapshot/jastsnapshot
{
    "type": "fs",
    "settings": {
        "compress": true,
        "location": "/opt/jast_s"      
    }
}

查看快照存储库保存结果

GET _snapshot

{
  "ecopherebbs" : {
    "type" : "fs",
    "settings" : {
      "location" : "/opt/es/snapshot"
    }
  },
  "jastsnapshot" : {
    "type" : "fs",
    "settings" : {
      "compress" : "true",
      "location" : "/opt/jast_s"
    }
  }
}
  1. linux用户组设置
  2. 共享目录——启动要使用es用户,否则目录权限不对,做快照会提示权限问题。切记!!!
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
24天前
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
109 0
|
2月前
|
Docker 索引 容器
Elasticsearch跨集群检索配置
Elasticsearch跨集群检索配置
43 1
|
4月前
ElasticSearch快照脚本
ElasticSearch快照脚本
29 0
|
5月前
|
前端开发 Java Docker
利用 docker 部署 elasticsearch 集群(单节点多实例)
利用 docker 部署 elasticsearch 集群(单节点多实例)
256 0
|
4月前
|
安全 大数据 Java
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
53 0
|
5月前
|
JSON 数据格式 索引
实际使用Elasticdump工具对Elasticsearch集群进行数据备份和数据还原
就可以通过Elasticsearch的导入导出工具Elasticdump来实现,可以将Elasticsearch不同集群的数据进行索引备份和还原。
91 0
|
2月前
|
开发工具 Docker 容器
docker安装集群版ElasticSearch
docker安装集群版ElasticSearch
|
2月前
|
Java 网络安全 数据安全/隐私保护
高可用elasticsearch集群搭建
高可用elasticsearch集群搭建
|
2月前
|
网络安全 Docker 容器
【docker专题_01】docker搭建elasticsearch集群 -
【docker专题_01】docker搭建elasticsearch集群 -
|
3月前
dsl语句查询elasticsearch集群节点分布和资源使用情况
dsl语句查询elasticsearch集群节点分布和资源使用情况
118 0

相关产品

  • 检索分析服务 Elasticsearch版