ElasticSearch集群快照

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: ElasticSearch集群快照

前言

之前我们介绍过单节点的ES快照、恢复,这里介绍一下集群的方式进行快照

多台服务器共享快照目录挂载

SSHFS方式

Linux es 用户调整

所有es使用的服务器进行es用户调整,保证es用户id与es用户组id相同,不相同可能会导致后期文件同步后权限不一致。

  • 官方GitHub地址

     https://github.com/libfuse/sshfs/releases
    
  • 安装

    yum install -y fuse-sshfs
    

    这里安装可能会提示No package fuse-sshfs available.

    解决方法:

    安装epel,执行

    # rpm -Uvh https://mirrors.tuna.tsinghua.edu.cn/epel/epel-release-latest-7.noarch.rpm
    

    其他版本epel在这里查看:https://mirrors.tuna.tsinghua.edu.cn/epel/

    或者直接执行yum -y install epel-release (该方法可能无法安装,推荐使用上面rpm安装)

  • 挂载远程目录

    sshfs 远程服务器用户名@远程服务器ip:远程主机需要挂载到本地的目录 挂载到本地的目录
    chmod 777 /opt/jast
    sshfs es@192.168.179.238:/opt/jast /opt/jast  -o allow_other
    
     -o allow_other 是给其他用户权限操作
    

    此时再本机和192.168.179.238服务器上对/opt/jast目录数据进行删除新增文件都会双向同步

  • 多台服务器挂载远程目录

    在三台服务器创建/opt/jast目录
    修改权限为:chmod 777 /opt/jast
    在A服务器执行
    sshfs root@172.16.99.14:/opt/jast /opt/jast -o allow_other
    在B服务器执行
    sshfs root@172.16.99.14:/opt/jast /opt/jast -o allow_other
    此时A、B服务器与172.16.99.14的/opt/jast目录之间已经实现共享
    

    注意:

    要在A,B两台服务器分别挂载C服务器;在A /opt/jast分别挂载B和C的/opt/jast只能同步成功一个。

    错误挂载:

    [es@gz-a00-2 jast]$ df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    /dev/vdb1                       2.4T  1.9T  370G  84% /opt
    root@192.168.179.238:/opt/jast  2.4T  1.7T  560G  76% /opt/jast
    root@172.16.99.14:/opt/jast     2.4T  1.7T  560G  76% /opt/jast
    

    正确挂载:

    [root@gz-a00-2 opt]# df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    ...
    root@192.168.179.238:/opt/jast  985G  765G  170G  82% /opt/jast
    
    [root@gz-a00-1 jast]# df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    ...
    root@192.168.179.238:/opt/jast  985G  765G  170G  82% /opt/jast
    
  • 卸载挂载

     fusermount -u /opt/jast
    
  • 强制卸载

    如果fusermount无法卸载可以使用umount命令进行卸载

    umount -fl /opt/jast
    

ElasticSearch 设置备份文件地址

  • 在elasticsearch.yml 新增
    /opt/jast_s是我们新增的快照地址,/opt/es/snapshot是之前配置的,这里我们不用,直接忽略。
    path.repo: ["/opt/es/snapshot","/opt/jast_s"]
    

注册快照存储库

jastsnapshot使我们快照存储库名称

PUT _snapshot/jastsnapshot
{
    "type": "fs",
    "settings": {
        "compress": true,
        "location": "/opt/jast_s"      
    }
}

查看快照存储库保存结果

GET _snapshot

{
  "ecopherebbs" : {
    "type" : "fs",
    "settings" : {
      "location" : "/opt/es/snapshot"
    }
  },
  "jastsnapshot" : {
    "type" : "fs",
    "settings" : {
      "compress" : "true",
      "location" : "/opt/jast_s"
    }
  }
}
  1. linux用户组设置
  2. 共享目录——启动要使用es用户,否则目录权限不对,做快照会提示权限问题。切记!!!
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
28天前
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
214 1
|
3月前
|
存储 负载均衡 Java
Elasticsearch集群面试系列文章一
【9月更文挑战第9天】Elasticsearch(简称ES)是一种基于Lucene构建的分布式搜索和分析引擎,广泛用于全文搜索、结构化搜索、分析以及日志实时分析等场景。
114 7
|
4月前
|
存储 缓存 监控
|
1月前
|
存储 监控 安全
Elasticsearch 集群
【11月更文挑战第3天】
101 54
|
2天前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
12 0
|
1月前
|
缓存 监控 Java
Elasticsearch集群JVM调优
Elasticsearch集群JVM调优
43 5
|
28天前
|
存储 缓存 监控
Elasticsearch集群JVM调优堆外内存
Elasticsearch集群JVM调优堆外内存
45 1
|
28天前
|
监控 Java 测试技术
Elasticsearch集群JVM调优垃圾回收器的选择
Elasticsearch集群JVM调优垃圾回收器的选择
48 1
|
1月前
|
监控 安全 网络安全
Elasticsearch集群的网络设置
Elasticsearch集群的网络设置
32 3
|
1月前
|
缓存 监控 安全
优化Elasticsearch 集群配置
优化Elasticsearch 集群配置
68 4

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版