ElasticSearch集群快照

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: ElasticSearch集群快照

前言

之前我们介绍过单节点的ES快照、恢复,这里介绍一下集群的方式进行快照

多台服务器共享快照目录挂载

SSHFS方式

Linux es 用户调整

所有es使用的服务器进行es用户调整,保证es用户id与es用户组id相同,不相同可能会导致后期文件同步后权限不一致。

  • 官方GitHub地址

     https://github.com/libfuse/sshfs/releases
    
  • 安装

    yum install -y fuse-sshfs
    

    这里安装可能会提示No package fuse-sshfs available.

    解决方法:

    安装epel,执行

    # rpm -Uvh https://mirrors.tuna.tsinghua.edu.cn/epel/epel-release-latest-7.noarch.rpm
    

    其他版本epel在这里查看:https://mirrors.tuna.tsinghua.edu.cn/epel/

    或者直接执行yum -y install epel-release (该方法可能无法安装,推荐使用上面rpm安装)

  • 挂载远程目录

    sshfs 远程服务器用户名@远程服务器ip:远程主机需要挂载到本地的目录 挂载到本地的目录
    chmod 777 /opt/jast
    sshfs es@192.168.179.238:/opt/jast /opt/jast  -o allow_other
    
     -o allow_other 是给其他用户权限操作
    

    此时再本机和192.168.179.238服务器上对/opt/jast目录数据进行删除新增文件都会双向同步

  • 多台服务器挂载远程目录

    在三台服务器创建/opt/jast目录
    修改权限为:chmod 777 /opt/jast
    在A服务器执行
    sshfs root@172.16.99.14:/opt/jast /opt/jast -o allow_other
    在B服务器执行
    sshfs root@172.16.99.14:/opt/jast /opt/jast -o allow_other
    此时A、B服务器与172.16.99.14的/opt/jast目录之间已经实现共享
    

    注意:

    要在A,B两台服务器分别挂载C服务器;在A /opt/jast分别挂载B和C的/opt/jast只能同步成功一个。

    错误挂载:

    [es@gz-a00-2 jast]$ df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    /dev/vdb1                       2.4T  1.9T  370G  84% /opt
    root@192.168.179.238:/opt/jast  2.4T  1.7T  560G  76% /opt/jast
    root@172.16.99.14:/opt/jast     2.4T  1.7T  560G  76% /opt/jast
    

    正确挂载:

    [root@gz-a00-2 opt]# df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    ...
    root@192.168.179.238:/opt/jast  985G  765G  170G  82% /opt/jast
    
    [root@gz-a00-1 jast]# df -h
    Filesystem                      Size  Used Avail Use% Mounted on
    ...
    root@192.168.179.238:/opt/jast  985G  765G  170G  82% /opt/jast
    
  • 卸载挂载

     fusermount -u /opt/jast
    
  • 强制卸载

    如果fusermount无法卸载可以使用umount命令进行卸载

    umount -fl /opt/jast
    

ElasticSearch 设置备份文件地址

  • 在elasticsearch.yml 新增
    /opt/jast_s是我们新增的快照地址,/opt/es/snapshot是之前配置的,这里我们不用,直接忽略。
    path.repo: ["/opt/es/snapshot","/opt/jast_s"]
    

注册快照存储库

jastsnapshot使我们快照存储库名称

PUT _snapshot/jastsnapshot
{
    "type": "fs",
    "settings": {
        "compress": true,
        "location": "/opt/jast_s"      
    }
}

查看快照存储库保存结果

GET _snapshot

{
  "ecopherebbs" : {
    "type" : "fs",
    "settings" : {
      "location" : "/opt/es/snapshot"
    }
  },
  "jastsnapshot" : {
    "type" : "fs",
    "settings" : {
      "compress" : "true",
      "location" : "/opt/jast_s"
    }
  }
}
  1. linux用户组设置
  2. 共享目录——启动要使用es用户,否则目录权限不对,做快照会提示权限问题。切记!!!
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
2月前
|
存储 负载均衡 Java
Elasticsearch集群面试系列文章一
【9月更文挑战第9天】Elasticsearch(简称ES)是一种基于Lucene构建的分布式搜索和分析引擎,广泛用于全文搜索、结构化搜索、分析以及日志实时分析等场景。
105 7
|
9天前
|
存储 监控 安全
Elasticsearch 集群
【11月更文挑战第3天】
85 54
|
3月前
|
存储 缓存 监控
|
3月前
|
存储 监控 负载均衡
检索服务elasticsearch集群(Cluster)
【8月更文挑战第23天】
63 3
|
5天前
|
监控 API 索引
Elasticsearch集群健康检查
【11月更文挑战第4天】
19 3
|
1月前
|
存储 缓存 监控
深入解析:Elasticsearch集群性能调优策略与最佳实践
【10月更文挑战第8天】Elasticsearch 是一个分布式的、基于 RESTful 风格的搜索和数据分析引擎,它能够快速地存储、搜索和分析大量数据。随着企业对实时数据处理需求的增长,Elasticsearch 被广泛应用于日志分析、全文搜索、安全信息和事件管理(SIEM)等领域。然而,为了确保 Elasticsearch 集群能够高效运行并满足业务需求,需要进行一系列的性能调优工作。
84 3
|
1月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
41 4
|
2月前
|
存储 自然语言处理 关系型数据库
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
聚合、补全、RabbitMQ消息同步、集群、脑裂问题、集群分布式存储、黑马旅游实现过滤和搜索补全功能
ElasticSearch基础3——聚合、补全、集群。黑马旅游检索高亮+自定义分词器+自动补全+前后端消息同步
|
3月前
|
存储 监控 负载均衡
Elasticsearch 集群副本
【8月更文挑战第24天】
73 13
|
3月前
|
存储 负载均衡 监控
Elasticsearch 集群分片
【8月更文挑战第24天】
83 12

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版