自建ES通过OSS快照迁移至阿里云ES

本文涉及的产品
对象存储 OSS,20GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 在同一个VPC内使用3台ECS部署自建ES集群,可以通过给自建Elasticsearch打快照存储到OSS,在利用OSS中的快照进行数据库恢复,将自建Elasticsearch迁移至阿里云Elasticsearch。

在同一个VPC内使用3台ECS部署自建ES集群,可以通过给自建Elasticsearch打快照存储到OSS,在利用OSS中的快照进行数据库恢复,将自建Elasticsearch迁移至阿里云Elasticsearch。
TIM_20180411231841

安装OSS快照仓库插件,下载插件并解压到ES集群各节点Elasticsearch根目录下的plugins目录

# wget https://github.com/zhichen/elasticsearch-repository-oss/releases/download/v5.5.3/elasticsearch-repository-oss-5.5.3.zip
# unzip elasticsearch-repository-oss-5.5.3.zip -d /srv/elasticsearch-5.4.3/plugins/

修改配置文件中的版本号为当前ES集群的版本,完成后需要重启ES各节点。

# cat /srv/elasticsearch-5.4.3/plugins/elasticsearch/plugin-descriptor.properties |grep version |grep -v "^#"
version=5.4.3
java.version=1.8
elasticsearch.version=5.4.3

新购与自建ES集群在同一个region的标准存储类型OSS,(阿里云暂不支持归档存储类型OSS)。

在自建ES上创建仓库,OSS所属阿里云主账号AK信息,若使用子账号需要有管理OSS的权限。

PUT _snapshot/robin_backup
{
    "type": "oss",
    "settings": {
        "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com", 
        "access_key_id": "Lxxxxxxxxxa",
        "secret_access_key": "Nxxxxxxxxxxxxxxxxxxpt",
        "bucket": "shasengtest", 
        "compress": true
    }
}

可以根据实际情况在setting中增加设置

        "chunk_size": "500mb", #限制snapshot过程中分块的大小,超过这个大小,数据将会被分块上传到OSS中
        "base_path": "snapshot/" #设置仓库的起始位置,默认为根目录

获取全部仓库信息,设置了robin_backup及robin_backup2两个仓库

# curl -XGET es1:9001/_snapshot/?pretty
{
  "robin_backup" : {
    "type" : "oss",
    "settings" : {
      "bucket" : "shasengtest",
      "compress" : "true",
      "endpoint" : "http://oss-cn-hangzhou-internal.aliyuncs.com"
    }
  },
  "robin_backup2" : {
    "type" : "oss",
    "settings" : {
      "bucket" : "robin7",
      "compress" : "true",
      "endpoint" : "http://oss-cn-hangzhou-internal.aliyuncs.com"
    }
  }
}

删除仓库

DELETE _snapshot/robin_backup1

获取指定仓库信息

# curl -XGET es1:9001/_snapshot/robin_backup?pretty
{
  "robin_backup" : {
    "type" : "oss",
    "settings" : {
      "bucket" : "shasengtest",
      "compress" : "true",
      "endpoint" : "http://oss-cn-hangzhou-internal.aliyuncs.com"
    }
  }
}

备份当前自建ES集群所有打开的索引到指定仓库,创建快照并命名为test

PUT _snapshot/robin_backup/test

获得test快照信息,可以看到备份了当前集群全部的索引test,test1,.kibana

# curl -XGET es1:9001/_snapshot/robin_backup/test?pretty
{
  "snapshots" : [
    {
      "snapshot" : "test",
      "uuid" : "oXtFY174RyeKRgYFi_dXKA",
      "version_id" : 5040399,
      "version" : "5.4.3",
      "indices" : [
        "test",
        "test1",
        ".kibana"
      ],
      "state" : "SUCCESS",
      "start_time" : "2018-04-10T12:44:26.027Z",
      "start_time_in_millis" : 1523364266027,
      "end_time" : "2018-04-10T12:44:27.204Z",
      "end_time_in_millis" : 1523364267204,
      "duration_in_millis" : 1177,
      "failures" : [ ],
      "shards" : {
        "total" : 11,
        "failed" : 0,
        "successful" : 11
      }
    }
  ]
}

备份指定test2索引到robin_backup下并命名快照为test2

PUT _snapshot/robin_backup/test2
{
  "indices": "test2"
}

获得单个快照test2信息,指包含了test2这一个索引

# curl -XGET es1:9001/_snapshot/robin_backup/test2?pretty
{
  "snapshots" : [
    {
      "snapshot" : "test2",
      "uuid" : "L6MknW92RGe55fZS1HIVUw",
      "version_id" : 5040399,
      "version" : "5.4.3",
      "indices" : [
        "test2"
      ],
      "state" : "SUCCESS",
      "start_time" : "2018-04-10T12:47:19.430Z",
      "start_time_in_millis" : 1523364439430,
      "end_time" : "2018-04-10T12:47:20.099Z",
      "end_time_in_millis" : 1523364440099,
      "duration_in_millis" : 669,
      "failures" : [ ],
      "shards" : {
        "total" : 5,
        "failed" : 0,
        "successful" : 5
      }
    }
  ]
}

删除索引test及test1,并关闭索引.kibana

# curl -XDELETE es2:9001/test
{"acknowledged":true}
# curl -XDELETE es2:9001/test1
{"acknowledged":true}
# curl -XPOST es2:9001/.kibana/_close
{"acknowledged":true}
# curl -XGET es2:9001/_cat/indices
green open  test3   YcU56zKqTNaTNH8Vcr6jpw 5 1 168 0 395.8kb 217.5kb
green open  test2   M-kOMZVkRcWwOwQlFRKRWw 5 1 139 0 343.1kb 171.5kb
      close .kibana Lcv2WmUPTxqPjoNJV2C7sQ                          

elasticsearch的索引快照与ECS快照不同,并不是打快照那一时刻的整个集群状态。这里可以把索引理解成ECS下挂载的数据盘之一,只需要对重要的数据盘打快照,并不是所有的磁盘都需要打快照,恢复时可以选择只恢复某一块盘的数据,而不是对所有的磁盘进行回滚。

从test快照恢复索引

# curl -XPOST es1:9001/_snapshot/robin_backup/test/_restore
{"accepted":true}

查看恢复效果

# curl -XGET es2:9001/_cat/indices
green open test    fEukT7eWQ-OjD3uzxKmXcg 5 1 211 0 507.6kb 253.8kb
green open test1   mw6MvvuZSlys0YLjo-UU-Q 5 1 277 0 611.3kb 305.6kb
green open .kibana Lcv2WmUPTxqPjoNJV2C7sQ 1 1   2 0  15.4kb   7.7kb
green open test3   YcU56zKqTNaTNH8Vcr6jpw 5 1 168 0 395.8kb 217.5kb
green open test2   M-kOMZVkRcWwOwQlFRKRWw 5 1 139 0 343.1kb 171.5kb

也可以安装cerebro插件查看已存在的索引快照,单击restore即可恢复索引。
cerebro

也可以选择只恢复部分索引

# curl -XPOST es1:9001/_snapshot/robin_backup/test/_restore
{
    "indices": "test1", #指定需要恢复的索引名称
}

在阿里云ES上创建相同的快照仓库,与自建的ES集群共享同一个oss仓库,完成后即可查看到快照信息
snapshot

查看当前阿里云ES集群的索引
snapshot2

在阿里云ES上恢复快照,可以看到已经恢复的test和test1
snapshot3

由于阿里云ES存在.kibana索引,恢复快照时需要先关闭.kibana索引,否则会报错

{
  "error": {
    "root_cause": [
      {
        "type": "snapshot_restore_exception",
        "reason": "[robin_backup:test/oXtFY174RyeKRgYFi_dXKA] cannot restore index [.kibana] because it's open"
      }
    ],
    "type": "snapshot_restore_exception",
    "reason": "[robin_backup:test/oXtFY174RyeKRgYFi_dXKA] cannot restore index [.kibana] because it's open"
  },
  "status": 500
}
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
4月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
16天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
3月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
4月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
存储 运维 安全
阿里云OSS的优势
【7月更文挑战第19天】阿里云OSS的优势
189 2
|
4月前
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
187 1
|
4月前
|
存储 弹性计算 对象存储
预留空间是什么?阿里云OSS对象存储预留空间说明
阿里云OSS预留空间是预付费存储产品,提供折扣价以锁定特定容量,适用于抵扣有地域属性的Bucket标准存储费用及ECS快照费。通过购买预留空间,如500GB通用预留+100GB标准-本地冗余存储包,用户可优化成本。
203 4
|
4月前
|
人工智能 对象存储
【阿里云AI助理】自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
自家产品提供错误答案。阿里云OSS 资源包类型: 下行流量 地域: 中国内地通用 下行流量包规格: 300 GB 套餐: 下行流量包(中国内地) ,包1年。那么这个是每月300GB,1年是3600GB的流量;还是1年只有300GB的流量?
128 1
|
4月前
|
持续交付 开发工具 对象存储
阿里云云效产品使用合集之构建物如何上传到阿里云OSS
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
4月前
|
缓存 对象存储 数据安全/隐私保护
阿里云OSS, 跨域请求, No ‘Access-Control-Allow-Origin‘
阿里云OSS, 跨域请求, No ‘Access-Control-Allow-Origin‘
716 0

热门文章

最新文章