3.5.15.Snapshot    

创作人：冯江涛

审稿人：胡征南

简介

无论使用哪种存储数据的软件，定期备份数据都是很重要的。Elasticsearch 副本提供了高可靠性；它们让你可以容忍少量的节点丢失而不会中断服务。但是，副本并不提供对灾难性故障的保护。对这种情况，你需要的是对集群真正的备份——在某些东西确实出问题的时候有一个完整的拷贝。需要注意的是 Elasticsearch 并不支持直接拷贝集群 data 目录、备份服务器的方式来备份、升级群集，这样做会导致数据损坏、无法恢复数据。

Elasticsearch 提供的 Snapshot API 就是从正在运行的集群中获取备份用的，可以根据情况选择整个集群，也可以指定 index 和 data stream。Elasticsearch 是以增量的方式获取 Snapshot，节约了时间和空间，小开销意味着可以适当增加备份的频率。每一个 Snapshot 在逻辑上相互独立，所以删除某一个 Snapshot 不会影响到其他的 Snapshot。

从 Snapshot 恢复集群数据可以指定 index 和 data stream，当然也可以通 SLM 来管理

Snapshot 的生命周期。

备份恢复时的版本兼容性：当前版本支持当前版本及升高一个的版本进行恢复，不支持跨版本直接恢复。当然如果你想跨版本恢复，可以尝试版本递增滚动升级来达到目的。反之则不可行，不能递减版本来恢复备份的数据。

配置 Snapshot 仓库

在使用 Snapshot 备份前，必须要注册快照仓库。可以存储在本地或者远程仓库中，远程仓库支持 Amazon S3，HDFS，Microsoft Azure，Google GCS 等，参考仓库插件的类型。

1.创建仓库

在创建仓库之前需要在所有 Master 和 Data 节点中增加仓库配置（elasticsearch.yml），下面以共享存储的方式举例。单节点的情况下可以用本地物理存储路径，如果是多节点分布式，需要保证共享存储在所有的 data 节点都进行了正确的 mount 挂载。

path:
  repo:
    - /apps/data/esbackup
    - /apps/data/stream-backup
    # Windows系统下注意路径分隔符的不同
    - D:\\apps\\data\\esbackup

如果是运行中的集群，修改配置需要等到滚动重启完所有的节点，就可以创建仓库了。建议在集群初始化时就规划好备份策略、仓库，避免中途需要滚动重启集群。

PUT /_snapshot/my_fs_backup
{
  # fs：共享文件系统；s3：亚马逊的S3仓库；azure：微软 Azure 仓库；
  # hdfs：HDFS 仓库；gcs：谷歌的 GCS 仓库。
  # "type": "url"，url 支持类型：file、ftp、http、https、jar。
  # url 为只读类型，意味着只能从此类型中恢复和检索数据。
  # "type": "source"，source 类型的前提是 filed 里面设置 _source
  # 为 enabled ，这样可以节约大概50%的备份空间。
  "type": "fs", 
  "settings": {
    # location 为配置文件中 path.repo 所配置的子路径，所以也可以
    # 写相对路径 "location": "My_fs_backup_location"
    "location": "/apps/data/esbackup/My_fs_backup_location",
    # 是否启用压缩，默认为 true
    "compress": "true"
  }
}
# 成功后会返回
{
    "acknowledged": true
}

创建完成后可以 GET 查询仓库。

GET /_snapshot
# 返回结果
{
    "my_fs_backup": {
        "type": "fs",
        "settings": {
            "compress": "true", 
            "location": "My_fs_backup_location"
     }
    }
}

通过 verify 验证节点仓库是否在所有节点已生效。

POST /_snapshot/my_fs_backup/_verify
# 返回结果
{
    "nodes": {
        # 节点uuid
          "8Z7MmAUeToq6WGCxhVFk8A": {
            # 节点名称
            "name": "jt-hpzbook"
        },
        "yRahNXjuR2-w6w1ObVXQjg": {
            "name": "jt-hpzbook2"
        },
    }
}

其他接口：

# 查看所有仓库
GET /_snapshot/_all
# 删除仓库
DELETE /_snapshot/my_fs_backup

2.可配置参数

更多参数可以参考：Repository API

l location: 仓库地址

l compress: 是否启用压缩，默认为 true

l chunk_size: 是否将文件切块，并指定文件块大小，默认：null (不切分)

l max_restore_bytes_per_sec: Snapshot 从仓库恢复时的限速，默认：无限制

l max_snapshot_bytes_per_sec: 节点创建 Snapshot 进入仓库时的限速，默认：40 mb/s

l readonly: Snapshot 是否只读，默认：false

3.插件

插件的扩展使得 Snapshot 可以选择更多的方式，无论是 HDFS 集群还是常见的云厂商的云端仓库。

l 官方插件：

○ S3 Repository: 亚马逊的 S3 仓库

○ Azure Repository: 微软 Azure 仓库

○ HDFS Repository: HDFS 仓库

○ Google Cloud Storage Repository: 谷歌的 GCS 仓库

l 社区插件：

○ Openstack Swift 

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.15.Snapshot (中) https://developer.aliyun.com/article/1228107