ES索引备份还原

一、规划

es数据出于线上数据安全考虑，对于es已有的索引数据可以进行安全备份，通常可以将es备份到共享文件目录或者一些其它的数据存储的文件系统eg：HDFS、Amazon S3、Azure Cloud。备份会生成索引的快照存储到指定的仓库路径下，当需要进行数据还原的时候，就可以通过访问备份还原的接口快速实现数据还原。

二、备份

ES备份存储的仓库可以为:Shared filesystem(NAS等)、 Amazon S3, HDFS和Azure Cloudde等常用文件系统，本文档只提供备份到Shared filesystem和HDFS

方案一：备份到集群共享目录

步骤：
1）、搭建集群共享目录 (这里使用NFS也可以使用其它共享目录技术)
安装NFS服务端：
a、选择集群中某一个节点，可以选择ES的Master节点，检查是否安装NFS

rpm -qa | grep nfs  
rpm -qa | grep rpcbind

b、如果没有安装，则安装NFS

yum install nfs-utils  rpcbind
离线环境需要自己去下载相关包安装

c、设置开机启动

systemctl  enable  rpcbind.service
systemctl  enable  nfs-server.service

d、启动NFS

systemctl  start   rpcbind.service
systemctl  start   nfs-server.service

e、创建共享目录

mkdir  /mont/backups/my_backup   具体目录名可以自己设置
chown  -R  用户名  /mont/backups/my_backup

这里的用户名必须是启动ES的用户

f、设置可以访问的地址和权限

vi  /etc/exports 添加下面内容：
/mont/backups/my_backup  *(rw,sync,no_root_squash,no_subtree_check)

代表所有网段都可以访问，如果想配置为特定ip，可以添加为es集群中所有节点的ip

g、刷新配置并查看

exportfs  -a     刷新配置并立刻生效
showmount  -e  ip    这里ip为当前创建共享目录主机ip

配置NFS客户端(所有除开上一步中的外的所有ES节点都需执行如下操作)

a、检查是否安装NFS

rpm -qa | grep nfs  
rpm -qa | grep rpcbind
 

b、如果没有安装，则安装NFS

yum install nfs-utils  rpcbind
离线环境需要自己去下载相关包安装

c、设置开机启动

systemctl  enable  rpcbind.service
systemctl  enable  nfs-server.service

d、启动NFS

systemctl  start   rpcbind.service
systemctl  start   nfs-server.service

e、创建共享目录

mkdir  /mont/backups/my_backup  保持和NFS服务端目录一致
chmod -R  用户名  /mont/backups/my_backup
这里的用户名必须是启动ES的用户

f、挂载目录

showmount  -e   ip   ip为NFS服务端ip
mount -t nfs  ip:/mont/backups/my_backup  /mont/backups/my_backup  ip同上

h、设置开机挂载

vi /etc/fstab
ip:/mont/backups/my_backup  /mont/backups/my_backup nfs defaults 0 0
ip为NFS服务端ip

2）、修改es配置

修改elasticsearch.yml，配置path.repo的属性为上述共享目录，然后重启集群

3）、注册快照仓库

通过post操作可以对备份仓库信息作出变更

4）、创建快照

创建所有索引快照：

my_backup:仓库名
snapshot_1:快照名

创建部分索引快照：

my_backup:仓库名
snapsot_2:快照名

通过indices属性可以指定哪些索引需要生成快照信息

5）、快照删除

my_backup:仓库名
snapshot_2:快照名，查看存在的快照可用：

my_backup:仓库名，其余为固定参数

方案二：备份到HDFS

HDFS快照/还原插件是针对最新的Apache Hadoop 2.x（当前为2.7.1）构建的。如果您使用的发行版与Apache Hadoop协议不兼容，请考虑使用自己的发行版替换plugin文件夹内的Hadoop库（可能必须调整所需的安全权限）
步骤：

1）、安装repository-hdfs插件
2）、注册仓库

my_hdfs_repository:仓库名
uri：hdfs访问路径
path：hdfs上存储目录

如果hadoop设置了kerberos安全认证则：
把kerberos认证文件放到es config目录下repository-hdfs目录之中并命名为：krb5.keytab
然后创建hdfs快照仓库：

如果每个节点使用的是不同的服务主体则需要使用_HOST参数：

其余步骤参考方案一

ES还原

还原快照所有：

my_backup：索引仓库名
snapshot_1：快照名

还原快照特定索引：

POST /_snapshot/my_backup/snapshot_1/_restore{
    "indices": "index_1", 
  }

index_1：需要还原的索引名
my_backup：仓库名
snapshot_1:快照名