【最佳实践】3分钟学会使用Elasticsearch跨集群复制功能（CCR）

当您需要将本地Elasticsearch集群中的索引数据迁移到一个远程集群中，或者将一个远程集群中的索引数据迁移到本地集群，可通过跨集群复制CCR（Cross Cluster Replication）功能实现。本文介绍具体的实现方法。

背景信息

CCR是开源Elasticsearch在platinum版本中发布的一个商业特性。购买阿里云Elasticsearch实例后，您无需额外付费，只需要简单配置，即可使用CCR功能（目前仅支持单可用区6.7.0及以上版本的阿里云Elasticsearch实例）。CCR的应用场景如下：

• 灾难恢复及高可用性对于分布在不同地域的Elasticsearch集群，您可以通过CCR进行数据备份。当其中一个集群发生故障时，您可以通过访问其他集群来获取故障集群的数据，保证数据不丢失。
• 就近访问数据例如A集团下有多个子公司，各子公司所分布的地域不同。为了提高业务处理速度，可按照地理位置划分子公司要承担的业务，并通过CCR将业务数据分发给各地域中的Elasticsearch集群。子公司在处理业务时，可直接访问当前所在地域的集群。
• 集中报告通过CCR，将多个数据量较小的集群中的数据复制到一个中央集群中，进行可视化分析与报告。

使用CCR功能，需要准备两种类型的集群。一个是远程集群，即提供源数据（Leader index）的集群；一个是本地集群，即订阅数据（Follower index）的集群。该功能为被动复制，即所有复制任务都是由本地集群执行。同时支持批量实时迁移数据，更多详情请参见Cross-cluster replication。

本文以阿里云Elasticsearch为例，为您介绍跨集群复制功能（CCR）的使用方法。阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服务。支持5.5.3、6.3.2、6.7.0、6.8.0和7.4.0等版本，并提供了商业插件X-Pack服务。在开源Elasticsearch的基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。阿里云Elasticsearch为您提供1个月的免费试用活动，单击此处即可免费试用。

操作流程

1. 准备工作

准备远程和本地集群，以及待迁移的索引。

1. 步骤一：配置实例网络互通

连通远程和本地集群的网络。

1. 步骤二：添加远程集群

在本地集群的Kibana控制台中，添加远程集群。

1. 步骤三：配置跨集群复制

在本地集群的Kibana控制台中，配置待迁移和迁移后的索引。

1. 步骤四：验证数据迁移结果

在远程集群中插入数据，在本地集群中，验证数据是否迁移成功。

准备工作

1. 准备远程和本地Elasticsearch集群。{#cmd-ps8-i4x-dwf}

具体操作步骤请参见创建阿里云Elasticsearch实例。要求两个实例为相同版本（6.7.0及以上），可用区类型为单可用区，且在同一专有网络和虚拟交换机下。

1. 参见登录Kibana控制台，在远程集群中创建待迁移的索引。

        PUT myindex
      {
        "settings": {
    "index.soft_deletes.retention.operations": 1024,
    "index.soft_deletes.enabled": true
        }
      }

注意

对于7.0及以下版本的Elasticsearch实例，在创建索引时，需要开启soft_deletes属性，否则会报错。
如果您需要迁移已创建的索引，需要通过重建索引来开启soft_deletes属性。

1. 关闭待迁移的索引的物理复制功能。

对于6.7.0版本的阿里云Elasticsearch实例，系统会默认为新建索引开启物理复制功能。使用CCR功能时，需要先关闭物理复制功能。

1. 关闭索引。

      POST myindex/_close
   

2. 更新索引settings，关闭物理复制功能。

      POST myindex/_settings
      {
      "index.replication.type" : null
      }
   

3. 打开索引。{#cmd-c4f-nw3-dk6}

      POST myindex/_open
   

步骤一：配置实例网络互通

参见配置实例网络互通，在远程集群中添加需要进行网络互通的本地集群。最终配置如下。

步骤二：添加远程集群

1. 登录本地集群的Kibana控制台。

具体操作步骤请参见登录Kibana控制台。

1. 在左侧导航栏，单击 Management 。
2. 在 Elasticsearch 区域中，单击 Remote Clusters 。
3. 单击 Add a remote cluster 。

4. 在 Add remote cluster 页面中，输入远程集群信息。

    ![在这里插入图片描述](https://ucc.alicdn.com/images/user-upload-01/20200730191817233.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2Mzk2NTYz,size_16,color_FFFFFF,t_70)
   

Name ：远程集群的名称，不可重复。
Seed nodes ：需要配置为远程集群的主节点的IP地址:9300。远程集群的主节点的IP地址，可在远程集群的Kibana控制台中，使用GET /_cat/nodes?v命令获取。

 **注意** 由于CCR功能是Kibana通过数据节点之间的TCP端口（9300），访问数据节点IP的形式来进行网络互通，因此不支持HTTP端口（9200）访问。

1. 单击 Save 。

保存后，系统会自动连接远程集群。连接成功后，显示 Connected 。

步骤三：配置跨集群复制

1. 在本地集群Kibana控制台的 Management 页面，单击 Elasticsearch 区域中的 Cross Cluster Replication 。
2. 单击 Create a follower index 。
3. 在 Add follower index 页面，配置跨集群复制信息。
   

| 参数 | 说明 |
|--------------------|----------------------------------------------------------------------------------------------|
| Remote cluster | 选择您在步骤二：添加远程集群中添加的集群。 |
| Leader index | 待迁移的索引。本文使用在准备工作中创建的 myindex 索引。 |
| Follower index | 迁移数据生成的索引。索引名称不可重复。 |

1. 单击 Create 。

创建成功后，索引的状态显示为 Active 。

步骤四：验证数据迁移结果

1. 参见登录Kibana控制台，在远程集群中插入数据。

      POST myindex/_doc/
      {
        "name":"Jack",
        "age":40
      }
   

2. 在本地集群中，验证数据是否迁移成功。

      GET myindex_follow/_search
   

迁移成功后，返回如下结果。

从以上结果可以看到，远程集群的Leader索引（myindex）中的数据，已通过CCR功能复制到了本地集群的Follower索引（myindex_follow）中。

1. 在远程集群中，重新插入一条数据，随即在本地集群中进行查看，验证增量数据是否实时同步。

      POST myindex/_doc/
      {
        "name":"Pony",
        "age":50
      }
   

数据插入后，立即在本地集群中进行查看，结果如下。

从以上结果可以看到，通过CCR可以实现增量数据的实时同步。
说明 您也可以通过CCR功能的API，进行跨集群复制相关操作，详情请参见Cross-cluster replication APIs。