开发者社区> 工程师甲> 正文

【最佳实践】Logstash高效的数据索引迁移能力—如何实现从腾讯云Elasticsearch迁移至阿里云

简介: 本文为您介绍通过Logstash,将Elasticsearch(简称ES)索引从腾讯云ES迁移至阿里云ES中的方法。
+关注继续查看

本文字数:1655
阅读时间:3~5分钟

以下是正文


搜索钉钉群号:21737292 ,加入阿里云Elasticsearch官方社群

迁移方案选取

由于腾讯云ES版本与阿里云ES版本不一致,需要选择兼容的版本进行迁移,本文支持的版本方案如下(其他方案不保证兼容):

  • 腾讯云ES 5.6.4 -> ECS(Logstash 5.6.x)-> 阿里云ES 5.5.6
  • 腾讯云ES 6.4.3 -> ECS(Logstash 6.7.0)-> 阿里云ES 6.7.0
  • 腾讯云ES 6.4.3 -> 阿里云Logstash 6.7.0 -> 阿里云ES 6.7.0(本文以此为例)

注意 由于腾讯云ES版本分别与阿里云ES版本不一致,所以建议您在大版本内进行数据同步,不建议跨大版本同步。关于Logstash版本选取详情,请参见[Support Matrix](链接地址https://www.elastic.co/cn/support/matrix#matrix_compatibility

解决方案

您可以通过以下步骤来迁移Elasticsearch索引:

  1. 创建阿里云Elasticsearch实例阿里云Logstash实例。在迁移过程中,需要连接公网才能与腾讯云ES互通。由于Logstash实例部署在VPC下,可以通过配置NAT网关实现与公网的连通,详情请参见公网数据导入和导出常见问题
    说明 对于自建的Logstash,需要购买与阿里云ES在同一可用区、同一VPC下的ECS实例(已符合条件的ECS不需要重复购买,需要绑定弹性公网IP)。您也可以购买经典网络的ECS实例(不建议),但需要配置Classiclink,实现通过经典网络访问专有网络中的阿里云ES,详情请参见通过经典网络访问ES常见问题
  2. 创建腾讯云ES实例,并搭建腾讯云代理服务器。由于腾讯云Elasticsearch不支持公网直接访问,因此您需要准备cvm服务器搭建nginx代理,详情请参见外网访问腾讯ES集群
  3. 修改Logstash的yml文件配置。目前阿里云Logstash只支持通过kibana方式,修改yml文件的pipeline配置,详情请参见通过Kibana配置Pipeline。您也可以使用自建Logstash,需要安装JDK(1.8及以上版本)以及相应版本的Logstash,然后在Logstash的conf下配置yml文件,并启动服务,详情请参见Logstash部署
  4. 在目标端使用`
    GET /_cat/indices?v

` 查看索引是否迁移成功。
本案例以使用阿里云Logstash,将Elasticsearch(简称ES)索引从腾讯云ES迁移至阿里云ES中为例,具体实施步骤如下。

配置Logstash pipeline

以下为您介绍使用阿里云Logstash,通过Kibana方式配置pipeline的方法。
在配置pipeline前,您需要首先完成迁移方案选取,以及解决方案概述中的前两步。

说明 您也可以使用自建Logstash,需要安装JDK(1.8及以上版本)以及相应版本的Logstash,然后在Logstash的conf下配置yml文件,并启动服务,详情请参见Logstash部署。

  1. 登录ES实例的Kibana控制台
  2. 单击左侧导航栏的Management
  3. Management页面,单击Logstash下的Pipelines。
  4. Pipelines页面中,单击Create pipeline

image.png

  1. Create pipeline页面,输入Pipeline IDDescription,并根据需求配置其他参数。本文的Pipeline参数配置如下,其他参数说明请参见通过Kibana配置Pipeline
input {
     elasticsearch {
       hosts => "http://xxxxxxxxx:9200"
       user  => "elastic"
       index => "*"
       password => "xxxxxx"
       docinfo => true
     }
   }
output {
      elasticsearch {
        hosts => "http://xxxxxxx.elasticsearch.aliyuncs.com:9200"
        user => "elastic"
        password => "xxxxxx"
        index => "%{[@metadata][_index]}"
        document_type => "%{[@metadata][_type]}"
        document_id => "%{[@metadata][_id]}"
  }
}

image.png

  1. 其他参数详情请参见input插件说明
  • 以上配置将源ES集群的所有索引同步到目标集群中,您也可以设置只同步指定的索引,input配置如下。
input {
     elasticsearch {
       hosts => "http://xxxxxxxx:9200"
       user  => "elastic"
       index => "alicloudtest"
       password => "xxxxxxx"
       query => '{ "query":{ "query_string": { "query": "*" } } }'
       docinfo => true
     }
  • Elasticsearch input插件是根据配置的query语句,从ES集群读取文档数据。适用于批量导入测试日志、重索引等操作。默认一次query抽取完数据后,worker会自动关闭。如果想要实现定时触发同步动作,可以使用cron语法,配合schedule属性的配置实现,详情请参见Logstash官网Scheduling介绍
schedule => "* * * * *"
  • 以上示例会每分钟触发抽取。如果没有指定schedule参数,那么抽取仅执行一次。

关联Logstash与ES实例

  1. 进入Logstash实例管理页面
  2. 单击左侧导航栏的管道管理
  3. 管道管理页面,单击关联Elasticsearch实例右侧的修改
    image.png

目前Logstash的管道管理方式仅支持集中式管道管理。您需要首先在所要关联的ES实例的Kibana控制台中,创建和配置Logstash管道。

  1. 修改配置页面,选择Elasticsearch实例,并输入ES实例的用户名和密码。用户名为所选的ES集群的用户名(一般为elastic),密码为创建集群时设置的密码。
  2. 单击测试连通性并获取管道列表。连通成功后,系统显示管道ID下拉框。
  3. 选择管道ID管道ID对应您在配置Logstash pipeline时,配置的Pipeline ID。如果您还没有管道ID,可单击前往创建链接,前往所选Elasticsearch实例的Kibana控制台创建并配置管道,详情请参见配置Logstash pipeline
    image.png

管道创建成功后,返回Logstash管道管理的修改配置页面,再次单击测试连通性并获取管道列表,获取新创建的管道ID。

image.png

警告 管道配置变更需要重启Logstash进程,请在不影响业务的情况下,继续执行以下操作。

  1. 勾选重启Logstash进程注意事项,单击确认。确认后,Logstash会进行重启。重启过程中,可在任务列表中查看重启进度。重启成功后,即可完成Logstash实例的管道配置,并启动相应的数据传输进程。

相关活动


【全链路云上Elastic Stack】系列直播_第四场

直播主题:【阿里云Elasticsearch 轻量化数据管道解决方案——Logstash/Beats介绍】
直播时间:2020年1月14日 11:30~12:00
参与方式:扫码加群,观看直播
产品购买:
Elasticsearch增强版
Logstash

折扣.png

扫码关注公众号‘Elasticsearch技术’,收获大咖最佳行业应用经验

d8fb488bdc514f3aabb41555673b109d.jpg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【最佳实践】Elastic stack 实时分析下你的Redis slowlog
Redis 是目前最流行的 NoSQL 内存数据库,然而如果在使用过程中出现滥用、乱用的情况,很容易发生性能问题,此时我们就要去关注慢查询日志,本文尝试给大家介绍一种通过 elastic stack 来快速分析 Redis 慢查询日志的方法,希望能给大家提供帮助。
567 0
Hadoop数据迁移MaxCompute最佳实践
本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。您也可以参考本文进行MaxCompute数据到Hadoop的反向迁移。
9355 0
Kafka数据迁移MaxCompute最佳实践
本文向您详细介绍如何使用DataWorks数据同步功能,将Kafka集群上的数据迁移到阿里云MaxCompute大数据计算服务。
3634 0
logstash-out-mongodb实现elasticsearch到Mongodb的数据同步
本文主要实现将Elasticsearch中的索引数据Index同步到Mongodb中的集合collection中。
56 0
SQL Server - 最佳实践 - SSMS配合BCP迁移SQL Server数据库上阿里云
本文讨论的主题是使用SSMS(SQL Server Management Studio)配合BCP命令行的方式来迁移SQL Server数据库。使用SSMS做数据库结构迁移,使用BCP命令做全量数据迁移,此方案是以本地SQL Server数据库迁移到阿里云RDS SQL Server 2012为例。
3535 0
基于LogStash插件采集数据到阿里云Datahub
DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点,原生支持对接阿里云的多项服务,相关功能特点与Kafka类似。本身主要介绍如何使用LogStash采集数据写入Datahub。
577 0
【最佳实践】esrally:Elasticsearch 官方压测工具及运用详解
由于 Elasticsearch(后文简称 es) 的简单易用及其在大数据处理方面的良好性能,越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前,不免要做一番调研和测试,本文便是介绍官方的一个 es 压测工具 esrally,希望能为大家带来帮助。
4625 0
easyUI中datagrid控制获取指定行数的数据
直接上代码: var rows=$('#detail').datagrid('getRows');//获取所有当前加载的数据行 var row=rows[0];// 行数从 0 开始   项目中代码: var rows = $('#detail').
1309 0
MaxCompute(ODPS)上处理非结构化数据的Best Practice
随着MaxCompute(ODPS)2.0的上线,新增的非结构化数据处理框架也推出一系列的介绍文章,包括 MaxCompute上如何访问OSS数据, 基本功能用法和整体介绍,侧重介绍读取OSS数据进行计算处理; 本文:MaxCompute(ODPS)上处理非结构化数据的Best Practice。
4236 0
+关注
工程师甲
搜索与推荐工程技术团队、阿里云Elasticsearch技术团队;
210
文章
4
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载