带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

本文涉及的产品
对象存储 OSS,20GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

《企业级云原生白皮书项目实战》——第五章 大数据——5.1 检索分析服务 Elasticsearch版——5.1.7 数据同步(1) https://developer.aliyun.com/article/1228658?groupCode=supportservice


5.1.7.2 集群间数据迁移

目前阿里云Elasticsearch支持通过Logstash、reindex和OSS等多种方式进行ES集群间数据迁移。OSS快照适合迁移速度快,源端数据量较大(GB、TB、PB级别)的场景,OSS方式是目标端ES和源端ES都需要去访问OSS的,所以在使用时需要保证目标端ES和源端ES可以访问OSS。Logstash适合数据体量不大,需要在线数据同步的场景,该方式是需要logstash可以访问目标端ES和源端ES。ReIndex适合源端数据量较小,且对迁移速度要求不高的场景,该方式是需要在目标ES集群上执行,然后从源 ES 集群导入数据到目标端ES 集群,所以需要目标端ES 集群节点可以访问源端ES集群。根据ES集群类型可以主要分为以下三种同步场景。并且每种场景的不同同步方式,都是有些限制的,相关限制可从ES集群网络架构和OSS同步方式思考原因。

5.1.7.2.1 阿里云Elasticsearch实例间数据迁移

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:需要获取与源Elasticsearch版本一致的elasticsearch-repository-oss插件。另外,OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。

Logstash:源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通。同时源ES、Logstash和目标ES版本需满足兼容性要求,详细信息请参见产品兼容性

ReIndex:旧网络架构ES需要和源端集群在同一VPC网络中,新网络架构ES需借助PrivateLink,打通ECS上自建Elasticsearch集群所处的网络与阿里云服务账号的网络,再使用终端节点域名进行reindex。

5.1.7.2.3 第三方Elasticsearch迁移至阿里云

OSS快照:需要将第三方的ES快照数据同步到OSS中,然后在阿里云ES上进行快照恢复。

Logstash:需要阿里云Logstash配置NAT网关实现与公网连通,源Elastic

search、Logstash和目标Elasticsearch实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:不支持。

5.1.7.3 非ES集群间数据同步

可以使用Logstash(开源Logstash/阿里云Logstash)、阿里云DataWorks、阿里云DTS、Canal等数据同步工具进行数据同步。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
4月前
|
SQL API 索引
Superset对接ElasticSearch服务展示
Superset对接ElasticSearch服务展示
417 2
|
4月前
|
API 数据库 流计算
有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
【2月更文挑战第27天】有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
105 3
|
4月前
|
Java 关系型数据库 MySQL
Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
【4月更文挑战第12天】Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
406 3
|
2月前
|
存储 安全 文件存储
【elasticsearch】es6重启服务后数据消失,es6如何配置数据持久化储存
【elasticsearch】es6重启服务后数据消失,es6如何配置数据持久化储存
32 1
|
4月前
|
Cloud Native 关系型数据库 MySQL
实时计算 Flink版产品使用合集之是否支持云原生数据仓库AnalyticDBPostgreSQL到DORIS的实时数据同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
运维 Cloud Native 云计算
云原生技术在企业级应用中的应用与前景分析
随着云计算技术的快速发展,云原生技术作为一种优秀的应用架构模式,正在逐渐受到企业和开发者的关注。本文通过分析云原生技术在企业级应用中的应用情况和未来发展前景,探讨了其在加速企业数字化转型、提升应用性能和灵活性等方面的优势,以及面临的挑战和解决方案。
49 0
|
4月前
|
存储 运维 监控
探索云原生技术在大数据分析领域的应用
传统的大数据分析往往需要庞大的硬件设施和复杂的维护工作,给企业带来了昂贵的成本和管理难题。而随着云原生技术的发展,越来越多的企业开始将大数据分析迁移到云平台上,以享受弹性、灵活性和低成本的优势。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势和挑战,并展望未来的发展方向。
65 0
|
4月前
|
关系型数据库 分布式数据库 数据库
【阿里云云原生专栏】云原生时代的数据库选型:阿里云RDS与PolarDB对比分析
【5月更文挑战第24天】阿里云提供RDS和PolarDB两种数据库服务。RDS是高性能的在线关系型数据库,支持MySQL等引擎,适合中小规模需求;而PolarDB是分布式数据库,具备高扩展性和性能,适用于大规模数据和高并发场景。RDS与PolarDB在架构、性能、弹性伸缩、成本等方面存在差异,开发者应根据具体需求选择。示例代码展示了如何通过CLI创建RDS和PolarDB实例。
753 0
|
4月前
|
Cloud Native 关系型数据库 OLAP
高效易用的数据同步:阿里云瑶池 Zero-ETL服务来啦!
在大数据时代,企业有着大量分散在不同系统和平台上的业务数据。OLTP数据库不擅长复杂数据查询,不具备全局分析视角等能力,而OLAP数据仓库擅长多表join,可实现多源汇集,因此需要将TP数据库的数据同步到AP数据仓库进行分析处理。传统的ETL流程面临资源成本高、系统复杂度增加、数据实时性降低等挑战。为了解决这些问题,阿里云瑶池数据库提供了Zero-ETL服务,可以快速构建业务系统(OLTP)和数据仓库(OLAP)之间的数据同步链路,将业务系统的数据自动进行提取并加载到数据仓库,从而一站式完成数据同步和管理,实现事务处理和数据分析一体化,帮助客户专注于数据分析业务。
565 0