带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

《企业级云原生白皮书项目实战》——第五章 大数据——5.1 检索分析服务 Elasticsearch版——5.1.7 数据同步(1) https://developer.aliyun.com/article/1228658?groupCode=supportservice


5.1.7.2 集群间数据迁移

目前阿里云Elasticsearch支持通过Logstash、reindex和OSS等多种方式进行ES集群间数据迁移。OSS快照适合迁移速度快,源端数据量较大(GB、TB、PB级别)的场景,OSS方式是目标端ES和源端ES都需要去访问OSS的,所以在使用时需要保证目标端ES和源端ES可以访问OSS。Logstash适合数据体量不大,需要在线数据同步的场景,该方式是需要logstash可以访问目标端ES和源端ES。ReIndex适合源端数据量较小,且对迁移速度要求不高的场景,该方式是需要在目标ES集群上执行,然后从源 ES 集群导入数据到目标端ES 集群,所以需要目标端ES 集群节点可以访问源端ES集群。根据ES集群类型可以主要分为以下三种同步场景。并且每种场景的不同同步方式,都是有些限制的,相关限制可从ES集群网络架构和OSS同步方式思考原因。

5.1.7.2.1 阿里云Elasticsearch实例间数据迁移

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:需要获取与源Elasticsearch版本一致的elasticsearch-repository-oss插件。另外,OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。

Logstash:源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通。同时源ES、Logstash和目标ES版本需满足兼容性要求,详细信息请参见产品兼容性

ReIndex:旧网络架构ES需要和源端集群在同一VPC网络中,新网络架构ES需借助PrivateLink,打通ECS上自建Elasticsearch集群所处的网络与阿里云服务账号的网络,再使用终端节点域名进行reindex。

5.1.7.2.3 第三方Elasticsearch迁移至阿里云

OSS快照:需要将第三方的ES快照数据同步到OSS中,然后在阿里云ES上进行快照恢复。

Logstash:需要阿里云Logstash配置NAT网关实现与公网连通,源Elastic

search、Logstash和目标Elasticsearch实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:不支持。

5.1.7.3 非ES集群间数据同步

可以使用Logstash(开源Logstash/阿里云Logstash)、阿里云DataWorks、阿里云DTS、Canal等数据同步工具进行数据同步。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
948 17
|
7月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
447 7
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
368 5
|
存储 API 数据库
检索服务elasticsearch索引(Index)
【8月更文挑战第23天】
987 6
|
存储 负载均衡 监控
检索服务elasticsearch节点(Node)
【8月更文挑战第23天】
374 5
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
338 5
|
存储 监控 负载均衡
检索服务elasticsearch集群(Cluster)
【8月更文挑战第23天】
263 3
|
存储 监控 负载均衡
检索服务elasticsearch分布式结构
【8月更文挑战第22天】
274 3
|
Cloud Native 安全 Serverless
云原生应用实战:基于阿里云Serverless的API服务开发与部署
随着云计算的发展,Serverless架构日益流行。阿里云函数计算(Function Compute)作为Serverless服务,让开发者无需管理服务器即可运行代码,按需付费,简化开发运维流程。本文从零开始,介绍如何使用阿里云函数计算开发简单的API服务,并探讨其核心优势与最佳实践。通过Python示例,演示创建、部署及优化API的过程,涵盖环境准备、代码实现、性能优化和安全管理等内容,帮助读者快速上手Serverless开发。
|
人工智能 Cloud Native 多模数据库
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
351 1