带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(2)

《企业级云原生白皮书项目实战》——第五章 大数据——5.1 检索分析服务 Elasticsearch版——5.1.7 数据同步(1) https://developer.aliyun.com/article/1228658?groupCode=supportservice


5.1.7.2 集群间数据迁移

目前阿里云Elasticsearch支持通过Logstash、reindex和OSS等多种方式进行ES集群间数据迁移。OSS快照适合迁移速度快,源端数据量较大(GB、TB、PB级别)的场景,OSS方式是目标端ES和源端ES都需要去访问OSS的,所以在使用时需要保证目标端ES和源端ES可以访问OSS。Logstash适合数据体量不大,需要在线数据同步的场景,该方式是需要logstash可以访问目标端ES和源端ES。ReIndex适合源端数据量较小,且对迁移速度要求不高的场景,该方式是需要在目标ES集群上执行,然后从源 ES 集群导入数据到目标端ES 集群,所以需要目标端ES 集群节点可以访问源端ES集群。根据ES集群类型可以主要分为以下三种同步场景。并且每种场景的不同同步方式,都是有些限制的,相关限制可从ES集群网络架构和OSS同步方式思考原因。

5.1.7.2.1 阿里云Elasticsearch实例间数据迁移

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。另外,跨集群OSS仓库设置功能,对源端和目标端实例有以下3个限制。1是源端和目标端实例必须在相同地域,2是源端和目标端实例需归属于相同账号,3是源端实例的版本低于或等于目标端实例的版本。

Logstash:需要源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通,同时源ES、Logstash和目标ES实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:要求两个Elasticsearch集群在同一网络架构下,或者目标端ES是旧网络架构,源端ES是新网络架构。

5.1.7.2.2 自建Elasticsearch迁移至阿里云

OSS快照:需要获取与源Elasticsearch版本一致的elasticsearch-repository-oss插件。另外,OSS快照方式不支持迁移增量数据,建议在迁移前关闭源端待迁移索引的写入或更新。

Logstash:源ES、Logstash和目标ES在同一专有网络。如果不在同一专有网络,需要通过配置NAT网关实现与公网的连通。同时源ES、Logstash和目标ES版本需满足兼容性要求,详细信息请参见产品兼容性

ReIndex:旧网络架构ES需要和源端集群在同一VPC网络中,新网络架构ES需借助PrivateLink,打通ECS上自建Elasticsearch集群所处的网络与阿里云服务账号的网络,再使用终端节点域名进行reindex。

5.1.7.2.3 第三方Elasticsearch迁移至阿里云

OSS快照:需要将第三方的ES快照数据同步到OSS中,然后在阿里云ES上进行快照恢复。

Logstash:需要阿里云Logstash配置NAT网关实现与公网连通,源Elastic

search、Logstash和目标Elasticsearch实例版本需满足兼容性要求,详细信息请参见产品兼容性。

ReIndex:不支持。

5.1.7.3 非ES集群间数据同步

可以使用Logstash(开源Logstash/阿里云Logstash)、阿里云DataWorks、阿里云DTS、Canal等数据同步工具进行数据同步。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
12月前
|
存储 缓存 分布式计算
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
368 5
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
296 3
|
弹性计算 运维 算法
阿里云 Elasticsearch Serverless 检索增强型 8.17 版来袭!
阿里云Elasticsearch Serverless 8.17版本,深度融合无服务器架构与分层扩展能力,面向信息检索、向量搜索、语义分析等通用场景,提供全托管服务,在最新特性扩展、自动扩缩性能、资源成本优化等维度均有显著提升。
685 15
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
472 3
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
566 1
|
存储 机器学习/深度学习 人工智能
Elasticsearch:使用阿里云 AI 服务进行向量化和重新排名
本文介绍了如何将阿里云 AI 功能与 Elasticsearch 集成,以提高语义搜索的相关性。
834 0
|
弹性计算 运维 Serverless
超值选择:阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性
本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
690 8
|
JSON Java 网络架构
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务
这篇文章介绍了如何使用Spring Boot整合REST方式来搭建和操作Elasticsearch服务。
481 4
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务
|
人工智能
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
330 2

热门文章

最新文章