带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(1)

简介: 带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(1)

5.1.7 数据同步


数据同步分为Elasitcsearch集群间的数据迁移,以及其他存储的数据同步到Elasticsearch,而实际的数据同步操作,除了选择数据同步方式之外,还需要判断网络是否正常访问,所以也会介绍下阿里云Elasticsearch的网络架构。


5.1.7.1 阿里云ES网络架构

2020年10月,阿里云Elasticsearch对网络架构进行了调整。2020年10月之前为旧网络架构,2020年10月及之后为新网络架构。新网络架构下的实例不支持与旧网络架构下的实例进行跨集群reindex、跨集群搜索、跨集群复制等实例互通操作。如果需要进行互通,需要确保实例创建在同一网络架构下。那新旧网络架构具体是什么样的呢?下面总结整理了下面四个场景的网络架构,分别是阿里云ElasticSearch老网络架构、阿里云ElasticSearch新网络架构、阿里云ElasticSearch的PrivateLink网络架构、阿里云LogStash的网络架构,帮助大家解惑。


5.1.7.1 阿里云ES网络架构

image.png

在这种网络架构下,阿里云Elasticsearch的节点ECS是部署在用户VPC下,Elasticsearch节点和用户ECS之间网络是可以互通的。


5.1.7.1.2 阿里云ElasticSearch新网络架构

image.png


自2020年10月起,网络架构调整,ES节点ECS是在产品VPC下,这个架构会导致ES集群节点没有办法直接访问用户ECS,这就导致X-Pack Watcher报警功能、LDAP服务等功能不能用了,X-Pack报警功能需要ECS节点发送消息到外部服务器,LDAP服务功能需要ES服务发送验证请求到外部LDAP服务器。


5.1.7.1.2 阿里云ElasticSearch新网络架构

image.png


这个是LogStash服务网络架构,同阿里云ElasticSearch老网络架构一致,ES节点ECS和用户的ECS在同一个VPC内,所以LogStash和用户的ECS是可以相互通信的,而NAT是当LogStash的同步任务数据源是公网时候,需要配置的,配置之后,LogStash可以通过公网访问对应的数据源。


《企业级云原生白皮书项目实战》——第五章 大数据——5.1 检索分析服务 Elasticsearch版——5.1.7 数据同步(2) https://developer.aliyun.com/article/1228657?groupCode=supportservice

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
746 7
|
存储 API 数据库
检索服务elasticsearch索引(Index)
【8月更文挑战第23天】
2005 6
|
存储 负载均衡 监控
检索服务elasticsearch节点(Node)
【8月更文挑战第23天】
469 5
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
433 5
|
存储 监控 负载均衡
检索服务elasticsearch集群(Cluster)
【8月更文挑战第23天】
380 3
|
存储 监控 负载均衡
检索服务elasticsearch分布式结构
【8月更文挑战第22天】
380 3
|
存储 缓存 分布式计算
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
|
弹性计算 运维 算法
阿里云 Elasticsearch Serverless 检索增强型 8.17 版来袭!
阿里云Elasticsearch Serverless 8.17版本,深度融合无服务器架构与分层扩展能力,面向信息检索、向量搜索、语义分析等通用场景,提供全托管服务,在最新特性扩展、自动扩缩性能、资源成本优化等维度均有显著提升。
983 15
|
Cloud Native 安全 Serverless
云原生应用实战:基于阿里云Serverless的API服务开发与部署
随着云计算的发展,Serverless架构日益流行。阿里云函数计算(Function Compute)作为Serverless服务,让开发者无需管理服务器即可运行代码,按需付费,简化开发运维流程。本文从零开始,介绍如何使用阿里云函数计算开发简单的API服务,并探讨其核心优势与最佳实践。通过Python示例,演示创建、部署及优化API的过程,涵盖环境准备、代码实现、性能优化和安全管理等内容,帮助读者快速上手Serverless开发。
|
人工智能 Cloud Native 多模数据库
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
478 1

热门文章

最新文章