带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(1)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(1)

5.1.7 数据同步


数据同步分为Elasitcsearch集群间的数据迁移,以及其他存储的数据同步到Elasticsearch,而实际的数据同步操作,除了选择数据同步方式之外,还需要判断网络是否正常访问,所以也会介绍下阿里云Elasticsearch的网络架构。


5.1.7.1 阿里云ES网络架构

2020年10月,阿里云Elasticsearch对网络架构进行了调整。2020年10月之前为旧网络架构,2020年10月及之后为新网络架构。新网络架构下的实例不支持与旧网络架构下的实例进行跨集群reindex、跨集群搜索、跨集群复制等实例互通操作。如果需要进行互通,需要确保实例创建在同一网络架构下。那新旧网络架构具体是什么样的呢?下面总结整理了下面四个场景的网络架构,分别是阿里云ElasticSearch老网络架构、阿里云ElasticSearch新网络架构、阿里云ElasticSearch的PrivateLink网络架构、阿里云LogStash的网络架构,帮助大家解惑。


5.1.7.1 阿里云ES网络架构

image.png

在这种网络架构下,阿里云Elasticsearch的节点ECS是部署在用户VPC下,Elasticsearch节点和用户ECS之间网络是可以互通的。


5.1.7.1.2 阿里云ElasticSearch新网络架构

image.png


自2020年10月起,网络架构调整,ES节点ECS是在产品VPC下,这个架构会导致ES集群节点没有办法直接访问用户ECS,这就导致X-Pack Watcher报警功能、LDAP服务等功能不能用了,X-Pack报警功能需要ECS节点发送消息到外部服务器,LDAP服务功能需要ES服务发送验证请求到外部LDAP服务器。


5.1.7.1.2 阿里云ElasticSearch新网络架构

image.png


这个是LogStash服务网络架构,同阿里云ElasticSearch老网络架构一致,ES节点ECS和用户的ECS在同一个VPC内,所以LogStash和用户的ECS是可以相互通信的,而NAT是当LogStash的同步任务数据源是公网时候,需要配置的,配置之后,LogStash可以通过公网访问对应的数据源。


《企业级云原生白皮书项目实战》——第五章 大数据——5.1 检索分析服务 Elasticsearch版——5.1.7 数据同步(2) https://developer.aliyun.com/article/1228657?groupCode=supportservice

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
SQL JSON 大数据
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
这篇文章是Elasticsearch的进阶使用指南,涵盖了Search API的两种检索方式、Query DSL的基本语法和多种查询示例,包括全文检索、短语匹配、多字段匹配、复合查询、结果过滤、聚合操作以及Mapping的概念和操作,还讨论了Elasticsearch 7.x和8.x版本中type概念的变更和数据迁移的方法。
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
|
4月前
|
存储 API 数据库
检索服务elasticsearch索引(Index)
【8月更文挑战第23天】
70 6
|
4月前
|
存储 负载均衡 监控
检索服务elasticsearch节点(Node)
【8月更文挑战第23天】
63 5
|
4月前
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
70 5
|
4月前
|
存储 监控 负载均衡
检索服务elasticsearch集群(Cluster)
【8月更文挑战第23天】
71 3
|
4月前
|
存储 监控 负载均衡
检索服务elasticsearch分布式结构
【8月更文挑战第22天】
51 3
|
5天前
|
弹性计算 运维 Serverless
超值选择:阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性
本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
|
27天前
|
Kubernetes Cloud Native Docker
云原生之旅:从传统架构到容器化服务的演变
随着技术的快速发展,云计算已经从简单的虚拟化服务演进到了更加灵活和高效的云原生时代。本文将带你了解云原生的概念、优势以及如何通过容器化技术实现应用的快速部署和扩展。我们将以一个简单的Python Web应用为例,展示如何利用Docker容器进行打包和部署,进而探索Kubernetes如何管理这些容器,确保服务的高可用性和弹性伸缩。
|
5月前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
18529 54
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
4月前
|
网络协议 Java API
SpringBoot整合Elasticsearch-Rest-Client、测试保存、复杂检索
这篇文章介绍了如何在SpringBoot中整合Elasticsearch-Rest-Client,并提供了保存数据和进行复杂检索的测试示例。
SpringBoot整合Elasticsearch-Rest-Client、测试保存、复杂检索

热门文章

最新文章

下一篇
DataWorks