带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(1)

简介: 带你读《企业级云原生白皮书项目实战》——5.1.7 数据同步(1)

5.1.7 数据同步


数据同步分为Elasitcsearch集群间的数据迁移,以及其他存储的数据同步到Elasticsearch,而实际的数据同步操作,除了选择数据同步方式之外,还需要判断网络是否正常访问,所以也会介绍下阿里云Elasticsearch的网络架构。


5.1.7.1 阿里云ES网络架构

2020年10月,阿里云Elasticsearch对网络架构进行了调整。2020年10月之前为旧网络架构,2020年10月及之后为新网络架构。新网络架构下的实例不支持与旧网络架构下的实例进行跨集群reindex、跨集群搜索、跨集群复制等实例互通操作。如果需要进行互通,需要确保实例创建在同一网络架构下。那新旧网络架构具体是什么样的呢?下面总结整理了下面四个场景的网络架构,分别是阿里云ElasticSearch老网络架构、阿里云ElasticSearch新网络架构、阿里云ElasticSearch的PrivateLink网络架构、阿里云LogStash的网络架构,帮助大家解惑。


5.1.7.1 阿里云ES网络架构

image.png

在这种网络架构下,阿里云Elasticsearch的节点ECS是部署在用户VPC下,Elasticsearch节点和用户ECS之间网络是可以互通的。


5.1.7.1.2 阿里云ElasticSearch新网络架构

image.png


自2020年10月起,网络架构调整,ES节点ECS是在产品VPC下,这个架构会导致ES集群节点没有办法直接访问用户ECS,这就导致X-Pack Watcher报警功能、LDAP服务等功能不能用了,X-Pack报警功能需要ECS节点发送消息到外部服务器,LDAP服务功能需要ES服务发送验证请求到外部LDAP服务器。


5.1.7.1.2 阿里云ElasticSearch新网络架构

image.png


这个是LogStash服务网络架构,同阿里云ElasticSearch老网络架构一致,ES节点ECS和用户的ECS在同一个VPC内,所以LogStash和用户的ECS是可以相互通信的,而NAT是当LogStash的同步任务数据源是公网时候,需要配置的,配置之后,LogStash可以通过公网访问对应的数据源。


《企业级云原生白皮书项目实战》——第五章 大数据——5.1 检索分析服务 Elasticsearch版——5.1.7 数据同步(2) https://developer.aliyun.com/article/1228657?groupCode=supportservice

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
368 5
|
存储 分布式计算 大数据
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
大数据-169 Elasticsearch 索引使用 与 架构概念 增删改查
296 3
|
存储 SQL Apache
为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案?
本文将从技术选型的视角,从开放性、系统架构、实时写入、实时存储、实时查询等多方面,深入分析 Apache Doris 与 Elasticsearch 的能力差异及性能表现
1631 17
为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案?
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
472 3
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
566 1
|
存储 机器学习/深度学习 人工智能
Elasticsearch:使用阿里云 AI 服务进行向量化和重新排名
本文介绍了如何将阿里云 AI 功能与 Elasticsearch 集成,以提高语义搜索的相关性。
834 0
|
弹性计算 运维 Serverless
超值选择:阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性
本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
690 8
|
JSON Java 网络架构
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务
这篇文章介绍了如何使用Spring Boot整合REST方式来搭建和操作Elasticsearch服务。
481 4
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务
|
存储 SQL 监控
|
运维 监控 安全