Logstash JDBC数据mysql同步es的延迟时间大概有多少
问题描述
Logstash JDBC数据同步的延迟时间到底有多少
- 同步全量数据，接受秒级延迟的场景。
- 批量查询数据然后进行同步的场景。
...
Logstash JDBC数据同步 | 通过logstash-input-jdbc插件实现通过Logstash批量查询RDS中的数据，并将数据迁移到Elasticsearch。实现的本质是该插件会定期对RDS中的数据进行循环轮询，从而在当前循环中找到上次插入或更改的记录，然后批量查询这些记录并迁移至Elasticsearch。与DTS同步方案相比，该方案的实时性较差，存在秒级延迟。 |
|
|
期望结果
...
已尝试的方法
...
展开
收起
2
条回答
写回答
写回答
-
具体延迟时间需要你实际数据场景测试，目前只能说logstash方案适用的场景是能接受延迟秒级别的；若对实时性要求高推荐参考 同步方案选取指南：https://help.aliyun.com/document_detail/170426.html 中 DTS的方式实现数据同步
2022-10-12 17:50:10赞同 展开评论 打赏 -
这个跟用户的数据量、集群的状态和规格等很多因素有关的，没办法给出具体延迟时间。如果对数据同步的实时性要求较高，可以选择DTS的方案。
如果出现同步任务失败（例如管道一直在生效中、前后数据不一致、数据库连接不成功），可以参考通过Logstash将RDS MySQL数据同步至Elasticsearch中的常见问题，排查一下。
2022-10-12 17:34:41赞同 展开评论 打赏
问答标签：
问答地址：
开发者社区
>
大数据与机器学习
>
检索分析服务 Elasticsearch版
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
热门讨论
热门文章
Elasticsearch中docs.deleted 这个里面的数据怎么彻底删掉呢？
13551
实验中 Elasticsearch、es kibana login 的默认用户和口令是什么？
3195
Elasticsearch用es遇到过 Request cannot be executed吗？
675
大佬们，我想问一下es单节点的查询并发大概能到一个什么量级啊？
3289
es聚合查询不准确和精度丢失问题要怎么解决啊？
2869
Elasticsearch大量报GC日志：GC (Allocation Failure），请问是什么
638
请问es需求是对数据分组后进行分页，如何获取桶的总数呢？
1817
请问ES服务为什么推荐使用7.10版本，而不是7.16和8.5？
840
大家好，es搜索结果中完全匹配的结果评分反而在后面，这个问题该如何解决呐？
1340
写入Elasticsearch异常HTTP/1.1 413 Request Entity Too L
712
展开全部
【技术实验】mysql准实时同步数据到Elasticsearch
24233
Kibana：数据分析的可视化利器
19699
重磅首发 |《Elasticsearch 中国开发者调查报告》探索开发者的现状和未来
84531
【入门指南】使用阿里云Elasticsearch搭建ELK日志系统
15332
【X-Pack解读】阿里云Elasticsearch X-Pack 安全组件功能详解
11210
（ElasticsSearch学习）歌词检索Demo的实现：二. 搭建spring boot+spring data+jest+elasticsearch环境，实现歌词的全文检索
9767
【X-Pack解读】阿里云Elasticsearch X-Pack 监控组件功能详解
9619
2019北京Elastic开发者大会日程重磅上线 | 由阿里云联合赞助
7852
【阿里云MVP第五期】安畅网络韩军辉：ELK在数据中心流量分析中的应用
7165
时序数据库场景下的Elasticsearch（一）：技术特点简介
11264
展开全部
相关文章
相关电子书
更多
