开发者社区 > 大数据与机器学习 > 检索分析服务 Elasticsearch版 > 正文

嗨喽你好,请教一下,如果需要将ADB的数据实时同步至elasticsearch,用哪个工具会好一点呢

嗨喽你好,请教一下,如果需要将ADB的数据实时同步至elasticsearch,用哪个工具会好一点呢?目前我们用的lagstash,但是数据缺失的话并不能及时发现,也不会报错,感觉不太友好

展开
收起
cuicuicuic 2023-03-18 19:08:01 570 0
5 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    推荐dataworks

    2023-03-28 15:44:45
    赞同 展开评论 打赏
  • 可以考虑一下Dataworks数据集成,此回答整理自钉群“Elasticsearch中文技术社区”

    2023-03-22 10:18:22
    赞同 展开评论 打赏
  • 可以考虑使用Logstash的插件jdbc_streaming或者使用其他工具如Debezium、Maxwell等来进行实时数据同步。这些工具都可以实现数据的实时同步,并且可以提供更好的错误处理和报错机制。

    2023-03-20 08:34:36
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    在实际工作中,一般会用 logstash 或者 canal,简单说下两个根据的功能吧。

    1. logstash:可以用于从多种数据源收集、转换和传输数据,包括将ADB中的数据同步到elasticsearch中。你可以使用a中的JDBC input插件来读取ADB中的数据,并将数据输出到elasticsearch中。关于数据缺失的问题,可以在logstash中配置日志输出,以便在出现问题时能够及时发现。

    2. canal:是阿里巴巴开源的基于MySQL协议的增量数据订阅和消费框架,可以用于将MySQL和ADB中的数据同步到elasticsearch中。canal可以通过监听MySQL和ADB的binlog来捕获数据变化,然后将变化的数据发送到Elasticsearch中。由于canal是增量同步,因此相对于全量同步来说,不容易出现数据缺失的问题。

    2023-03-19 20:25:24
    赞同 展开评论 打赏
  • 常见的有elasticsearch-dump、snapshot、reindex等方式。

    2023-03-19 08:05:18
    赞同 展开评论 打赏

阿里云检索分析服务Elasticsearch版兼容开源ELK功能,免运维全托管,提升企业数据检索与运维分析能力。

相关产品

  • 检索分析服务 Elasticsearch版
  • 热门讨论

    热门文章

    相关电子书

    更多
    阿里云数据中台电信行业数据模型白皮书 立即下载
    阿里云数据中台零售数据模型白皮书 立即下载
    消电行业数据中台解决方案白皮书 立即下载