开发者社区 > 大数据与机器学习 > 检索分析服务 Elasticsearch版 > 正文

有人碰到过ADB或者MySQL利用logstash同步到Eelasticsearch,同步到某条数据

有人碰到过ADB或者MySQL利用logstash同步到Eelasticsearch,同步到某条数据不同步了,日志啥的也没有,logstash的主日志和和调试日志都没打印出来,该数据在数据库中和其他数据并无太大区别?

展开
收起
cuicuicuic 2023-03-18 19:09:55 1295 0
5 条回答
写回答
取消 提交回答
  • 自己写个小工具吧,logstash确实有这个问题,我也遇到过。,此回答整理自钉群“Elasticsearch中文技术社区”

    2023-03-22 10:18:21
    赞同 展开评论 打赏
  • 这可能是由于数据在同步过程中出现了异常或错误导致的。您可以尝试检查logstash的配置文件和日志文件,查看是否有任何错误或异常信息。另外,您还可以尝试使用其他工具或方法来进行数据同步,以确定问题的根本原因。

    2023-03-20 08:34:42
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    可能是 logstash 出现了异常,导致同步失败。可以检查一下 logstash 的日志,看是否有异常或错误的记录,可以尝试重启 logstash。

    2023-03-19 20:21:02
    赞同 展开评论 打赏
  • 排除一下Logstash 配置问题和 Logstash 运行问题。

    2023-03-19 10:03:40
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    根据提供的搜索结果,没有找到与您遇到的问题完全一致的案例。但这里有一些建议您可以尝试:

    检查Logstash的配置文件是否正确设置。请确保您的输入插件、过滤器和输出插件都正确配置,以便数据能够顺利从MySQL传输到Elasticsearch[2][4]。

    检查数据类型是否匹配。您提到同步的数据在数据库中和其他数据并无太大区别,但请检查是否有特殊字符或不兼容的数据类型,这可能导致Logstash在处理这条数据时出现问题[5]。

    确保Logstash能够感知到MySQL的数据更改。如果MySQL数据是物理删除,Logstash可能无法感知到这些更改。在这种情况下,您可以考虑使用其他数据同步方案,例如canal[5]。

    检查Logstash的日志级别。请确保Logstash的日志级别设置为足够详细,以便捕获潜在的错误信息。您可以通过调整Logstash的配置文件来更改日志级别[9]。

    如果同步过程中出现删除操作无法同步的问题,您可以考虑采用软删除处理。这样,在MySQL中执行删除操作时,数据状态会发生变化,而不是物理删除,从而可以同步到Elasticsearch中[7]。

    如果上述建议都无法解决问题,建议您查看Logstash的官方文档和社区论坛,寻求更多帮助。

    2023-03-19 08:05:50
    赞同 展开评论 打赏

阿里云检索分析服务Elasticsearch版兼容开源ELK功能,免运维全托管,提升企业数据检索与运维分析能力。

热门讨论

热门文章

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像