开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这里日志有效归档期是不是指的是日志的保留时间?

Flink这里日志有效归档期是不是指的是日志的保留时间?
61ac78d43c3041d1a4b3ff41aec8071e.png

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-17 09:40:32 80 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    是的,Flink中的日志有效归档期指的是日志的保留时间。在Flink中,默认的日志归档有效期是7天。这意味着,一旦作业运行结束,其生成的日志会被保存一段时间(默认为7天),然后被自动删除。这样的设计可以帮助节省存储空间,提高系统性能。

    此外,值得注意的是,对于某些特定的操作,比如Flink CDC同步Oracle数据时,归档日志的保留时间配置会影响到同步过程。根据配置的归档日志保留时间,Flink CDC会从最近的归档日志开始抓取数据。因此,如果你在使用Flink CDC进行数据同步时出现了报错,可能是因为归档日志被删除或者不存在了。在这种情况下,你可以考虑调整归档日志的保留时间,以确保归档日志的数据完整性。同时,如果需要重新开始同步数据,可以在Flink CDC中使用“重置偏移量”功能,重新从最新的归档日志开始同步。

    2024-01-17 14:06:36
    赞同 展开评论 打赏
  • 是的,Flink中提到的日志有效归档期通常是指日志的保留时间,也就是系统会保存日志文件的有效期限。在这个时间段内,日志文件会被妥善存储,用于审计、故障排查或其他目的。一旦超过设定的归档期,系统将按照配置的策略进行清理,比如删除旧的日志文件,以释放存储空间或者遵守合规要求。在不同的Flink部署环境下,日志归档策略可能会有所不同,可以根据实际运维需求进行定制化配置。例如,在Flink CDC与Oracle整合的场景中,Oracle数据库的归档日志保留时间会影响到Flink CDC能回溯的历史数据范围。而在Flink自身的日志管理中,也存在类似的服务日志滚动存储和保留文件数量的策略。
    image.png

    2024-01-17 11:34:53
    赞同 展开评论 打赏
  • 是的。此回答整理自钉群“实时计算Flink产品交流群”

    2024-01-17 09:51:23
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载