开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Checkpoint 慢之同步阶段做的慢如何解决?

Checkpoint 慢之同步阶段做的慢如何解决?

展开
收起
Lee_tianbai 2020-12-30 11:36:23 1180 0
1 条回答
写回答
取消 提交回答
  • 同步阶段一般不会太慢,但是如果我们通过日志发现同步阶段比较慢的话,对于 非 RocksDBBackend 我们可以考虑查看是否开启了异步 snapshot,如果开启了异 步 snapshot 还是慢,需要看整个 JVM 在干嘛,也可以使用前一节中的工具。对于 RocksDBBackend 来说,我们可以用 iostate 查看磁盘的压力如何,另外可以查看 tm 端 RocksDB 的 log 的日志如何,查看其中 SNAPSHOT 的时间总共开销多少。 RocksDB 开始 snapshot 的日志如下:

    2019/09/10-14:22:55.734684 7fef66ffd700 [utilities/checkpoint/checkpoint_
    impl.cc:83] Started
    the snapshot process -- creating snapshot in directory /tmp/flink-io87c360ce-0b98-48f4-9629-
    2cf0528d5d53/XXXXXXXXXXX/chk-92729
    

    snapshot 结束的日志如下:

    2019/09/10-14:22:56.001275 7fef66ffd700 [utilities/checkpoint/checkpoint_
    impl.cc:145] Snapshot
    DONE. All is good
    
    2020-12-30 11:37:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
俞航翔|基于Log的通用增量Checkpoint 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载