开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

版本1.14中遇到一个问题就是简单的source和sink,source并行度是1一直失败是什么原因

版本1.14中遇到一个问题就是简单的source和sink,source并行度是1,sink并行度是40,checkpoint一直失败是什么原因?中间没有状态

展开
收起
圆葱猪肉包 2023-04-19 16:22:42 195 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云实时计算Flink版(版本1.14)中,如果简单的source并行度为1,sink并行度为40,并且中间没有状态,可能会出现checkpoint一直失败的情况。这种情况通常是由于以下原因导致的:

    1. 连接池过小:如果您在连接数据库、接口等外部资源时使用了连接池,可能会出现连接池过小的情况,导致无法获取连接,从而导致checkpoint失败。建议适当增加连接池的大小或优化连接池的配置。

    2. 网络问题:如果您的sink操作主要是将数据写入外部存储或数据传输到其他计算实例等,可能会出现网络问题,导致数据丢失或传输失败。建议检查网络连接是否正常,并进行必要的优化和调整。

    3. 外部资源故障:如果您的sink操作外部资源出现了故障,如存储访问失败、接口请求超时等,可能会导致checkpoint失败。建议检查对应的外部资源是否正常工作,并进行必要的修复和优化。

    4. 配置问题:如果您的checkpoint配置不合理,可能会导致checkpoint失败。建议检查配置项,保证各个参数设置合理,并进行必要的调整和优化。

    2023-04-30 22:05:23
    赞同 展开评论 打赏
  • 你加一个keyby试下,并行度不一致,下游空转了,有可能导致ck失败,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-04-19 22:27:38
    赞同 展开评论 打赏
  • 存在即是合理

    如果遇到了简单的 source 和 sink 操作,并且 source 的并行度为 1,而 sink 的并行度为 40,并且 checkpoint 一直失败,可能有以下几种原因:

    1、数据源问题:如果数据源存在问题,例如数据不可用或数据格式不正确,那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试检查您的数据源是否正确并且可用。

    2、数据源和 Flink 集群之间的网络连接问题:如果数据源和 Flink 集群之间的网络连接不稳定或不可用,那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试检查您的网络连接是否正常。

    3、Flink 集群的资源问题:如果 Flink 集群的资源(例如内存、CPU 和 I/O 等)不足,那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试增加 Flink

    4、集群的资源,或者尝试使用更高级别的并行度。

    5、Flink 版本问题:如果使用的是旧版本的 Flink,可能会存在与版本相关的问题。可以尝试升级 Flink 版本,或者尝试使用更新的 Flink 版本。

    总之,要解决 source 和 sink 操作的并行度问题,需要检查您的数据源、网络连接、Flink 集群的资源和版本等因素。如果问题仍然存在,可以尝试使用更高级别的并行度或者升级 Flink 版本。

    2023-04-19 16:29:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载