版本1.14中遇到一个问题就是简单的source和sink，source并行度是1一直失败是什么原因

版本1.14中遇到一个问题就是简单的source和sink，source并行度是1，sink并行度是40，checkpoint一直失败是什么原因？中间没有状态

展开

收起

圆葱猪肉包 2023-04-19 16:22:42 194 0

3 条回答

写回答

取消提交回答

wljslmz

公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云云享专家，BOSS直聘创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com
在阿里云实时计算Flink版（版本1.14）中，如果简单的source并行度为1，sink并行度为40，并且中间没有状态，可能会出现checkpoint一直失败的情况。这种情况通常是由于以下原因导致的：
1. 连接池过小：如果您在连接数据库、接口等外部资源时使用了连接池，可能会出现连接池过小的情况，导致无法获取连接，从而导致checkpoint失败。建议适当增加连接池的大小或优化连接池的配置。
2. 网络问题：如果您的sink操作主要是将数据写入外部存储或数据传输到其他计算实例等，可能会出现网络问题，导致数据丢失或传输失败。建议检查网络连接是否正常，并进行必要的优化和调整。
3. 外部资源故障：如果您的sink操作外部资源出现了故障，如存储访问失败、接口请求超时等，可能会导致checkpoint失败。建议检查对应的外部资源是否正常工作，并进行必要的修复和优化。
4. 配置问题：如果您的checkpoint配置不合理，可能会导致checkpoint失败。建议检查配置项，保证各个参数设置合理，并进行必要的调整和优化。
2023-04-30 22:05:23

赞同展开评论打赏
微笑向日葵

你加一个keyby试下，并行度不一致，下游空转了，有可能导致ck失败，此回答整理自钉群“【③群】Apache Flink China社区”

2023-04-19 22:27:38

赞同展开评论打赏
武当张三丰丶

存在即是合理

如果遇到了简单的 source 和 sink 操作，并且 source 的并行度为 1，而 sink 的并行度为 40，并且 checkpoint 一直失败，可能有以下几种原因：

1、数据源问题：如果数据源存在问题，例如数据不可用或数据格式不正确，那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试检查您的数据源是否正确并且可用。

2、数据源和 Flink 集群之间的网络连接问题：如果数据源和 Flink 集群之间的网络连接不稳定或不可用，那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试检查您的网络连接是否正常。

3、Flink 集群的资源问题：如果 Flink 集群的资源（例如内存、CPU 和 I/O 等）不足，那么 source 操作可能会失败并且 checkpoint 操作也会失败。可以尝试增加 Flink

4、集群的资源，或者尝试使用更高级别的并行度。

5、Flink 版本问题：如果使用的是旧版本的 Flink，可能会存在与版本相关的问题。可以尝试升级 Flink 版本，或者尝试使用更新的 Flink 版本。

总之，要解决 source 和 sink 操作的并行度问题，需要检查您的数据源、网络连接、Flink 集群的资源和版本等因素。如果问题仍然存在，可以尝试使用更高级别的并行度或者升级 Flink 版本。

2023-04-19 16:29:13

赞同展开评论打赏