开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个问题怎么解决?

Flink这个问题怎么解决?Flink 1.16 + MinIO 的环境,跑作业后,flink jobmanager 日志一直刷“Cannot create recoverable writer due to This s3 file system implementation does not support recoverable writers., will use the ordinary writer.”,有朋友遇到过么?8dbaacd5828c23f28d14b683237f97a1.png

展开
收起
三分钟热度的鱼 2023-10-18 20:28:54 210 0
2 条回答
写回答
取消 提交回答
  • 这个问题可能是由于Flink的S3文件系统实现不支持可恢复的写入器,因此会报错"Cannot create recoverable writer due to This s3 file system implementation does not support recoverable writers., will use the ordinary writer."。为了解决这个问题,你可以尝试以下步骤:

    1. 确保你的Flink版本和MinIO服务器版本是兼容的。
    2. 检查你的Flink配置文件中关于S3文件系统的设置是否正确。
    3. 考虑使用其他支持可恢复写入器的S3文件系统实现。
    4. 如果可能,尝试升级Flink到最新版本,看是否解决了这个问题。
    2023-10-21 17:02:57
    赞同 展开评论 打赏
  • 在Flink 1.16 + MinIO的环境中,跑作业后,Flink JobManager的日志一直刷“Cannot create recoverable writer due to This s3 file system implementation does not support recoverable writers., will use the ordinary writer.”,这通常表示Flink无法创建可恢复的写入器,将使用普通写入器。这个问题可能由多种原因引起,以下是一些可能的解决方案:

    1. 检查MinIO的配置:首先,需要检查MinIO的配置是否正确。可以检查MinIO的配置文件,确保所有的配置都正确无误。
    2. 检查Flink的配置:如果MinIO的配置没有问题,可能需要检查Flink的配置。可以检查Flink的配置文件,确保所有的配置都正确无误。
    3. 检查MinIO的实现:如果MinIO的配置和Flink的配置都没有问题,可能需要检查MinIO的实现。可以尝试使用其他实现的S3文件系统,例如Hadoop的S3A文件系统,看是否能够解决问题。
    4. 检查Flink的版本:如果以上的方法都无法解决问题,可能需要检查Flink的版本。如果Flink的版本过低,可能不支持某些功能,需要升级Flink的版本。
    2023-10-18 22:30:35
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载