开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink读取 hdfs的parquet文件时,有没有忽略损坏文件的配置?

flink读取 hdfs的parquet文件时,有没有忽略损坏文件的配置。spark里面是有这个参数的?Flink Filesystem connector

展开
收起
cuicuicuic 2023-09-20 13:10:53 66 0
1 条回答
写回答
取消 提交回答
  • Flink 的 ParquetInputFormat 提供了 ignoreCorruptedRecords 配置,用于忽略损坏的 parquet 文件。该配置默认值为 false,表示遇到损坏的 parquet 文件时抛出异常。如果将该配置设置为 true,那么 Flink 会忽略损坏的 parquet 文件,并继续读取其他 parquet 文件。

    2023-10-13 10:34:29
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink峰会 - 李佳林 立即下载
    Flink峰会 - 徐榜江 立即下载
    海量数据分布式存储——Apache HDFS之最新进展 立即下载