开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我用flink 读取kafka 的数据然后写入到 hudi 里面一直报这个错,请问有遇到过的的吗?

请问下 我用flink 读取kafka 的数据然后写入到 hudi 里面一直报这个错,请问有遇到过的吗?86c542a80452b7daec78e24466caf5c7.png

展开
收起
真的很搞笑 2023-09-13 17:10:49 112 0
1 条回答
写回答
取消 提交回答
  • 这个错误的可能原因如下:

    hudi 表已经存在,但是数据 schema 不一致。
    hudi 表不存在,但是创建表的参数不正确。
    hudi 表的配置不正确。
    hudi 表的压缩算法不正确。
    hudi 表的 rowkey 设置不正确。
    hudi 表的预分区数设置不正确。
    hudi 表的分区设置不正确。
    hudi 表的字段类型不正确。
    hudi 表的写入方法不正确。
    hudi 表数据的数据格式不正确。
    hudi 表的数据中存在空值。
    如果您遇到了这个错误,可以尝试以下方法进行排查:

    检查 hudi 表是否存在,以及数据 schema 是否一致。
    检查 hudi 表的创建参数是否正确。
    检查 hudi 表的配置是否正确。
    检查 hudi 表的压缩算法是否正确。
    检查 hudi 表的 rowkey 是否设置正确。
    检查 hudi 表的预分区数是否设置正确。
    检查 hudi 表的分区设置是否正确。
    检查 hudi 表的字段类型是否正确。
    检查 hudi 表的写入方法是否正确。
    检查 hudi 表数据的数据格式是否正确。
    检查 hudi 表的数据中是否存在空值。
    如果您依然无法解决问题,可以联系 hudi 的官方支持人员。

    2023-10-20 15:23:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载