开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink1.18 api流失写入是加载表提示hdfs路径下表不存在

先在flink sql客户端中建表,语句如下:
CREATE TABLE hive_catalog.default.sample (
id INT COMMENT 'unique id',
data STRING NOT NULL,
PRIMARY KEY(id) NOT ENFORCED
) with ('format-version'='2', 'write.upsert.enabled'='true');
创建后确认表路径都存在,也可以在hive里查看DDL;

flink1.18写入iceberg1.5.2 api streaming代码如下:
Configuration hadoopConf = new Configuration();
TableLoader tableLoader = TableLoader.fromHadoopTable("hdfs://nn:8020/warehouse/path", hadoopConf);

FlinkSink.forRowData(input)
.tableLoader(tableLoader)
.upsert(true)
.append();
提示错误信息:"Caused by: org.apache.iceberg.exceptions.NoSuchTableException: Table does not exist at location: hdfs://",大佬能帮忙看一下原因吗?看官方github也有提过flink写入iceberg这个版本的问题,但是官方没回复呢,新发版的iceberg1.6.0也没看到对类似问题的修正,不知道是不是官方认为没有问题

展开
收起
游客bdz4jgozjnb7a 2024-07-31 18:08:20 12 0
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Spring Boot2.0实战Redis分布式缓存 立即下载
    CUDA MATH API 立即下载
    API PLAYBOOK 立即下载