开发者社区 > 大数据与机器学习 > 正文

Flink CDC中那位老师遇到以下写法,数据可以正常写到hdfs, 但是表和库在hive看不到,?

Flink CDC中那位老师遇到以下写法,数据可以正常写到hdfs, 但是表和库在hive看不到,是由于HadoopCatalog类型 元数据没有托管到元数据服务的原因吗?:// 通过catalog判断表是否存在,不存在就创建,存在就加载 Table table = catalog.tableExists(tableIdentifier)? catalog.loadTable(tableIdentifier): catalog.createTable(tableIdentifier,schema,partitionSpec,tableProperties);?我是用iceberg的 HadoopCatalog 写的数据,但是手动建了外部表关联下表目录才可以查,数据都可以正常写,只是表使用hive show tables 命令查不到,需要手动建了外部表关联下表目录才可以查,我改成 hivecatalog 是可以自动创建库和表的,想再试下 HadoopCatalog,使用修复命令?我就想达到,自动创建库和表,使用 beeline 命令可以直接查,不用手动操作。

展开
收起
真的很搞笑 2023-05-29 13:43:09 97 0
1 条回答
写回答
取消 提交回答
  • 外部表需要修复,此回答整理自钉群“Flink CDC 社区”

    2023-05-29 13:53:49
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载