开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问一下Flink CDC中hive删表 有没有不过hdfs回收站的方法?

大家好 请问一下Flink CDC中hive删表 有没有不过hdfs回收站的方法?

展开
收起
真的很搞笑 2023-08-28 15:14:00 96 0
1 条回答
写回答
取消 提交回答
  • 目前 Flink CDC 中 Hive 的 delete 操作还不支持跳过回收站。可以考虑使用以下方案:

    在 Hive 表上创建一个视图,然后使用 Flink CDC 读取视图的数据。
    使用 ALTER TABLE 语句将 Hive 表重命名,然后删除原来的表。
    使用 CREATE TABLE 语句重新创建 Hive 表。
    以上方案虽然可以实现跳过回收站,但是会导致数据的暂时丢失。如果需要保留数据,可以考虑使用 Hive 的 DROP IF EXISTS 语句来删除表。

    另外,Flink CDC 目前还不支持 Hive 的 TRUNCATE 语句。如果需要删除 Hive 表的数据,可以使用 DELETE FROM 语句。

    2023-09-13 11:53:08
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载