开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我在类型是hive的iceberg catalog里面建不了CDC的表, 这操作问题吗?

我在类型是hive的iceberg catalog里面建不了CDC的表, 这操作问题 还是iceberg的bug呀?

展开
收起
cuicuicuic 2023-08-28 15:24:18 42 0
1 条回答
写回答
取消 提交回答
  • 是的,Hive的Iceberg Catalog目前不支持直接创建CDC(Change Data Capture)表。CDC是一种用于捕获和保留数据库更改历史记录的技术,用于跟踪表中数据的变化。

    在Iceberg Catalog中,要使用CDC功能,您需要使用其他工具或库来实现。一种常用的方法是使用Apache Kafka等消息队列系统来捕获数据更改并将其发送到其他表或系统中。

    您可以在Iceberg官方文档中查找更多关于如何使用CDC的信息,并了解如何将其与Hive集成。

    2023-09-13 11:22:03
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载