请问flink 什么时候支持读写ACID的hive表？
我们使用 flink.1.12 读取 ACID hive table 时报错（Reading or writing ACID table %s is not supported），我们尝试修改源码放开这个限制也会出现后续的一些错误如（cast转换 BytesColumnVector 为 LongColumnVector 出错）。 背景：目前我们生产想采用 flink 做 ETL 等数据迁移工作，对应的hive都是hive 3.0左右的版本或者hive 2.3.6的版本，默认都是ACID的表，而且数据量很大，现在使用flink做数据迁移，如果flink只支持读取非ACID标的话，我们需要全部重建hive的表是很费力的。 请问一下flink什么版本有计划支持读取 ACID的hive table？或者，目前有无办法解决我这样的问题？*来自志愿者整理的flink邮件归档
写回答
-
你好， Flink暂时没有计划支持hive的ACID表。目前hive connector的代码无法保证ACID语义，所以即使你去掉“Reading or writing ACID table %s is not supported”这个检查也达不到预期的效果。 是否考虑将ACID表迁移到数据湖中呢，比如iceberg有相应的迁移工具[1]。 [1] https://iceberg.apache.org/spark-procedures/#table-migration
*来自志愿者整理的flink邮件归档
2021-12-01 17:39:09赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关课程
更多
相关文章
相关电子书
更多
