开发者社区> 问答> 正文

在湖仓一体架构中,你们遇到了哪些稳定性和数据正确性的问题,并如何解决?

在湖仓一体架构中,你们遇到了哪些稳定性和数据正确性的问题,并如何解决?

展开
收起
萝卜丝丸子 2024-08-07 19:10:49 29 0
1 条回答
写回答
取消 提交回答
  • 在湖仓一体架构中,我们遇到了访问Hive Metastore异常的问题,这是由于Hadoop集群启用了Kerberos机制且Hive config的过渡方法被误用导致的。我们修复了这个问题,并反馈给社区。此外,我们还遇到了Hive Metastore锁机制导致的问题,当Flink进程意外退出时,锁无法释放。我们通过引入基于zk的分布式锁替换默认的Hive Metastore锁机制,解决了这个问题。

    2024-08-07 19:56:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
阿里云云原生一体化数仓 立即下载
基于云原生数据仓库AnalyticDB PG的最佳实践 立即下载
新氧云原生全栈数仓最佳实践 立即下载