开发者社区> 问答> 正文

Hive 数据按分区归档到 OSS实现原理是什么?

Hive 数据按分区归档到 OSS实现原理是什么?

展开
收起
游客fbdr25iajcjto 2021-12-09 20:18:45 607 0
1 条回答
写回答
取消 提交回答
  • Jindodistcp 作为底层工具

    使用 jindodistcp 事务模式

    使用 HDFS 文件锁保证同一时间每个分区只有一个作业在操作

    先修改分区元数据再清理 hdfs 数据确保数据可用

    2021-12-09 20:19:21
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载