开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks我现在需要迁移hive的历史全部数据,保留之前的分区信息,我使用?

问题1:DataWorks我现在需要迁移hive的历史全部数据,保留之前的分区信息,我使用dataworks的同步功能的时候,目的库必须指定一个分区,这样就把所有的历史数据都放到一个分区了,达不到我想保留分区的目的。请问有什么办法可以满足我的诉求?image.png 问题2:太麻烦了,我现在有几百张表的历史数据要同步,每张表的每个分区都操作一遍,太不现实了

展开
收起
cuicuicuic 2023-05-22 16:53:37 82 0
1 条回答
写回答
取消 提交回答
  • 回答1:比如用调度参数配置过滤条件 过滤出20230101的数据 写入20230101的分区 在线上执行补数据 回刷历史数据 回答2:这个是总量 单表在这边看下 如果还是不符合预期 可以咨询一下maxcompute同学看下 在群公告可以找到 这个是总量 单表在这边看下 如果还是不符合预期 可以咨询一下maxcompute同学看下 在群公告可以找到 image.png ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-22 17:07:25
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

    相关实验场景

    更多