开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问如果我同步的hive表是分区表,分区字段是insert date,在配置离线同步界面应该怎么弄呀

请问如果我同步的hive表是分区表,分区字段是insert date,在配置离线同步界面应该怎么弄呀?这样好像不太对 image.png

展开
收起
游客6vdkhpqtie2h2 2022-09-29 10:39:05 933 0
4 条回答
写回答
取消 提交回答
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    在配置离线同步任务之前,首先需要确认待同步数据源支持的数据源与读写能力,MaxCompute支持离线同步的单表读、单表写 image.png 而整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。这里根据操作步骤如何将整库数据离线同步至MaxCompute,具体步骤参考https://help.aliyun.com/document_detail/302449.html,由于你操作不熟练,建议参考官方文档逐步操作,加深记忆,防止出错,文档中明确了每一步的任务,逐步执行即可

    2022-11-26 21:14:35
    赞同 展开评论 打赏
  • 1、在DataWorks的数据开发页面,新建一个业务流程。 2、新建一个离线同步任务。 - 展开新建的业务流程,右键单击数据集成,选择新建 > 离线同步。 - 在新建节点对话框中,输入节点名称,单击提交。 3、在选择数据源区域中,将数据来源指定为HIVE数据源,并填入待同步的表名称;将数据去向指定为ODPS数据源,并填入索引名和索引类型。

    详细步骤可以参考该链接

    2022-11-26 08:10:29
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    同步的hive表是分区表,分区字段是insert date,在配置离线同步界面,这个楼主可以直接去阿里云对应的文档中查看啊,文档里面写的很清楚,这里就不贴具体链接了。

    2022-11-25 23:51:01
    赞同 展开评论 打赏
  • coder at work

    欢迎查看阿里云帮助文档, 最佳实践部分有具体使用例子

    2022-11-23 22:02:11
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载