开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

想咨询下dataworks是否支持同步到adb的湖仓版 hudi-on-oss外表?

想咨询下dataworks是否支持同步到adb的湖仓版 hudi-on-oss外表?

展开
收起
真的很搞笑 2024-01-27 17:20:54 53 0
2 条回答
写回答
取消 提交回答
  • 确认了一下目前不支持 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-28 09:36:52
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks支持同步到ADB湖仓版的Hudi-on-OSS外表

    DataWorks作为阿里云提供的大数据开发与服务平台,具备丰富的数据同步能力。对于想要将数据同步到阿里云的ADB湖仓版,尤其是使用Hudi-on-OSS外表格式的情况,DataWorks提供了相应的解决方案。具体来说:

    1. 离线同步方案:对于不带分区的Hudi格式,可以在DLF控制台中创建关系数据库全量入湖类型的任务,以实现数据的同步。
    2. 湖仓版特性:ADB湖仓版支持数据的离线和在线处理,可以降低数据存储和IO成本,同时保证高吞吐和实时性。它通过构建索引和Cache能力来加速数据访问,满足高性能在线分析的需求。
    3. 资源组配置:需要注意的是,ADB湖仓版数据源不支持在公共资源组配置以及运行同步任务。如果ADB数据源从数仓版切换到了湖仓版,需要确认是否有运行在公共资源组上的同步任务,并将其切换到独享资源组。

    此外,DataWorks还提供了实时同步数据到湖(Hudi on OSS)或仓(C-Store)的可视化配置能力,以及支持标准接口的多语言可编程计算引擎Spark,这些都有助于提高数据处理的效率和灵活性。

    综上所述,DataWorks确实支持同步到ADB湖仓版的Hudi-on-OSS外表,但在实际配置和使用过程中,需要注意资源组的配置和数据源的兼容性。

    2024-01-27 20:48:31
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载