开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中datahub有功能 可以数据同步到 odps啊?

DataWorks中datahub有功能 可以数据同步到 odps啊?

展开
收起
cuicuicuic 2023-09-27 07:56:01 206 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,DataWorks中的DataHub功能可以用于将数据同步到阿里云的MaxCompute(原名ODPS)服务。

    DataHub是阿里云提供的消息数据流引擎,而MaxCompute是阿里云的大数据计算和分析平台。通过DataWorks中的DataHub组件,你可以实现从DataHub中的数据流向MaxCompute表的数据同步。

    以下是简要的操作步骤:

    1. 创建DataWorks项目空间并进入数据开发页面。
    2. 在左侧导航栏中选择"数据集成",然后选择"数据源"。
    3. 点击添加数据源,并选择DataHub作为数据源类型。
    4. 配置DataHub连接信息,包括Endpoint、Project、Topic等。
    5. 完成配置后,点击保存并测试连接,确保能够成功连接到DataHub。
    6. 返回数据开发页面,创建一个新的同步任务。
    7. 在同步任务中,选择源和目标数据源为DataHub和MaxCompute。
    8. 配置源表和目标表的映射关系、字段映射规则等。
    9. 设置其他参数(如调度策略、数据过滤、增量同步等)。
    10. 提交任务并启动同步。
    2023-09-27 17:35:24
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载