开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks能与CDP集成使用吗?将任务提交到CDP集群进行计算?

DataWorks能与CDP集成使用吗?将任务提交到CDP集群进行计算?

展开
收起
cuicuicuic 2024-02-24 12:17:55 28 0
3 条回答
写回答
取消 提交回答
  • 是的,DataWorks能够与CDP(Cloud Data Platform,阿里云云端数据平台)集成使用,并且可以将任务提交到CDP集群进行计算。DataWorks作为一个统一的全链路大数据开发治理平台,支持多种大数据引擎和服务的对接和管理,其中包括但不限于MaxCompute、Hologres、EMR以及阿里云的其他数据处理服务,如CDP等。

    在DataWorks中,您可以创建并调度各种类型的任务,如数据同步、数据开发(SQL脚本)、数据清洗、数据分析等,并配置这些任务运行在CDP集群上,利用CDP的能力进行大规模的数据存储、处理和分析工作。通过这种方式,用户可以在DataWorks中实现对CDP集群资源的高效管理和调度,完成复杂的数据集成和计算流程。

    2024-02-24 17:12:53
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,DataWorks可以与阿里云CDP(Cloud Data Platform)集成使用。您可以将DataWorks中的任务提交到CDP集群进行计算。

    要实现这一点,您需要按照以下步骤操作:

    1. 确保您的DataWorks和CDP集群位于同一地域。

    2. 在DataWorks中创建一个新的资源组,选择CDP作为资源类型。

    3. 配置资源组的连接信息,包括CDP集群的ID、访问密钥等信息。

    4. 在DataWorks中创建任务,并将任务的执行引擎设置为CDP。

    5. 配置任务的参数,包括输入输出数据源、SQL查询等。

    6. 提交任务到CDP集群进行计算。

    通过这种方式,您可以充分利用CDP集群的计算能力,提高数据处理效率。

    2024-02-24 16:41:02
    赞同 展开评论 打赏
  • 支持的哈 可以参考看下 https://help.aliyun.com/zh/dataworks/user-guide/register-a-cdh-or-cdp-cluster-to-dataworks?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-02-24 16:18:14
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多