DataWorks业务流程的,流程参数能否支持CDH节点?

DataWorks业务流程的,流程参数能否支持CDH节点?

展开
收起
真的很搞笑 2024-02-25 08:07:01 92 分享 版权
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的业务流程参数不支持直接用于CDH节点

    DataWorks 的流程参数功能主要是为了方便在业务流程中对多个节点的同一参数变量进行统一赋值或替换其参数值。这个功能适用于多种节点,但目前仅支持 ODPS SQL、EMR Spark Shell、EMR Spark、EMR Shell、EMR Hive、EMR MR、EMR Presto、EMR Trino、EMR Spark SQL、EMR Spark Streaming、EMR Streaming SQL、Hologres SQL 等特定类型的节点使用流程参数。

    尽管 DataWorks 支持使用非阿里云 ECS 环境部署的 CDP 或 CDH,但这通常需要确保网络连通性,比如通过高速通道、VPN 等方式来保证网络连接。此外,对于手动业务流程和调度业务流程,有特定格式要求的全局参数支持,但这主要针对的是 SQL、Shell 和数据集成节点类型。

    因此,如果您需要在 DataWorks 中使用 CDH 集群,并希望利用流程参数功能,您可能需要采取其他方法,如通过创建自定义的脚本或程序来实现参数的统一管理和传递。同时,建议查阅最新的 DataWorks 文档或联系技术支持以获取更具体的操作指南和帮助。

    2024-02-25 18:59:11
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理