开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中shell使用curl 需要独立资源组吗?

DataWorks中shell使用curl 需要独立资源组吗? shell使用curl可以挂依赖吗?

展开
收起
真的很搞笑 2023-11-20 07:52:35 78 0
3 条回答
写回答
取消 提交回答
  • 对的 shell都需要使用独享 可以挂依赖,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-20 21:41:49
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks中,Shell使用curl并不一定需要独立资源组。您可以直接在DataWorks中创建一个包含shell脚本的任务,然后在该任务中使用curl命令进行网络请求。
    关于shell使用curl是否可以挂依赖的问题,这取决于您的具体需求。一般来说,如果您的curl命令需要访问其他节点的输出数据,那么可以考虑将其设置为依赖于其他节点。您可以使用DataWorks提供的“设置依赖”功能来实现这一目标。
    需要注意的是,如果您打算使用curl命令从外部服务器获取大量数据,那么可能需要考虑分配更多的计算资源,以避免影响其他节点的性能。此时,您可以通过创建独立资源组的方式来分配额外的计算资源。

    2023-11-20 13:25:55
    赞同 展开评论 打赏
  • 在DataWorks的Shell节点中,如果你需要使用curl命令进行网络请求,那么你可能需要独立资源组。这是因为Shell节点的资源限制可能不足以支持复杂的网络请求。

    关于挂依赖的问题,Shell节点本身不支持直接挂依赖,但你可以通过其他方式实现类似的效果。例如,你可以在Shell节点中定义一些环境变量,然后在后续的节点中引用这些环境变量。这样,你就可以在Shell节点中设置一些初始化的数据,然后在后续的节点中使用这些数据。

    另外,你也可以考虑使用Python或者Flink等更强大的计算引擎来实现更复杂的功能。这些计算引擎通常都支持挂依赖,而且功能也更加强大。

    2023-11-20 09:02:23
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载