开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute里可以在dataworks上起调度,运行阿里云上租的服务器上一个容器里的程序吗?

"问题一:想问下,可以在dataworks上起调度,运行阿里云上租的服务器上一个容器里的程序吗?我需要做的事情是,数据处理在dataworks,然后down数据到一台阿里云租的服务器上,然后再跑一个容器里面的程序在那台机器上训练模型。这个流程,您有没有什么建议的做法啊? 问题二:如果想 起调度,数据处理完后,执行下载,这个具体怎么做呢?数据存储和处理都是在ds上,mc处理,数据处理的任务跑完,就下载数据"

展开
收起
饭也太好吃了 2023-06-09 14:05:44 83 0
1 条回答
写回答
取消 提交回答
  • "回答一:这属于sdk的范畴了。单独在DataWorks上面应该做不到,可以跟DataWorks的openapi结合试试,down数据用MaxCompute的Tunnel sdk。https://help.aliyun.com/document_detail/27840.html?spm=a2c4g.276121.0.0.d57b346bvQDKr7

    自动跑容器的程序,只能自己写定时调度了 回答二:可能需要自己写api了,连DataWorks的openapi,查询计算节点返回的值,如果成功,就执行下载任务。此回答整理自钉群“MaxCompute开发者社区2群(答疑@机器人)”"

    2023-06-09 15:20:46
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    阿里云文件存储 NAS 在容器场景的最佳实践 立即下载
    何种数据存储才能助力容器计算 立即下载
    《容器网络文件系统CNFS》 立即下载