大数据计算MaxCompute有没有其余方式来实现 ?

大数据计算MaxCompute有没有其余方式来实现 我的函数里面有限制?只能并发50去跑这个函数的逻辑 7a316375e4d9bd75a0251819cffb4b84.png
9e8294828efdcccba9771bd65d69743a.png
我执行undo table tablename to jobid; 的sql报错了,这是因为原表的分区不存在了吗

展开
收起
真的很搞笑 2023-11-30 11:43:22 66 分享 版权
2 条回答
写回答
取消 提交回答
  • 没有这样的参数让资源一直保持一个数量级,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-11-30 21:10:01
    赞同 展开评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果您希望限制某个函数的并发执行数量为50,大数据计算MaxCompute本身并没有直接提供这样的功能。但是,您可以通过一些方式来实现类似的限制:

    1. 自定义任务调度:您可以编写一个自定义的任务调度程序,用于管理并发执行的任务数量。该调度程序可以维护一个任务队列,并控制同时执行的任务数不超过50。当有新的任务需要执行时,将其加入队列,同时检查是否已达到并发限制。如果未达到限制,可以启动新的任务进行处理。

    2. 数据分片和多个作业:如果您的输入数据可以进行切片或分片处理,可以将数据切分为多个部分,并创建多个MaxCompute作业来处理每个部分。通过设置合适的并发度和资源配置,确保总并发数不超过50。

    3. 调用第三方调度工具:您可以使用第三方的任务调度工具,如Apache Airflow、Apache Oozie等,来管理任务的调度和并发执行。这些工具通常支持任务依赖关系和并发控制等功能,您可以根据需求配置任务的调度策略。

    请注意,以上方法都需要额外的开发和配置工作,并且可能会增加系统复杂性。建议在实施之前充分评估和测试所选方法的可行性和适用性,以确保满足您的并发限制需求。

    2023-11-30 14:04:15
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

还有其他疑问?
咨询AI助理