开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请问大数据计算MaxCompute这个dataworks的生产环境的任务是不是都是通过一个执

问题1:请问大数据计算MaxCompute这个dataworks的生产环境的任务是不是都是通过一个执行账号执行的?
问题2:那我们ram角色账号在开发环境直接f8运行时,是通过我们自己的角色账号在集群执行sql是吧

展开
收起
真的很搞笑 2023-07-18 22:01:42 52 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 MaxCompute 的生产环境中,通常会使用阿里云数加平台(DataWorks)来调度和管理作业。DataWorks 提供了一套完整的作业调度和数据管理平台,可以方便地创建和管理 MaxCompute 作业,并提供了多种调度方式和监控功能,以支持大规模数据处理和分析。

    在 DataWorks 中,每个作业通常对应一个或多个任务(Task),任务是指作业中执行的一个具体操作,例如数据导入、数据清洗、数据计算、数据输出等。每个任务都有自己的调度策略和执行参数,可以方便地进行作业调度和管理。

    在生产环境中,通常会将多个任务组合成一个作业流程(Workflow),以实现复杂的数据处理和分析需求。作业流程可以根据实际需求定义多个任务,并设置任务之间的依赖关系和执行顺序,以确保数据处理和分析的正确性和完整性。在 DataWorks 中,作业流程可以通过可视化的方式进行配置和管理,大大提高了作业的可维护性和可靠性。

    2023-07-29 10:39:55
    赞同 展开评论 打赏
  • 问题1:对于大数据计算MaxCompute的DataWorks生产环境,通常会使用一个统一的执行账号来执行任务。这样可以实现任务的集中管理和权限控制,确保任务的稳定性和安全性。

    问题2:在开发环境中,您可以通过自己的RAM角色账号在MaxCompute集群上执行SQL语句。RAM角色可以根据您所具有的权限进行访问和操作。您可以使用您的角色账号登录到集群中,并使用相应的工具(如odpscmd)执行SQL语句或其他操作。

    请注意,在DataWorks的生产环境中,可能需要与DataWorks平台进行集成,并按照平台的规范和要求来提交和执行任务。

    2023-07-28 21:20:15
    赞同 展开评论 打赏
  • 回答1:对的。 主要看工作空间配置--计算引擎信息里面的生产环境访问者身份
    回答2:是的。 开发环境的MaxCompute访问者身份是任务执行者,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-19 12:35:51
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载