开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问这个dataworks的生产环境的任务是不是都是通过一个执行账号执行的,就是sql写完了提交发?

请问这个dataworks的生产环境的任务是不是都是通过一个执行账号执行的,就是sql写完了提交发布之后在集群内执行都是通过每个项目空间的执行账号去执行的?

展开
收起
真的很搞笑 2023-07-16 14:48:03 53 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    是的,DataWorks的生产环境中的任务都是通过执行账号执行的。在DataWorks中,每个项目空间都有一个默认的执行账号,可以通过该账号在生产环境中执行任务,包括SQL任务、DataX任务和离线同步任务等。这个执行账号通常是由项目管理员或者数据运维团队管理和维护的。

    当用户在DataWorks中编写完成任务后,可以提交并发布该任务,然后在生产环境中执行该任务。在执行任务时,DataWorks会使用执行账号连接到集群中的计算引擎,并根据任务的配置和参数,执行相应的计算任务。执行完成后,DataWorks会将计算结果返回给用户,并将执行日志和运行状态记录到日志系统中,以便于用户进行后续的监控和分析。

    2023-07-21 20:32:59
    赞同 展开评论 打赏
  • 是的,在 DataWorks 的生产环境中,任务通常是通过一个统一的执行账号在集群内执行的。每个项目空间会有一个专门用于执行任务的账号,称为执行账号(Execution Account)。

    当你在 DataWorks 中编写完 SQL 任务并提交发布后,该任务会被调度到指定的集群上执行。执行过程中会使用项目空间的执行账号进行身份验证,并按照任务的调度策略进行执行。

    这种设计有以下优势:

    1. 统一权限管理: 通过使用执行账号,可以实现对不同项目空间和任务的统一的权限管理和访问控制。只有具有相应权限的执行账号才能执行任务,提高了安全性。

    2. 资源隔离和调度: 每个项目空间都有自己的执行账号,任务之间的资源是相互隔离的。这样可以确保不同任务的执行不会相互影响,同时也能够根据任务的优先级和调度策略进行灵活的调度。

    3. 运维和监控: 通过统一的执行账号,可以方便地进行任务的运维和监控。你可以查看执行日志、监控任务状态,并根据需要进行调整和处理。

    2023-07-17 22:56:48
    赞同 展开评论 打赏
  • 通过这里配置的身份访问image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-16 15:02:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载