DataWorks百问百答37:DataWorks-MaxCompute权限体系有哪些混淆点?

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: DataWorks-MaxCompute权限体系混淆点分析

背景

     
DataWorks是大数据引擎上层的一个数据开发、生产、治理平台,有自己一套完善的权限体系,但由于下层对接的引擎较多(MaxCompute、EMR、Blink等),因此用户常常对DataWorks权限、引擎权限产生混淆。

常见问题集锦

  • DataWorks开发角色好像可以读写所有表,这岂不是很危险?
  • [工作空间管理-权限列表]中的权限和引擎权限有什么关系?里面的表权限是针对所有引擎的吗?
  • [工作空间管理-成员管理]与[工作空间管理-MaxCompute高级配置-自定义角色]中的角色到底有什么区别?
  • ………………

说明

权限类型区分

DataWorks自身有一套权限体系,即[工作空间管理-权限列表]中所描述的内容。
image.png
这套权限体系和引擎的权限体系有什么区别?
很简单:[工作空间管理-权限列表]描述的是DataWorks本身功能的功能,如:XX用户(角色)可以创建数据源、新建节点、提交/编辑/发布节点、运维中心冻结/暂停/重跑等功能;而引擎权限描述的权限点则是对引擎的操作,如:XX用户(角色)可以读写某表(table_1)、设置引擎支持的数据类型、是否允许全表扫描等(可参考MaxCompute用户与权限管理)。

DataWorks权限与引擎权限的联系

【常见问题一】
  既然DataWorks权限、引擎权限是有区别的,那为什么我将RAM子账号加入到[工作空间管理-成员管理-开发角色]中,就能访问MaxCompute的表了?
  有如下几点特性来进行说明:
(1)DataWorks、MaxCompute内的权限主体(执行任务的身份)都是阿里云主/子账号。
(2)DataWorks本身的角色与MaxCompute之间的角色存在联动关系。
       当一个阿里云RAM子账号被加入至DataWorks空间时,就会自动被加入至MaxCompute项目中。
       例如:将某个RAM子账号(RAM_A)加入至DataWorks开发角色,则该子账号会被同时加入至该空间所绑定得到MaxCompute项目role_project_dev、role_project_scheduler两个Role中(这两个Role有在MaxCompute项目内启动任务、读写数据的权限),因此RAM_A即能进入DataWorks创建节点,也能通过节点运行代码读写MaxCompute上的表。
image.png
image.png
【常见问题二】
  在开发环境、生产环境究竟运行任务的是谁?需要如何保证权限足够且合理?
(1)标准模式(一个DataWorks空间对应两个MaxCompute项目)
    ①开发环境:执行任务的身份为“任务执行者”,即:谁运行任务,身份就是谁。
     在DataStudio、开发环境运维中心执行的任务将会下发到MaxCompute开发环境项目,同时,能够在开发环境运行任务的账号,也被自动加入了对应的MaxCompute Role,拥有了引擎相关权限,因此不必担心任务运行失败。
image.png
    ②生产环境:执行任务的身份可选择为主账号或固定的子账号;要注意,生产环境的MaxCompute项目除了主账号,没有自动加入过任何RAM子账号,因此如选择了子账号,页面会进行提醒并执行授权:
image.png
(2)简单模式(一个DataWorks空间对应一个MaxCompute项目)
    与标准模式不同,简单模式提交即调度(无需发布)。
    目前提供了两种访问身份模式:阿里云主账号、任务责任人(谁创建任务谁就为执行者);如选择了任务责任人,则要保证对应任务的责任人角色权限足够,并避免子账号被删除、禁用等情况。
image.png
应尽量避免:
①子账号角色变更为无权执行任务的角色,如:“访客”、“运维”、“部署”“安全管理员”(这些角色在MaxCompute内对应的Role没有执行任务、读写数据的权限)。此时执行任务将提醒权限不够:
image.png
    ②子账号被从DataWorks空间内移除,则会报错用户不存在与项目内:
image.png

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
12天前
|
分布式计算 DataWorks Java
DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时,出现找不到文件资源的情况,是BUG吗
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 0
|
12天前
|
分布式计算 DataWorks Oracle
DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 0
|
12天前
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
25 0
|
12天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
24 0
|
12天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之在DataWorks数据集成中,但是预览ODPS源数据库为空,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
23 0
|
12天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之在DataWorks中使用ODPS SQL时遇到"该文件对应引擎实例已失效,请重新选择可用的引擎实例"的错误提示”,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
34 0
|
12天前
|
SQL JSON 分布式计算
DataWorks产品使用合集之DataWorks一键maxcompute数据同步的操作步骤是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 0
|
12天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在 DataWorks 中,使用Oracle作为数据源进行数据映射和查询,如何更改数据源为MaxCompute或其他类型
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
27 1
|
12天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之在 DataWorks 中,如何查看自己已有的权限,申请和交还权限
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
25 0
|
12天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之DataWorks项目分配与安全项目权限配置的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 2

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    30
  • 2
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    24
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    31
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    26
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    24
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    25
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    32
  • 8
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    27
  • 9
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    30
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    24
  • 相关产品

  • 大数据开发治理平台 DataWorks