QuickBI关于业务分析人员连接MaxCompute数据源权限控制问题解决方案及常见报错解析

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 企业上云,maxcompute数仓结合quickbi智能报表的组合较为常见,使用广泛。maxcompute权限管理较为精细化,部分权限缺失常常导致bi端相关数据应用报错,权限过高又会有潜在的风险暴露。本文针对上述问题提出相关的解决方案及常见的报错解析,当前方案已得到较多的应用。

一、高频问题及痛点

quickbi官网显示配置maxcompute数据源提示需要购买实例的账号ak

根据用户所在企业所承担的角色责任不同,问题分为 1.业务分析人员 和 2.数据管理或架构人员 两种情况:

  1. 管理员不提供主账号ak;多次索取主账号ak,易泄露,多个项目数据安全无法保证。(主账号拥有多个maxcompute项目、及项目下所有对象的所有权限,泄露风险较高)
  1. 有且仅有子账号ak,公司仅一个quickbi实例,多条业务线、总分公司分析人员通过工作空间区分
  2. 能否和rds-mysql一样通过子(其他)账号的ak配置数据源?
  3. 子账号ak可以通过联通性测试但数据表列表为空或不全,怎么配置权限?
  1. 管理员负责配置主账号ak的数据源,提供数据集供使用
  1. 分析师对业务分析宽表维度要求高,需求多变,如通过“数据集”模块控制权限,授予qbi分析师角色的人员需提工单到开发角色生成数据集后并授权,时效过长,灵活性差。
  2. 给予分析人员开发角色可以改善数据宽表灵活性的问题,但主账号配置的数据源权限过大,会看到数仓dws层以外的明细表并创建新的数据集,导致“数据集”模块行级权限失效;同时“数据准备”模块拥有所有表的写入权限,可能会存在操作不规范、意外清空库表的情况。

二、解决方案

  1. 数据源连接串配置使用maxcompute项目中的RAM子账号的ak进行连接串配置
  2. 在quickbi“用户管理”模块中用户类型设置为“开发者”,相应工作空间成员设置为“开发权限”
  3. 根据使用quickbi的不同功能在maxcompute项目中授权给子账号不同quickbi功能所需要的权限(权限及说明见下表)
  1. 项目级权限CreateInstance,List,CreateTable
  2. 表级权限仅授权dws层的指标汇总表、dwd层的事实及事件明细表、维度码表的Describe及Select权限(尽量授权个人ACL权限且不授权公共角色的Policy权限确保权限控制精准)
  1. 需要用到数据准备模块的业务线同事仅进行新建表的数据库写入

这样配置在可以同时兼顾主账号及库表安全性,分析所用数据集宽表的灵活性,下级分公司行级权限的约束性

权限级别

权限名

权限说明

qbi对应模块需要

项目级

CreateInstance

执行实例SQL作业

数据集及仪表板等报表模块

List

查看项目类型列表,show tables

数据源、数据集

CreateTable|Write

建表权限

数据准备

表级

Describe

元数据信息

数据源、数据集

Select

查询

数据集及仪表版等报表模块

ALL

全部权限,主要是写

数据准备

三、实现案例

1、账号及mc项目基础配置

  • maxcompute项目:quickbi_odps_test
  • 阿里云主账号:ALIYUN$liupai.lp
  • bi分析及报表专用-阿里云RAM子账号:RAM$liupai.lp:xiaos
  • 创建maxcompute分析及报表用专用角色“biuser”
  • 创建dataworks自定义角色“报表用户”并配置maxcompute项目中的角色“biuser”
  • 在quickbi组织成员中添加RAM用户xiaos,并授予“开发者”权限
  • 新建工作空间bi_works(若存在则跳过)
  • 在bi_works的工作空间内添加用户xiaos,并赋予开发权限
  • 使用RAM账号xiaos的accessid和accesskey配置odps数据源
  • 项目中存在 d_cust 客户表、d_sales_amt 销售表、table_main 主账号临时测试表均为高权限主账号创建
-- 客户表
CREATE TABLE IF NOT EXISTS d_cust(
    cust_id INT 
    ,cust_name STRING 
    ,level STRING 
    ,randn FLOAT 
) PARTITIONED BY (dt STRING );
-- 销售表
CREATE TABLE IF NOT EXISTS d_sales_amt(
    event_id INT 
    ,cust_id int
    ,pay_time DATETIME 
) PARTITIONED BY (dt STRING );
-- 主账号创建临时测试表
CREATE TABLE IF NOT EXISTS table_main (
    col1 String
    ,col2 STRING
    ,col3 INT
)partitioned by (dt STRING);


2、权限配置操作

a、数据源模块

  • 授予数据源模块可用数据表清单的相关权限
-- 授予project List
-- 授予table d_cust和d_sales_amt Describe 权限
GRANT List ON PROJECT quickbi_odps_test to USER RAM$liupai.lp:xiaos;
GRANT Describe ON table d_cust to USER RAM$liupai.lp:xiaos;
GRANT Describe ON table d_sales_amt to USER RAM$liupai.lp:xiaos;

-- 查看用户的权限
SHOW GRANTS for RAM$liupai.lp:xiaos;
  • 可以看到xiaos存在项目的List的查看项目类型列表权限以及[d_cust,d_sales_amt]的获取元数据权限

  • 在点击数据源同步按钮并同步完成后,可以看到该数据源根据用户的权限匹配出了[d_cust,d_sales_amt]两张表

b、数据集模块

  • 授予数据集模块预览数据的相关权限
-- 授予用户 创建实例 的权限
GRANT CreateInstance ON PROJECT quickbi_odps_test to USER RAM$liupai.lp:xiaos;
-- 授予用户 相关业务表 查询的权限
GRANT Select ON table d_cust to USER RAM$liupai.lp:xiaos;
-- 查看用户的权限
SHOW GRANTS for RAM$liupai.lp:xiaos;
  • 可以查看xiaos存在项目的CreateInstance的创建实例的权限及相关业务表的查询权限

  • 可以正常预览并创建数据集进行报表及图表的加工

c、数据准备模块

  • 授予该用户 CreateTable
-- 授予客户物理表创建的权限
GRANT CreateTable ON PROJECT quickbi_odps_test to USER RAM$liupai.lp:xiaos;
GRANT Write ON PROJECT quickbi_odps_test to USER RAM$liupai.lp:xiaos;
  • 利用数据准备模块,根据已有权限的表进行轻量级ETL的加工,手动或周期性写入数据库表中:写入表需宣导分析师用户使用自建表

  • 该RAM用户仅作为数据准备所创建的表[qbi_etl_test]的ObjectCreator,数仓中其余的明细表或维度表并无写入、删除等高危权限

四、常见报错解析

1、数据源模块

  • 重复提交同步元数据请求

maxcompute数据源受到源端限制,同步速度较慢,周期为1小时自动更新一次;手动点击同步按钮一段时候后刷新页面即可显示同步结果,同步时常与配置数据源中项目内物理表的数量有关。

2、数据集模块

  • 数据预览失败

数据集的预览相当于数据库客户端,需要RAM用户具备项目执行实例[CreateInstance]及相关表的查询[Select]权限才能查询数据结果并展示。

对于maxcompute数据源分区表在数据预览时被限制不允许全表扫描[specify partition predicates],可以通过如下三种方式:

  1. 直接从左侧数据表拖拽的数据源,可以通过配置过滤条件正常预览

  1. 直接从左侧数据表拖拽的数据源,直接点击保存,在数据集模块找到该数据集,将数据集属性中的“全表扫描”功能打开

  1. 可以通过配置自定义sql结合where条件的方式指定分区键的取值以跳过全表扫描的限制

由于quickbi侧数据预览模块limit关键词的限制,通过设置会话级参数set odps.sql.allow.fullscan=true;的方式不能达到全表扫描的效果

3、数据准备模块

  • ETL作业执行失败:the agent task execution failed

maxcompute数据源相关数据处理都要注意分区表fullscan的问题,上述etl任务执行失败需在源端数据配置模块按分区键进行设置,并确认“输入过滤”模块右下角的语法正确性检测为绿色对勾

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
机器学习/深度学习 搜索推荐 大数据
深度解析:如何通过精妙的特征工程与创新模型结构大幅提升推荐系统中的召回率,带你一步步攻克大数据检索难题
【10月更文挑战第2天】在处理大规模数据集的推荐系统项目时,提高检索模型的召回率成为关键挑战。本文分享了通过改进特征工程(如加入用户活跃时段和物品相似度)和优化模型结构(引入注意力机制)来提升召回率的具体策略与实现代码。严格的A/B测试验证了新模型的有效性,为改善用户体验奠定了基础。这次实践加深了对特征工程与模型优化的理解,并为未来的技术探索提供了方向。
106 2
深度解析:如何通过精妙的特征工程与创新模型结构大幅提升推荐系统中的召回率,带你一步步攻克大数据检索难题
|
2月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
105 1
|
2月前
|
消息中间件 资源调度 大数据
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
43 0
|
2月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
48 0
|
2月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
83 0
|
3月前
|
存储 SQL 分布式计算
Java连接阿里云MaxCompute例
要使用Java连接阿里云MaxCompute数据库,首先需在项目中添加MaxCompute JDBC驱动依赖,推荐通过Maven管理。避免在代码中直接写入AccessKey,应使用环境变量或配置文件安全存储。示例代码展示了如何注册驱动、建立连接及执行SQL查询。建议使用RAM用户提升安全性,并根据需要配置时区和公网访问权限。具体步骤和注意事项请参考阿里云官方文档。
|
4月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
4月前
|
存储 缓存 NoSQL
深入解析Memcached:内部机制、存储结构及在大数据中的应用
深入解析Memcached:内部机制、存储结构及在大数据中的应用
|
16天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
46 2
|
2月前
|
缓存 Java 程序员
Map - LinkedHashSet&Map源码解析
Map - LinkedHashSet&Map源码解析
70 0