带你读《企业级云原生白皮书项目实战》——5.2.1 开始使用(2)

本文涉及的产品
DataWorks Serverless资源组免费试用套餐,300CU*H 3个月
密钥管理服务KMS,1000个密钥,100个凭据,1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 带你读《企业级云原生白皮书项目实战》——5.2.1 开始使用(2)

《企业级云原生白皮书项目实战》——第五章 大数据——5.2 云原生大数据计算服务 MaxCompute——5.2.1 开始使用(1) https://developer.aliyun.com/article/1228621?groupCode=supportservice


5.2.1.2 项目创建

项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。开通MaxCompute服务后,需要通过项目使用MaxCompute。

5.2.1.2.1 主账号进行创建

创建MaxCompute项目后,具备项目内所有内容的操作权限。其它账号均需要授权后使用。

5.2.1.2.2 子账号进行创建

子账号需要同时有AliyunDataWorksFullAccess/AliyunBSSOrderAccess权限策略,否则在开通步骤即提示:子账号需要主账号授予权限策略AliyunDataWorksFullAccess/AliyunBSSOrderAccess才能购买。

此时,该RAM子账号,系统会默认赋予该项目的super_administrator角色,如果DataWorks为标准模式(双环境),仅赋予开发环境对应项目的super_administrator角色。

5.2.1.2.3 数据类型

MaxCompute包含1.0数据类型、2.0数据类型和Hive兼容类型,三种数据类型。底层实际由3个project级别的flflag进行控制,分别是:

1.odps.sql.type.system.odps2 -- MaxCompute 2.0数据类型

2.odps.sql.decimal.odps2 -- Decimal 2.0数据类型

3.odps.sql.hive.compatible -- Hive兼容模式

1684999275646.png


以上数据类型,以及复杂类型 (ARRAY, MAP, STRUCT 等),是否能在MaxCompute关联组件或产品中兼容,需要具体查阅:组件与数据类型的兼容。

例如:开源DataX,并不支持2.0数据类型,而作为其商业版的DataWorks (数据集成) 提供了对于2.0数据类型的支持,可以实现2.0数据类型的表数据同步。


5.2.1.2.4数据加密

若企业有较高的监管和安全合规需求,可选择在新建项目时开启数据加密功能,目前也支持存量项目进行数据加密的开启,但需要额外通过工单或企业支持钉群等方式反馈,由后台进行开启操作。

在考虑是否启用数据加密选项时,主要考虑以下限制项:

1.如您有使用Hologres,使用外表方式进行数据查询,开启加密后,Hologres版本必须为V1.1及以上

2.如选择BYOK方式,对自带秘钥 (BYOK) 的禁用或删除等操作,将会影响到MaxCompute数据的读写,操作需十分慎重(KMS的相关操作,由于缓存,一般在24小时内生效产生影响)

3.对MaxCompute数据加解密实际是一个调用KMS服务API的过程,将产生API调用等费用,具体需关注KMS产品计费文档,MaxCompute自身的数据加密功能不收取费用

5.2.1.2.5访问身份

正如下文 开始使用MaxCompute 提到,MaxCompute提供的服务,可以通过各种类型客户端或IDE进行访问,这里就需要设置客户端所使用的身份信息,进行最基本的认证和鉴权。

•账号

•① 静态:主账号

•② 静态:指定一个RAM子账号 (ram account)

•③ 动态:根据实际任务的责任人

•角色

•④ RAM角色 (ram role)

使用限制

•简单模式DataWorks,四种访问身份均可选

•标准模式DataWorks,开发环境只能是任务执行者 ③;生产环境支持:①、② 和 ④,不支持任务责任人

5.2.1.3开始使用MaxCompute

MaxCompute作为数据仓库服务,除自身提供 odpscmd 客户端工具外,还与DataWorks深度结合。不仅可以使用 odpscmd 执行各种SQL命令和授权命令,也可以在DataWorks的数据分析、数据开发中执行。除此之外,MaxCompute扩展了生态支持,提供JDBC驱动,提供给了用户更多连接和使用MaxCompute的选择。

• JDBC 程序代码连接

JDBC BI工具连接

Tableau

FineBI

..

JDBC 数据库管理工具连接

DBeaver

DataGrip

SQL Workbech/J

...

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
2月前
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
37 5
|
3月前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
18470 54
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
2月前
|
分布式计算 大数据 数据处理
【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成:解锁企业级数据湖的无限潜能!
【8月更文挑战第26天】随着大数据技术的发展,Apache Spark已成为处理大规模数据集的首选工具。亚马逊的EMR服务简化了Spark集群的搭建和运行流程。结合使用Delta Lake(提供ACID事务保证和数据版本控制)与DLF(加强数据访问控制及管理),可以显著提升数据湖的可靠性和性能。本文通过一个电商公司的具体案例展示了如何在EMR上部署集成Delta Lake和DLF的环境,以及这一集成方案带来的几大优势:增强的可靠性、细粒度访问控制、性能优化以及易于管理的特性。这为数据工程师提供了一个高效且灵活的数据湖平台,简化了数据湖的建设和维护工作。
42 1
|
2月前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
2月前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
|
2月前
|
机器学习/深度学习 搜索推荐 算法
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
|
2月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
2月前
|
SQL 存储 分布式计算
MaxCompute 入门:大数据处理的第一步
【8月更文第31天】在当今数字化转型的时代,企业和组织每天都在产生大量的数据。有效地管理和分析这些数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个用于处理海量数据的大规模分布式计算服务。它提供了强大的存储能力以及丰富的数据处理功能,让开发者能够快速构建数据仓库、实时报表系统、数据挖掘等应用。本文将介绍 MaxCompute 的基本概念、架构,并演示如何开始使用这一大数据处理平台。
190 0
|
2月前
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
236 3
|
3月前
|
存储 搜索推荐 数据建模
阿里巴巴大数据实践之数据建模:构建企业级数据湖
阿里巴巴通过构建高效的数据湖和实施先进的数据建模策略,实现了数据驱动的业务增长。这些实践不仅提升了内部运营效率,也为客户提供了更好的服务体验。随着数据量的不断增长和技术的不断创新,阿里巴巴将持续优化其数据建模方法,以适应未来的变化和发展。

热门文章

最新文章

下一篇
无影云桌面