带你读《企业级云原生白皮书项目实战》——5.2.1 开始使用(2)

简介: 带你读《企业级云原生白皮书项目实战》——5.2.1 开始使用(2)

《企业级云原生白皮书项目实战》——第五章 大数据——5.2 云原生大数据计算服务 MaxCompute——5.2.1 开始使用(1) https://developer.aliyun.com/article/1228621?groupCode=supportservice


5.2.1.2 项目创建

项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。开通MaxCompute服务后,需要通过项目使用MaxCompute。

5.2.1.2.1 主账号进行创建

创建MaxCompute项目后,具备项目内所有内容的操作权限。其它账号均需要授权后使用。

5.2.1.2.2 子账号进行创建

子账号需要同时有AliyunDataWorksFullAccess/AliyunBSSOrderAccess权限策略,否则在开通步骤即提示:子账号需要主账号授予权限策略AliyunDataWorksFullAccess/AliyunBSSOrderAccess才能购买。

此时,该RAM子账号,系统会默认赋予该项目的super_administrator角色,如果DataWorks为标准模式(双环境),仅赋予开发环境对应项目的super_administrator角色。

5.2.1.2.3 数据类型

MaxCompute包含1.0数据类型、2.0数据类型和Hive兼容类型,三种数据类型。底层实际由3个project级别的flflag进行控制,分别是:

1.odps.sql.type.system.odps2 -- MaxCompute 2.0数据类型

2.odps.sql.decimal.odps2 -- Decimal 2.0数据类型

3.odps.sql.hive.compatible -- Hive兼容模式

1684999275646.png


以上数据类型,以及复杂类型 (ARRAY, MAP, STRUCT 等),是否能在MaxCompute关联组件或产品中兼容,需要具体查阅:组件与数据类型的兼容。

例如:开源DataX,并不支持2.0数据类型,而作为其商业版的DataWorks (数据集成) 提供了对于2.0数据类型的支持,可以实现2.0数据类型的表数据同步。


5.2.1.2.4数据加密

若企业有较高的监管和安全合规需求,可选择在新建项目时开启数据加密功能,目前也支持存量项目进行数据加密的开启,但需要额外通过工单或企业支持钉群等方式反馈,由后台进行开启操作。

在考虑是否启用数据加密选项时,主要考虑以下限制项:

1.如您有使用Hologres,使用外表方式进行数据查询,开启加密后,Hologres版本必须为V1.1及以上

2.如选择BYOK方式,对自带秘钥 (BYOK) 的禁用或删除等操作,将会影响到MaxCompute数据的读写,操作需十分慎重(KMS的相关操作,由于缓存,一般在24小时内生效产生影响)

3.对MaxCompute数据加解密实际是一个调用KMS服务API的过程,将产生API调用等费用,具体需关注KMS产品计费文档,MaxCompute自身的数据加密功能不收取费用

5.2.1.2.5访问身份

正如下文 开始使用MaxCompute 提到,MaxCompute提供的服务,可以通过各种类型客户端或IDE进行访问,这里就需要设置客户端所使用的身份信息,进行最基本的认证和鉴权。

•账号

•① 静态:主账号

•② 静态:指定一个RAM子账号 (ram account)

•③ 动态:根据实际任务的责任人

•角色

•④ RAM角色 (ram role)

使用限制

•简单模式DataWorks,四种访问身份均可选

•标准模式DataWorks,开发环境只能是任务执行者 ③;生产环境支持:①、② 和 ④,不支持任务责任人

5.2.1.3开始使用MaxCompute

MaxCompute作为数据仓库服务,除自身提供 odpscmd 客户端工具外,还与DataWorks深度结合。不仅可以使用 odpscmd 执行各种SQL命令和授权命令,也可以在DataWorks的数据分析、数据开发中执行。除此之外,MaxCompute扩展了生态支持,提供JDBC驱动,提供给了用户更多连接和使用MaxCompute的选择。

• JDBC 程序代码连接

JDBC BI工具连接

Tableau

FineBI

..

JDBC 数据库管理工具连接

DBeaver

DataGrip

SQL Workbech/J

...

image.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
10月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
468 0
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
948 17
|
11月前
|
存储 SQL 分布式计算
19章构建企业级大数据平台:从架构设计到数据治理的完整链路
开源社区: 贡献者路径:从提交Issue到成为Committer 会议演讲:通过DataWorks Summit提升影响力 标准制定: 白皮书撰写:通过DAMA数据治理框架认证 专利布局:通过架构设计专利构建技术壁垒
|
7月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
447 7
|
8月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
671 1
|
10月前
|
SQL 存储 机器学习/深度学习
基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析
在数字化时代,企业如何高效处理和分析海量数据成为提升竞争力的关键。本文介绍了基于 Dify 平台与 Hologres 数据仓库构建的企业级大数据处理与分析解决方案。Dify 作为开源大语言模型平台,助力快速开发生成式 AI 应用;Hologres 提供高性能实时数仓能力。两者结合,不仅提升了数据处理效率,还实现了智能化分析与灵活扩展,为企业提供精准决策支持,助力数字化转型。
1173 2
基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析
|
11月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
292 2
|
11月前
|
人工智能 分布式计算 大数据
构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践
本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。
1169 2
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
338 5
|
存储 分布式计算 运维
课时6:阿里云MaxCompute:轻松玩转大数据
阿里云MaxCompute是全新的大数据计算服务,提供快速、完全托管的PB级数据仓库解决方案。它拥有高效的压缩存储技术、强大的计算能力和丰富的用户接口,支持SQL查询、机器学习等高级分析。MaxCompute兼容多种计算模型,开箱即用,具备金融级安全性和灵活的数据授权功能,帮助企业节省成本并提升效率。
421 0