MaxCompute所涉及的术语

简介: MaxCompute所涉及的术语

A
AccessKey
简称AK,包括AccessKey ID和AccessKey Secret,是访问阿里云API的密钥。在阿里云官网注册云账号后,可以在AccessKey管理页面生成该信息,用于标识用户,为访问MaxCompute、其他阿里云产品或连接第三方工具做签名验证。请妥善保管AccessKey Secret,必须保密,如果存在泄露风险,请及时禁用或更新AccessKey。

安全
MaxCompute提供多租户数据安全体系,主要包括用户认证、项目的用户与授权管理、跨项目的资源分享以及项目的数据保护。更多MaxCompute安全操作信息,请参见权限概述。

C
Console
即MaxCompute客户端,是运行在Window或Linux下的工具,您可以在MaxCompute客户端通过运行命令的方式完成项目管理、DDL、DML等操作。MaxCompute客户端的操作指导,请参见使用客户端(odpscmd)连接。

D
Data Type
MaxCompute表中列的数据类型。MaxCompute支持的数据类型版本及各版本的数据类型列表,请参见数据类型版本说明。

DDL
Data Definition Language,数据定义语言。例如创建表、创建视图等操作。更多DDL语法信息,请参见DDL语句。

DML
Data Manipulation Language,数据操作语言。例如INSERT、UPDATE、DELETE操作。更多DML语法信息,请参见DML操作。

F
Function(函数)
MaxCompute提供函数功能,包括内建函数和UDF。更多函数信息,请参见函数。

fuxi(伏羲)
伏羲是飞天平台内核中负责资源管理和任务调度的模块,同时也为应用开发提供了一套编程基础框架。MaxCompute的底层任务调度模块为fuxi的调度模块。

I
Instance(实例)
即实际运行作业的一个具体实例,类同Hadoop中Job的概念。详情请参见任务实例。

M
MapReduce
MapReduce是处理数据的一种编程模型,通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口(Java API)编写MapReduce程序,来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map(映射)和Reduce(规约)。

在正式执行Map前,需要将输入的数据进行分片。所谓分片,就是将输入数据切分为大小相等的数据块,每一块作为单个Map Worker的输入被处理,以便于多个Map Worker同时工作。每个Map Worker在读入各自的数据后,进行计算处理,最终通过Reduce函数整合中间结果,从而得到最终计算结果。详情请参见MapReduce。

MapReduce Backups
MapReduce Backups是MapReduce的一种加速调优方式。MaxCompute会查看您的任务,如果存在一些任务的工作量特别大,便为其开启备份任务,两个任务执行一样的数据,结果用最先执行结束的任务,因此存在Backups。但是如果任务量非常大,Backups也无法起作用,因为原本的任务和Backups都没有执行完成。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL 存储 数据库
SQL 语言:基本概述和数据定义
SQL 语言:基本概述和数据定义
761 4
|
人工智能 物联网
AI电影从这个LoRA开始:魔搭AIGC1月赛题公布&12月赛题获奖作品新鲜出炉
魔搭社区LoRA创意挑战赛月度赛第三期来啦! 1月赛题揭晓:电影风格模型训练大赛
421 15
|
程序员
程序员之路:护眼豆沙绿颜色值
程序员之路:护眼豆沙绿颜色值
1549 0
|
机器学习/深度学习 人工智能 编解码
跳舞手脚不协调?没关系,微视用AI打造你我的舞林大会,一张照片就可以
继让老照片动起来、唱歌之后,腾讯微视又解锁了照片的跳舞技能。
674 0
跳舞手脚不协调?没关系,微视用AI打造你我的舞林大会,一张照片就可以
|
Prometheus 监控 Kubernetes
阿里云容器服务GPU监控2.0基础篇2:监控NVLINK带宽
本系列相关文章:阿里云容器服务GPU监控2.0基础篇1:基本功能使用阿里云容器服务GPU监控2.0基础篇2:监控NVLINK带宽阿里云容器服务GPU监控2.0基础篇3:监控NVIDIA XID错误阿里云容器服务GPU监控2.0进阶篇1:剖析(Profiling)GPU使用情况必备知识阿里云容器服务GPU监控2.0进阶篇2:学会剖析(Profiling)GPU使用情况容器服务GPU监控2.0提供了监
2251 0
阿里云容器服务GPU监控2.0基础篇2:监控NVLINK带宽
|
人工智能 自然语言处理 算法
什么是启发式?什么是产生式?
一般而言,​机器常常被设定从已知推未知,而人们不时会从未知(假设)推未知,特殊情形下也有从未知推已知的,这些推导中常见的有产生式和启发式,那么究竟什么是产生式和启发式呢?!下面会进行简要地分析和说明。
|
存储 弹性计算 运维
阿里巴巴云原生 etcd 服务集群管控优化实践
这些年,阿里云原生 etcd 服务发生了翻天覆地的变化,这篇文章主要分享一下 etcd 服务在面对业务量大规模增长下遇到的问题以及我们是如何解决的,希望对读者了解 etcd 的使用和管控运维提供经验分享。
阿里巴巴云原生 etcd 服务集群管控优化实践
|
消息中间件 存储 网络协议
2020版中间件面试题总结(RabbitMQ+Kafka+ZooKeeper)
经常碰到的29道中间件面试题总结(RabbitMQ+Kafka+ZooKeeper),含答案解析
8225 103
|
消息中间件 Linux Kafka
CentOS7下使用Mondo Rescue实现系统全备份
CentOS7下使用Mondo Rescue实现系统全备份
2084 0
CentOS7下使用Mondo Rescue实现系统全备份
|
3月前
|
传感器 监控 数据可视化
数字孪生项目的开发流程
数字孪生是物理实体的高保真数字化表达,强调虚实映射与实时同步。涵盖需求定义、数据感知、建模渲染、数据融合、应用交付五大阶段,支持设备监控到城市级仿真。适用于工业制造与智慧城市等多场景。(238字)