AI 助理
文档备案控制台

开发者社区官方技术圈

阿里云开发者社区官方技术圈，用户产品功能发布、用户反馈收集等。

阿里云开发者社区官方技术圈，用户产品功能发布、用户反馈收集等。

全部

问答

官方博客

视频

活动

技术作品

课程

1

回答

DataWorks 的发展历史是怎样的？
甜甜的嘻嘻嘻 2022-08-03 669浏览量 回答数 1

1

回答

大数据实例最大的特点是什么？
甜甜的嘻嘻嘻 2022-08-03 337浏览量 回答数 1

1

回答

EMR+PAI 集成主要体现在哪？
甜甜的嘻嘻嘻 2022-08-03 407浏览量 回答数 1

1

回答

什么是 EMR 生态集成？
甜甜的嘻嘻嘻 2022-08-03 421浏览量 回答数 1

1

回答

在创建 DataWorks 作业时EMR是如何发挥作用的？
甜甜的嘻嘻嘻 2022-08-03 447浏览量 回答数 1

1

回答

EMR Hadoop目前支持哪几个版本？
甜甜的嘻嘻嘻 2022-08-03 514浏览量 回答数 1

1

回答

EMR基础存储能力得到了怎样的升级？
甜甜的嘻嘻嘻 2022-08-03 359浏览量 回答数 1

1

回答

EMR基础计算能力得到了怎样的升级？
甜甜的嘻嘻嘻 2022-08-03 345浏览量 回答数 1

1

回答

EMR 集群节点类型主要分为哪几种？
甜甜的嘻嘻嘻 2022-08-03 885浏览量 回答数 1

1

回答

EMR 基础能力哪些方面得到了升级？
甜甜的嘻嘻嘻 2022-08-03 247浏览量 回答数 1

1

回答

目前 EMR 支持哪五种集群类型？
甜甜的嘻嘻嘻 2022-08-03 403浏览量 回答数 1

1

回答

在集群功能较大的情况下，需要靠什么来实现分布式协调系统？
甜甜的嘻嘻嘻 2022-08-03 382浏览量 回答数 1

1

回答

在EMR半托管状态下，用户如何部署EMR任务？
甜甜的嘻嘻嘻 2022-08-03 464浏览量 回答数 1

1

回答

EMR 开源软件栈是什么样的？
甜甜的嘻嘻嘻 2022-08-03 404浏览量 回答数 1

1

回答

EMR 产品特性表现在哪些方面？
甜甜的嘻嘻嘻 2022-08-03 419浏览量 回答数 1

1

回答

E-MapReduce（EMR）是什么？
甜甜的嘻嘻嘻 2022-08-03 377浏览量 回答数 1

1

回答

如何申请阿里云 Flink on Kubernetes 产品公测资格？
甜甜的嘻嘻嘻 2022-08-03 869浏览量 回答数 1

1

回答

在 K8S 上运行的作业，用户可以查看哪些信息？
甜甜的嘻嘻嘻 2022-08-03 529浏览量 回答数 1

1

回答

在Ververica Platform 的平台界面，用户可以进行哪些操作？
甜甜的嘻嘻嘻 2022-08-03 594浏览量 回答数 1

1

回答

Blink引擎在2016年之后的三年里进行了哪些改造？
甜甜的嘻嘻嘻 2022-08-03 275浏览量 回答数 1

1

回答

Ververica Platform 平台有哪些特点？
甜甜的嘻嘻嘻 2022-08-03 402浏览量 回答数 1

1

回答

Ververica Platform 平台包含哪些主要功能模块？
甜甜的嘻嘻嘻 2022-08-03 469浏览量 回答数 1

1

回答

Flink 为什么选择 K8S 来作为底层的资源管理来为用户提供服务？
甜甜的嘻嘻嘻 2022-08-03 833浏览量 回答数 1

1

回答

实时计算产品Flink on Kubernetes 模式与传统共享模式和独享模式有什么区别？
甜甜的嘻嘻嘻 2022-08-03 616浏览量 回答数 1

1

回答

实时计算产品的共享模式和独享模式都提供哪些类似的主要功能？
甜甜的嘻嘻嘻 2022-08-03 389浏览量 回答数 1

1

回答

实时计算产品的共享模式和独享模式有什么相同点？
甜甜的嘻嘻嘻 2022-08-03 415浏览量 回答数 1

1

回答

目前实时计算的产品有哪两种模式？
甜甜的嘻嘻嘻 2022-08-03 305浏览量 回答数 1

1

回答

飞天大数据平台计算引擎MaxCompute的SQL引擎增强了哪些功能？

已解决
甜甜的嘻嘻嘻 2022-08-03 892浏览量 回答数 1

1.SQL- 参数化视图

2.SQL-UDTF/UDAF 支持动态参数

3.SQL-UDT 支持资源 (Resource) 访问

4.SQL-UDF 支持分区裁剪

5.SQL- 生成建表 DDL 语句功能

6.SQL- 支持指定表的列默认值

7.SQL- 支持 LIMIT OFFSET

8.SQL- 新增内置函数 JSON_TUPLE、EXTRACT

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

飞天大数据平台计算引擎MaxCompute新增了哪些最新特性？

已解决
甜甜的嘻嘻嘻 2022-08-03 730浏览量 回答数 1

1.新 Region 开服：西南成都节点正式开服、国际 Region 提供 Spark 服务

2.新功能：SQL- 参数化视图

3.新功能：SQL-UDTF/UDAF 支持动态参数

4.新功能：SQL-UDT 支持资源 (Resource) 访问

5.新功能：SQL-UDF 支持分区裁剪

6.新功能：SQL- 生成建表 DDL 语句功能

7.新功能：SQL- 支持指定表的列默认值

8.新功能：SQL- 支持 LIMIT OFFSET

9.新功能：SQL- 新增内置函数 JSON_TUPLE、EXTRACT

10.新功能 - 分区管理

11.新功能 - 预付费资源监控报警

12.新功能 -IP 白名单支持 IPV6

13.新规格：预付费套餐 ( 计算资源 + 存储资源 ) 发布

14.体验优化：文档持续优化及最佳实践指引

15.新功能内测：元数据服务 Information_Schema

16.新功能内测：基于 ActionTrail 的行为审计日志服务

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

MaxCompute新版本基于 ActionTrail 的行为审计日志服务提供什么功能？

已解决
甜甜的嘻嘻嘻 2022-08-03 896浏览量 回答数 1

这款服务能够完整地记录项目内的用户操作行为，并通过接入阿里云 Action Trail 服务将MaxCompute 用户行为日志实时推送给客户，满足客户实时审计、问题回溯分析等需求。被审计的行为包含了对于表的创建、删除以及对于表结构的变更、写入数据、下载数据等，而日志信息也包含了企业比较关心的客户端信息、操作的具体 SQL 内容、提交人、提交时间等关键信息。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

MaxCompute 新版本内测功能元数据服务有什么功能？

已解决
甜甜的嘻嘻嘻 2022-08-03 728浏览量 回答数 1

通过内建服务，MaxCompute 首先会为用户提供一个 Information_Schema库，用户可以去自助地去访问相关的元数据信息，比如项目中的表格、字段、视图、创建人、创建时间以及表的大小和生命周期等。通过这种方式就能够对于表的全局信息有一个很好的把控。与此同时，MaxCompute 也会提供准实时的作业历史明细的查询能力。作业历史包含了日常的实例信息、SQL 的作业明细等。以往是通过show instance 等命令获取近期执行作业的信息，而如今可以通过对于视图的查询方式来获取本项目所有作业信息，并且能够通过一些过滤条件筛选出自己所需要的作业信息。所查询出来的信息则包括了项目类、项目名称、作业提交时间、作业状态、作业的 SQL 语句、数据的扫描量、复杂度以及资源消耗等信息，基于对于这些信息的统计就能够实现很多的性能优化以及诊断等相关工作。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

MaxCompute官网上文档化、案例形式的实践指导包括哪些内容？

已解决
甜甜的嘻嘻嘻 2022-08-03 538浏览量 回答数 1

这些文档包含了如何基于 MaxCompute 构建和优化数据仓库，同时也提供了一些数字化运营的具体案例，比如如何基于 MaxCompute 搭建互联网在线的运营分析平台。此外，因为 Python 生态广受欢迎，开发者也是人数众多，因此 PyODPS也受到了很多 Python 开发者的支持，通过前一个阶段的反馈，MaxCompute 团队也发现 PyODPS 在文档方面存在一些不足之处，因此近期也做了专项整理。MaxCompute 团队整理了 PyODPS 的一些指导文档和具体示例，大家可以到官网上去查看最新发布的指导文档和案例。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

新版本 MaxCompute的预付费套餐的售卖方式和收费规则是怎样的？

已解决
甜甜的嘻嘻嘻 2022-08-03 728浏览量 回答数 1

本次新发布的预付费打包套餐和之前的固定资源配额都属于固定规格预付费方式。新版本 MaxCompute的预付费套餐的售卖方式为混和付费，在开通时以包年包月方式购买计算资源（主要为CU）和存储资源。使用时，公网下载流量和超出的存储容量按使用量收费。

image.png

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

IP白名单列表的三种形式是哪些？
甜甜的嘻嘻嘻 2022-08-03 361浏览量 回答数 1

1

回答

对于 MaxCompute 而言，主要有哪两种付费形式？

已解决
甜甜的嘻嘻嘻 2022-08-03 362浏览量 回答数 1

一种是按量付费，这种方式具有极致的弹性，并且能够自动伸缩；

另外一种是按作业付费，这种方式比较符合期望的财务支出，在性价比方面更具有优势。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

MaxCompute 所提供的预付费资源监控报警能力有什么作用？

已解决
甜甜的嘻嘻嘻 2022-08-03 767浏览量 回答数 1

MaxCompute 所提供的预付费资源监控报警能力基于阿里云所提供的云监控服务，并且结合了配额组 CPU 使用量、作业等待等待数、内存使用量、整体 CPU 使用率等一些关键指标，通过对以上这些指标进行规则配置，就能实现对于关键事件的短信通知以及实时告警，从而帮助用户更好地管理和使用资源。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

使用预付费的固定 CPU 大小的资源组为什么需要优化？
甜甜的嘻嘻嘻 2022-08-03 517浏览量 回答数 1

1

回答

MaxCompute新功能分区管理的最佳实践是怎样的？

已解决
甜甜的嘻嘻嘻 2022-08-03 734浏览量 回答数 1

分区管理的最佳实践就是在数据比较“热”的情况下，分区切分得可能会比较细，当数据沉淀时间比较长的时候，过往的历史数据被访问的频率就会比较低，因此可以通过分区归并的方式减少分区的数量。过去删除分区的时候也是比较痛苦的，需要每次通过 drop partition 来删除一个分区，而现在 MaxCompute 在 droppartition 命令里面也支持了一次删除多个分区的能力，可以通过一次操作删除多个分区。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

新版本 MaxCompute 的SQL 中支持的 EXTRACT 函数有什么作用？

已解决
甜甜的嘻嘻嘻 2022-08-03 971浏览量 回答数 1

EXTRACT 函数，能够按年、按月、按日、按小时、按分钟来截取日期。因为对于日期的处理也属于高频操作，因此 EXTRACT 函数也将会被高频地使用。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

MaxCompute新增的 JSON_TUPLE 函数有什么功能？

已解决
甜甜的嘻嘻嘻 2022-08-03 895浏览量 回答数 1

使用 JSON_TUPLE 首先可以获得一个 JSON 字符串，该函数的参数则可以是多个动态的参数，比如想要获取 10 个节点的值就可以带 10 个参数，而且还适合使用嵌套式数据，因此 JSON_TUPLE 将来也会成为开发者使用较多的内建函数。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 1

1

回答

MaxCompute 之前对于字符串的处理有什么不足？

已解决
甜甜的嘻嘻嘻 2022-08-03 552浏览量 回答数 1

MaxCompute 本身在之前对于字符串的处理只有一个 getJsonObject() 内建函数，而只有这样的一个函数是比较痛苦的，因为在提取 JSON 中多个节点值的时候往往需要多次调用这个内建函数来获取某个节点的值。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

新版本的 MaxCompute 中，SQL支持的 LIMIT OFFSET 的语法是什么功能？

已解决
甜甜的嘻嘻嘻 2022-08-03 990浏览量 回答数 1

可以更加容易地实现分页的需求。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

MaxCompute 最新的版本发布中提供的 DEFAULT VALUE 有什么功能？

已解决
甜甜的嘻嘻嘻 2022-08-03 871浏览量 回答数 1

在 MaxCompute 最新的版本发布中提供的 DEFAULT VALUE允许了用户创建数据表的时候去指定默认值。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

以目前的发展趋势来看，在哪些方面中大数据技术越来越靠近数据库技术？
甜甜的嘻嘻嘻 2022-08-03 376浏览量 回答数 1

1

回答

新版本MaxCompute 使用 SHOW Create table + 能满足什么需求？

已解决
甜甜的嘻嘻嘻 2022-08-03 684浏览量 回答数 1

很多开发者都有将项目中数据表的 DDL 导出来的需求，新版本的 MaxCompute 提供了兼容 Hive 的 SHOW Create table + 的方式。使用 SHOW Create table + 之后能够获得数据表的 DDL 的脚本，通过这种方式就能够实现重建表或者做表结构备份的工作。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

新版本MaxCompute 的SQL支持 UDF 分区裁剪的逻辑是怎样的？

已解决
甜甜的嘻嘻嘻 2022-08-03 968浏览量 回答数 1

其逻辑是当提交的 SQL 存在 UDF 的时候，会首先将 UDF 单独提取出来执行，将UDF 的执行结果拿到之后再和原来的查询语句进行拼装再提交。这样一来，当存在动态不确定的信息时，首先会解析动态信息，再确定分区范围，从而进行分区裁剪，尽量减低数据扫描所产生的费用。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

MaxCompute使用分区过滤为什么需要优化？

已解决
甜甜的嘻嘻嘻 2022-08-03 707浏览量 回答数 1

在过滤分区的时候，有时需要使用一些自定义的逻辑，通过一些自定义的功能来确定分区的范围。当增加一个 UDF 时往往会发生全表扫描，这是因为在提交查询的时候还不能确定提交的分区到底是哪个，因此会发生全表扫描，进而带来比较高的费用和更重的负载。

以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

小羊桃桃冰 评论 0

1

回答

最新发布的UDT新特性是什么？
甜甜的嘻嘻嘻 2022-08-02 668浏览量 回答数 1

1

回答

SQL-UDT是什么功能？
甜甜的嘻嘻嘻 2022-08-02 652浏览量 回答数 1

1

回答

什么是参数化视图？
甜甜的嘻嘻嘻 2022-08-02 846浏览量 回答数 1
立即提问

公告

阿里云开发者社区官方技术圈，用户产品功能发布、用户反馈收集等。

展开

官网链接

  • 官网链接: https://developer.aliyun.com

    • 友情链接