SaaS模式云数据仓库 MaxCompute 问答整理之2020-07~08月

简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区钉群里的一些问题,进而整理成文。希望对大家有所帮助。

问题一、一般都是子账号登录使用MaxCompute,是否有工具可以查到用户行为,如对表的增、删、改、查等操作?
可以通过审计日志功能和元数据功能配合使用,查到用户行为记录。可以参考下面这篇文章:
https://developer.aliyun.com/article/771413

问题二、odpscmd可以通过什么命令导出数据?
可以使用Tunnel download。可以参考下面这篇文档:
https://help.aliyun.com/document_detail/143537.html

问题三、请问MaxCompute 的DataFrame拿到某一列的值转换成list应该如何操作?
print iris['sepallength'].tolist().execute()[0:5]

问题四、pyodps如何获取表的元数据?
直接查询Information_Schema表就可以。可以参考元数据使用说明文档:
https://help.aliyun.com/document_detail/135432.html

问题五、MaxCompute是否有函数能把日期转换成周几?
可以使用WEEKDAY内建函数。可以参考官方文档:
https://help.aliyun.com/document_detail/48974.html

问题六、创建外部表报错,<Code>AccessDenied</Code> <Message>The bucket you access does not belong to you.</Message>
需要授权,参考一下官方文档:
https://help.aliyun.com/document_detail/72777.html

问题七、MaxCompute 有无一些类似数据库的内置函数,可以将3条记录变成1条,之后逗号隔开。
可以使用WM_CONCAT内建函数。可以参考官方文档:
https://help.aliyun.com/document_detail/48975.html

问题八、在odps sql计算比例时,分母为0时怎么处理,有相应的函数吗?
可以使用DECODE内建函数。可以参考官方文档:
https://help.aliyun.com/document_detail/48976.html

问题九、MaxCompute SQL报错Invalid arguments - format string has second part, but doesn't have minute part : yyyy-mm-dd hh:mm:ss
可以做一下类型转换to_date('20181030 15-13-12.345','yyyymmdd hh-mi-ss.ff3')=2018-10-30 15:13:12

问题十、MaxCompute SQL 去重ID怎么做?
可以使用group或者distinct去重。

问题十一、MaxCompute删除表数据如何恢复?
可以使用备份与恢复功能。可以参考官网文档:
https://help.aliyun.com/document_detail/172397.html

问题十二、MaxCompute查询加速MCQA只能支持标准模式吗?
可以支持简单模式哈。MCQA功能不支持包年包月计费模式。可以参考官网文档:
https://help.aliyun.com/document_detail/180701.html

问题十三、MaxCompute中string 转array 有啥好的方法没? 类似这样select cast('["a","b","c"]' as array);
直接用split切分就行。

问题十四、MaxCompute可以对单个表授权吗?
可以使用ACL授权,参考官网文档:
https://help.aliyun.com/document_detail/27935.html

问题十五、如何评估MaxCompute存储资源和计算资源?
可以参考一下这篇文章:https://developer.aliyun.com/article/771967

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
6月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
552 6
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
325 2
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
490 2
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
377 0
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
313 0
|
11月前
|
存储 人工智能 分布式计算
阿里云云数据仓库:助力企业构建智能数据基石的云端利器 。阿里云云数据仓库优势与选型指南
阿里云数据仓库体系基于MaxCompute、AnalyticDB等核心产品,提供弹性敏捷的PB级数据处理能力,支持实时分析与智能决策。其六大优势包括无限弹性伸缩、极致性能表现、智能成本优化、全栈安全体系、生态无缝对接和AI增强分析,助力企业在数字经济时代应对数据爆发式增长的挑战。灵活透明的定价体系和行业实践案例展示了其在证券、新零售、物联网等领域的成功应用,为企业构建智能数据基座提供了清晰路径。
479 6
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
242 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象(如用户、账户、商品等)及其相关的事件记录,通过这些事件数据可以进行各种统计分析,如漏斗分析、交易次数统计等。然而,SQL 在处理这类任务时表现不佳,特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言,能够高效地处理这类计算,避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算,SPL 能够显著提高计算效率,并支持实时数据处理。

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute