MaxCompute问答整理之11月

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、请问MySQL中IFNULL对应到MaxCompute中的函数是什么?
NVL,MaxCompute中有内建函数可以使用,与MySQL和Oracle有对应的函数。
可以参考官方文档:https://help.aliyun.com/document_detail/96342.html

问题二、如何将UNIX时间转换为MaxCompute所需日期?
使用MaxCompute中的内建函数 FROM_UNIXTIME。此函数是将数字型的UNIX时间日期值unixtime转为日期值。
可参考官方文档:https://help.aliyun.com/document_detail/48974.html

问题三、目前MaxCompute Spark支持原生Spark哪个版本?
目前支持Spark-1.6.3和Spark-2.3.0两个版本。如何Spark on MaxCompute可以参考一下
云栖社区一篇文章:https://yq.aliyun.com/articles/728374

问题四、MaxCompute中如何使用OSS外部表读取JSON数据?
可以参考云栖社区文章查看一下操作步骤:https://yq.aliyun.com/articles/737902

问题五、MaxCompute中可以增加或更改分区吗?可以对表数据进行删除和更改操作吗?
MaxCompute中不可以在源表上直接增加/更改分区信息,分区一旦创建就不能更改。建议再建一张新分区表,使用动态分区 SQL 把源表数据导入到新分区表。同时MaxCompute不支持直接对表数据进行更新(UPDATE)操作也不支持直接对表数据进行删除(DELETE)操作。可参考文档:https://help.aliyun.com/document_detail/73771.html

问题六、MaxCompute SQL 中,使用 not in 后面接子查询,子查询返回的结果是上万级别的数据量,但语句中的子查询返回的col1的个数超过1000个时,系统会报错为 records
returned from subquery exceeded limit of 1000。应该怎么去实现子查询限制1000呢?
可以使用left outer join实现来替代子查询实现。
子查询:SELECT FROM table_a a WHERE a.col1 IN (SELECT col1 FROM table_b b WHERE xxx);
join查询:SELECT a.
FROM table_a a JOIN (SELECT DISTINCT col1 FROM table_b b WHERE xxx) c ON (a.col1 = c.col1)

问题七、如何查看当前项目空间的所有自定义函数?
查看当前项目空间中的所有自定义函数:LIST FUNCTIONS;
查看指定项目空间下的所有自定义函数:LIST FUNCTIONS -p project_name;
可参考文档:https://help.aliyun.com/document_detail/27832.html

问题八、配置MaxCompute客户端时报错connect timed out 怎么解决?
如何正确配置MaxCompute客户端参考文章:https://yq.aliyun.com/articles/724721

问题九、使用OSS外部表怎么样将多个小文件,输出为一个文件?
查看Logview日志,看SQL的执行计划,看最后一个是Reducer还是Joiner,
如果是Reducer则设置参数为set odps.stage.reducer.num=1,
如果是Joiner,则设置为set odps.stage.joiner.num=1。

问题十、MaxCompute建议学习流程:
MaxCompute全套攻略:https://yq.aliyun.com/articles/78108
MaxCompute官方文档:https://help.aliyun.com/product/27797.html
DataWorks官方文档:https://help.aliyun.com/product/72772.html
MaxCompute开发者版官方介绍:https://help.aliyun.com/document_detail/116741.html
MaxCompute开发者版:https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html
MaxCompute开发者版指南:https://yq.aliyun.com/articles/694716
MaxCompute实践:https://help.aliyun.com/document_detail/27808.html
Workshop文档参考实践:https://help.aliyun.com/document_detail/85292.html
Workshop视频参考:https://help.aliyun.com/video_detail/142211.html

更多阿里巴巴大数据计算技术和产品信息,可点击链接加入 MaxCompute开发者社区2群
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
2_

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
41853
分享
相关文章
【专栏】探讨Docker Compose的核心概念、使用方法及最佳实践,助你轻松驾驭容器编排的世界
【4月更文挑战第27天】Docker Compose是款轻量级容器编排工具,通过YAML文件统一管理多容器应用。本文分三部分深入讨论其核心概念(服务、网络、卷和配置)、使用方法及最佳实践。从快速入门到高级特性,包括环境隔离、CI/CD集成、资源管理和安全措施。通过案例分析展示如何构建多服务应用,助力高效容器编排与管理。
580 2
Python中collections模块的deque双端队列:深入解析与应用
在Python的`collections`模块中,`deque`(双端队列)是一个线程安全、快速添加和删除元素的双端队列数据类型。它支持从队列的两端添加和弹出元素,提供了比列表更高的效率,特别是在处理大型数据集时。本文将详细解析`deque`的原理、使用方法以及它在各种场景中的应用。
HTML5 Canvas 实现简易 绘制音乐环形频谱图
参考资料:1.Web 技术研究所2.Web_Audio_API 0.启发 在B站我们有很多的小伙伴们应该都看到过用AE做的可视化音乐播放器播放音乐的视频,看着特别酷炫带感有木有。
3160 0
解锁DataWorks:一站式大数据治理神器
解锁DataWorks:一站式大数据治理神器
189 1
|
10月前
|
SQL
SQL: 巧妙使用CASE WHEN实现查询
文章演示了如何利用SQL中的CASE WHEN语句来有效地进行条件性聚合查询,通过具体示例展示了CASE WHEN在统计分析中的应用技巧。
211 0
基于SpringBoot+Vue+uniapp的网上奶茶店系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的网上奶茶店系统的详细设计和实现(源码+lw+部署文档+讲解等)
209 1
如何反编译H5界面的源代码(fiddler抓包)
如何反编译H5界面的源代码(fiddler抓包)
274 0
大厂原来都这么对MySQL分库分表!(上)
大厂原来都这么对MySQL分库分表!(上)
2115 0
大厂原来都这么对MySQL分库分表!(上)
Helm Chart 多环境、多集群交付实践,透视资源拓扑和差异
在本文中,我们将介绍如何通过 KubeVela解决多集群环境下 Helm Chart 的部署问题。如果你手里没有多集群也不要紧,我们将介绍一种仅依赖于 Docker 或者 Linux 系统的轻量级部署方式,可以让你轻松的体验多集群功能。当然,KubeVela 也完全具备单集群的 Helm Chart 交付能力。
3870 51
Helm Chart 多环境、多集群交付实践,透视资源拓扑和差异
MySQL的不同字符集的排序规则
不同字符集在MySQL中使用不同的排序规则,确定了对字符数据的排序和比较方式。下面是一些常用字符集的排序规则示例: 1. UTF-8字符集: - utf8_bin:基于二进制比较,区分大小写。 - utf8_general_ci:大小写不敏感,根据字符的Unicode值进行排序,对于大多数应用来说是足够的。 2. Latin1字符集: - latin1_bin:基于二进制比较,区分大小写。 - latin1_general_ci:大小写不敏感,根据字符的字典顺序进行排序。 3. GBK字符集: - gbk_bin:基于二进制比较,区分大小写。 - gb
326 0

相关产品

  • 云原生大数据计算服务 MaxCompute
  • AI助理
    登录插画

    登录以查看您的控制台资源

    管理云资源
    状态一览
    快捷访问

    你好,我是AI助理

    可以解答问题、推荐解决方案等