MaxCompute问答整理之10月

简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、DataStudio中是否可以通过shell节点调取MaxCompute sql语句?
不可以的,Shell节点支持标准Shell语法,不支持交互性语法。如果任务较多,可以使用ODPS SQL节点来完成任务的执行。

问题二、MaxCompute支持修改表字段的数据类型吗?
不支持,只能添加字段列,生产表不允许删除字段、修改字段及分区字段,如果必须修改,请删除之后重新建表,可以将表建立成外部表,在表删除重建以后,能将数据重新加载回来。
数据类型请参考官方文档:https://help.aliyun.com/document_detail/27821.html

问题三、MaxCompute除了UDF函数的方式外,有没有别的办法将两个没有任何关联关系的表合并成一张表呢?
可以纵向合并使用union all,横向合并的话可以借助row number,两张表都新加一个新的ID列,进行ID关联,然后取两张表的字段。

问题四、现有账号的AK禁用,创建一个新的AK,会对之前AK创建的周期性任务有影响吗?
有的,如果AccessKey被禁用或删除,将直接影响您的DataWorks中各类任务的正常运行。
AK信息谨慎操作。其余AK操作请参考官方文档:https://help.aliyun.com/document_detail/27803.html

问题五、在Java-sdk连接的情况下,如果Endpoint用的 ,如果我没有显式配置Tunnel Endpoint,用到TunnelServer时会路由到哪个Tunnel Endpoint?
如果不配置Tunnel Endpoint,Tunnel会自动路由到Service Endpoint所在网络对应的Tunnel Endpoint,例如Service Endpoint为公网就路由到公网的Tunnel Endpoint;Service Endpoint为内网就路由到内网的Tunnel Endpoint。若您继续手动配置,则以手动配置为准,不进行自动路由。具体可以参考官方文档:https://help.aliyun.com/document_detail/34951.html

问题六、请问Tunnel可以上传json格式的数据到MaxCompute表吗?
可以把json文件作为一个整体的字段来进行上传,然后在MaxCompute进行拆分,或者利用MaxCompute内建函数及UDTF转换json格式日志数据。可以参考这个文档 :https://yq.aliyun.com/articles/627758

问题七、如何正确安装MaxCompute客户端?
1、根据自身系统安装匹配JDK(建议1.7/1.8)并配置环境;
2、官网文档下载最新版客户端文件并解压;
3、根据开通好的工作空间配置config文件;
4、根据自身系统选择执行文件(bin文件内);
5、执行测试建表语句:create table tbll(id bigint)。
安装及配置客户端过程中,可能会出现错误

问题八、MaxCompute支持将2010/1/3这种格式转成 2010-01-03吗?
如果是2010/01/03这种格式的话可以使用to_char(TO_DATE(‘2019/04/02’, ‘yyyy/mm/dd’), ‘yyyy-mm-dd’)去进行转换,
如果是2010/1/3就需要去编写UDF函数去实现日期的转换。
更多日期函数请参考官方文档:https://help.aliyun.com/document_detail/48974.html

问题九、使用OSS外部表怎么样将多个小文件,输出为一个文件?
查看Logview日志,看SQL的执行计划,看最后一个是Reducer还是Joiner,
如果是Reducer则设置参数为set odps.stage.reducer.num=1,
如果是Joiner,则设置为set odps.stage.joiner.num=1。

问题十、DataWorks业务流程中,根据业务需求进行节点连接之后自动解析上下游是否会发生错误?
不会,在调度系统中,每一个工作空间中默认会创建一个projectname_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。依赖属性中配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
67cc36b608a5035daec4f4e0f99833039231bab0

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
8月前
|
API 开发者 Python
京东商品评论API技术指南
京东商品评论API是京东开放平台的核心接口,支持开发者获取评论内容、评分、用户属性等20+字段,适用于口碑监测、竞品分析和商业决策。提供智能筛选、分页查询和排序功能,结合Python示例,便于快速集成与应用。
|
云安全 安全 数据安全/隐私保护
带你读《阿里云安全白皮书》(十八)——云上安全重要支柱(12)
随着数智化发展,企业面临复杂的资产管理需求。阿里云提供全链路身份管控与精细化授权方案,涵盖细粒度权限管理和身份凭证保护,确保数据资产安全。支持多因素认证和最小权限原则,减少风险暴露,提升企业安全效率。详情见《阿里云安全白皮书(2024版)》。
|
存储 SQL 缓存
TiDB Lightning:高速数据导入的利器
【2月更文挑战第28天】TiDB Lightning是TiDB生态中一款用于从静态文件高效导入大量数据到TiDB集群的工具。它支持多种文件类型和导入模式,具有高效、稳定、易用的特点。本文将深入探讨TiDB Lightning的原理、架构、使用场景及最佳实践,帮助读者更好地理解和应用这一工具,实现数据的高效导入。
|
Java
19. 为什么Java线程没有Running状态?下
19. 为什么Java线程没有Running状态?下
259 0
19. 为什么Java线程没有Running状态?下
|
运维 负载均衡 Kubernetes
《微服务架构设计》之 正确打开方式
随着软件系统架构的发展,我们经历了从单体应用到分布式系统,并且逐步向云原生迈进,而其中微服务架构是最具有代表性,但在微服务设计时又存在各式各样的问题,希望此文能够帮助大家在微服务架构设计时提供思路和指导。
1835 0
《微服务架构设计》之 正确打开方式
|
Java Linux Shell
linux下的shell命令的编写,以及java如何调用linux的shell命令(java如何获取linux上的网卡的ip信息)
<p><span style="color:#FF0000">程序员都很懒,你懂的!</span></p> <p><span style="color:#FF0000"><span style="color:#000000">最近在开发中,需要用到服务器的ip和mac信息。但是服务器是架设在linux系统上的,对于多网口,在获取ip时就产生了很大的问题。下面是在windows系统上,ja
2084 0
|
10天前
|
Shell API 开发工具
Claude Code 快速上手指南(新手友好版)
AI编程工具卷疯啦!Claude Code凭借任务驱动+终端原生的特性,成了开发者的效率搭子。本文从安装、登录、切换国产模型到常用命令,手把手带新手快速上手,全程避坑,30分钟独立用起来。
2968 20

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute