MaxCompute问答整理之10月

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、DataStudio中是否可以通过shell节点调取MaxCompute sql语句?
不可以的,Shell节点支持标准Shell语法,不支持交互性语法。如果任务较多,可以使用ODPS SQL节点来完成任务的执行。

问题二、MaxCompute支持修改表字段的数据类型吗?
不支持,只能添加字段列,生产表不允许删除字段、修改字段及分区字段,如果必须修改,请删除之后重新建表,可以将表建立成外部表,在表删除重建以后,能将数据重新加载回来。
数据类型请参考官方文档:https://help.aliyun.com/document_detail/27821.html

问题三、MaxCompute除了UDF函数的方式外,有没有别的办法将两个没有任何关联关系的表合并成一张表呢?
可以纵向合并使用union all,横向合并的话可以借助row number,两张表都新加一个新的ID列,进行ID关联,然后取两张表的字段。

问题四、现有账号的AK禁用,创建一个新的AK,会对之前AK创建的周期性任务有影响吗?
有的,如果AccessKey被禁用或删除,将直接影响您的DataWorks中各类任务的正常运行。
AK信息谨慎操作。其余AK操作请参考官方文档:https://help.aliyun.com/document_detail/27803.html

问题五、在Java-sdk连接的情况下,如果Endpoint用的 ,如果我没有显式配置Tunnel Endpoint,用到TunnelServer时会路由到哪个Tunnel Endpoint?
如果不配置Tunnel Endpoint,Tunnel会自动路由到Service Endpoint所在网络对应的Tunnel Endpoint,例如Service Endpoint为公网就路由到公网的Tunnel Endpoint;Service Endpoint为内网就路由到内网的Tunnel Endpoint。若您继续手动配置,则以手动配置为准,不进行自动路由。具体可以参考官方文档:https://help.aliyun.com/document_detail/34951.html

问题六、请问Tunnel可以上传json格式的数据到MaxCompute表吗?
可以把json文件作为一个整体的字段来进行上传,然后在MaxCompute进行拆分,或者利用MaxCompute内建函数及UDTF转换json格式日志数据。可以参考这个文档 :https://yq.aliyun.com/articles/627758

问题七、如何正确安装MaxCompute客户端?
1、根据自身系统安装匹配JDK(建议1.7/1.8)并配置环境;
2、官网文档下载最新版客户端文件并解压;
3、根据开通好的工作空间配置config文件;
4、根据自身系统选择执行文件(bin文件内);
5、执行测试建表语句:create table tbll(id bigint)。
安装及配置客户端过程中,可能会出现错误

问题八、MaxCompute支持将2010/1/3这种格式转成 2010-01-03吗?
如果是2010/01/03这种格式的话可以使用to_char(TO_DATE(‘2019/04/02’, ‘yyyy/mm/dd’), ‘yyyy-mm-dd’)去进行转换,
如果是2010/1/3就需要去编写UDF函数去实现日期的转换。
更多日期函数请参考官方文档:https://help.aliyun.com/document_detail/48974.html

问题九、使用OSS外部表怎么样将多个小文件,输出为一个文件?
查看Logview日志,看SQL的执行计划,看最后一个是Reducer还是Joiner,
如果是Reducer则设置参数为set odps.stage.reducer.num=1,
如果是Joiner,则设置为set odps.stage.joiner.num=1。

问题十、DataWorks业务流程中,根据业务需求进行节点连接之后自动解析上下游是否会发生错误?
不会,在调度系统中,每一个工作空间中默认会创建一个projectname_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。依赖属性中配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
67cc36b608a5035daec4f4e0f99833039231bab0

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL 分布式计算 资源调度
ODPS开发大全:进阶篇(1)
ODPS开发大全:进阶篇
1057 13
|
并行计算 量子技术 数据安全/隐私保护
量子计算与量子密码(入门级-少图版)(2)
量子计算与量子密码(入门级-少图版)(2)
429 1
|
9月前
|
Ubuntu NoSQL 开发工具
《docker基础篇:4.Docker镜像》包括是什么、分层的镜像、UnionFS(联合文件系统)、docker镜像的加载原理、为什么docker镜像要采用这种分层结构呢、docker镜像commit
《docker基础篇:4.Docker镜像》包括是什么、分层的镜像、UnionFS(联合文件系统)、docker镜像的加载原理、为什么docker镜像要采用这种分层结构呢、docker镜像commit
433 70
|
关系型数据库 MySQL 数据处理
针对MySQL亿级数据的高效插入策略与性能优化技巧
在处理MySQL亿级数据的高效插入和性能优化时,以上提到的策略和技巧可以显著提升数据处理速度,减少系统负担,并保持数据的稳定性和一致性。正确实施这些策略需要深入理解MySQL的工作原理和业务需求,以便做出最适合的配置调整。
1313 6
|
11月前
|
Prometheus 监控 Cloud Native
Prometheus中的Exporter详解
【10月更文挑战第25天】Prometheus Exporter分为直接采集(如cAdvisor, Kubernetes)和间接采集(如Node Exporter)两类。
|
分布式计算 API 对象存储
Ray是一个开源的分布式计算框架,用于构建和扩展分布式应用。它提供了简单的API,使得开发者可以轻松地编写并行和分布式代码,而无需担心底层的复杂性。
Ray是一个开源的分布式计算框架,用于构建和扩展分布式应用。它提供了简单的API,使得开发者可以轻松地编写并行和分布式代码,而无需担心底层的复杂性。
2161 11
|
12月前
|
SQL Java 数据处理
批量提交SQL语句的技巧与方法
在数据库操作中,批量提交SQL语句可以显著提高数据处理的效率,特别是在需要插入、更新或删除大量数据的情况下
|
图形学 开发者
【制作100个unity游戏之26】unity2d横版卷轴动作类游11(附带项目源码)
【制作100个unity游戏之26】unity2d横版卷轴动作类游11(附带项目源码)
271 0
|
弹性计算 Java 芯片
阿里云张伟分享 | 软件跨架构迁移(x86->ARM)的原理及实践
2023年8月31日,系列课程第四节《软件跨架构迁移(X86 -> ARM)的原理及实践》正式上线,由阿里云弹性计算架构师主讲,内容涵盖:ARM与x86架构的差异分析;软件跨架构迁移的原理;软件迁移策略制定、环境准备、执行、测试优化及持续部署与维护等;以及软件迁移的全流程解读。
阿里云张伟分享 | 软件跨架构迁移(x86->ARM)的原理及实践
|
算法 安全 Go
基于TOTP算法的Github两步验证2FA(双因子)机制Python3.10/Golang1.21实现
双因子登录说白了就是通过第三方设备证明"你是你自己"的一个措施,Github官方推荐在移动端下载1Password、Authy、Microsoft Authenticator等APP来通过扫码进行验证,其实大可不必如此麻烦,本次我们通过Python/Golang代码来实现双因子登录验证。
基于TOTP算法的Github两步验证2FA(双因子)机制Python3.10/Golang1.21实现

相关产品

  • 云原生大数据计算服务 MaxCompute