MaxCompute问答整理之2020-02月

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、子账号无法访问DataWorks工作空间,提示缺少AccessKey ID,但这个账号已经有AccessKey ID的,是什么原因造成无法访问?
在控制台的个人信息中进行绑定AK信息,才可以使用大数据开发平台。

问题二、MaxCompute使用Tunnel命令上传数据时,源文件是csv格式,字段中有逗号分隔的数据,上传会被拆分成多列,这个怎么设置能避免这个问题?
如果描述字段中本身有逗号的话,建议转换数据的分隔符为其他符号,即修改csv文件的默认分隔符为其他分隔符。再通过-fd指定为其他分隔符进行上传。

问题三、如何查看MaxCompute JDBC Driver的日志?
MaxCompute JDBC Driver的日志默认放在Driver Jar包所在的同级目录,文件名为jdbc.log。如果将用户代码与Driver打包为一个超级Jar,日志将会在超级Jar所在的同级目录。

问题四、MaxCompute有数据库一致性和锁的处理机制吗?
MaxCompute支持ACID语义原子性(Atomicity):一个操作或是全部完成,或是全部不完成,不会结束在中间某个环节。一致性(Consistency):从操作开始至结束的期间,数据对象的完整性没有被破坏。隔离性(Isolation):操作独立于其它并发操作完成。持久性(Durability):操作处理结束后,对数据的修改将永久有效,即使出现系统故障,该修改也不会丢失。

问题五、在MaxCompute中运行SQL语句查询表test中数据,test表中数据为1万条,查询一直处于Job Quening...状态,无法执行,原因是什么?
请排查任务运行状态,可能有个任务运行完了所有的资源,请先中止或者等待此任务。可以在MaxCompute客户端中运行Show Instances/Show P命令来查看实例信息。

问题六、使用MaxCompute SQLTask执行cost sql sql命令时报错ODPS-0130161:[1,1] Parse exception - invalid token 'cost'怎么解决呢?
需要使用Java SDK中的SQLCostTask接口来实现单条SQL费用的查询。接口使用方式可以参考:https://www.javadoc.io/doc/com.aliyun.odps/odps-sdk-core/latest/com/aliyun/odps/task/SQLCostTask.html

问题七、MaxCompute中为什么SQL查询不同的分区,费用差异比较大?
分区Size较大就会造成费用较多。您可以使用desc table_name partition(pt_spec)命令查看具体分区大小。
分区表的意义在于优化查询。查询表时通过WHERE子句查询指定所需查询的分区,避免全表扫描,提高处理效率,降低计算费用。

问题八、MaxCompute中如何删除生产环境的表?
可以在MaxCompute客户端或DataStudio中使用 drop table project_name.table_name; 删除生产环境的表。

问题九、MaxCommpute中,是否可以添加或删除列?
可以添加列,但不可以删除列。如果有删除列的需求,可以新建表,再重命名表。

问题十、如何理解开源与云原生的大数据技术与产品?
2020 大数据技术公开课第一季《从开源到云原生,你不得不知的大数据实战》,通过比较和实操,帮助开发者们更好的理解和掌握大数据技术。大家可以通过文字和视频观看学习。
https://yq.aliyun.com/articles/744581

欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击链接 申请加入。
2群.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之该怎么创建MaxCompute的项目
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
SQL 分布式计算 DataWorks
MaxCompute问答整理之2020-06月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1103 0
MaxCompute问答整理之2020-06月
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-04~05月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
769 0
MaxCompute问答整理之2020-04~05月
|
SQL 分布式计算 Java
MaxCompute问答整理之2020-03月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1079 0
MaxCompute问答整理之2020-03月
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-01月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
1226 0
MaxCompute问答整理之2020-01月
|
SQL 消息中间件 JSON
MaxCompute问答整理之12月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
1440 0
MaxCompute问答整理之12月
|
SQL 分布式计算 Oracle
MaxCompute问答整理之11月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
6798 0
MaxCompute问答整理之11月
|
分布式计算 MaxCompute SQL
MaxCompute问答整理之8月
本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
2595 0
|
SQL 分布式计算 关系型数据库
MaxCompute 学习计划(一)
学好MaxCompute的知识技能checklist
5922 0
|
SQL 分布式计算 大数据
MaxCompute基础与MaxCompute SQL优化
总论:大数据计算服务 ( MaxCompute,原名 ODPS ) 是一种快速、完全托管的 TB/PB 级数据仓库解决方案 。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全 。
7406 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute