SaaS模式云数据仓库 MaxCompute 问答整理之2020-09~10月

简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区钉群里的一些问题,进而整理成文。希望对大家有所帮助。

问题一、MaxCompute中,同一时间操作同一张表的同一分区,会产生数据翻倍的情况吗?
不会,MaxCompute在更新元数据的时候不允许同时更新元数据。

问题二、MaxCompute中执行SQL报错ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: com.aliyun.odps.lot.cbo.FailFastException: instance count exceeds limit 99999.
单作业需要的并发超过最大限制,可通过调整split size降低并发量来解决。可以设置一下set设置,set odps.sql.mapper.split.size=512 ,调整每个Mapper读取table数据的大小,单位是MB。

问题三、在DataWorks表管理中添加的表,修改字段名称报错。
可以使用DDL语句ALTER TABLE 修改。可以参考文档:
https://help.aliyun.com/document_detail/73771.html

问题四、MaxCompute可以指定列进行 insert overwrite吗?
insert overwrite 不支持指定插入列的功能,可以用insert into或者设计一张拉链表。可以参考这篇文章:
https://developer.aliyun.com/article/542146

问题五、MaxCompute中,按照分区查询数据的语法是什么?
select *from table where dt='1'; 可以参考文档:
https://help.aliyun.com/document_detail/73777.html

问题六、MaxCompute SQL task 能执行语法检查吗?
可以执行一下explian,参考官方文档:
https://help.aliyun.com/document_detail/73787.html

问题七、使用Tunnel 可以下载某个分区的数据吗?
可以,参考一下Tunnel 命令说明文档:https://help.aliyun.com/document_detail/27833.html

问题八、不同工作空间的表是否可以相互引用?
可以,授权就可以。可以参考一下文档:https://help.aliyun.com/document_detail/27935.html

问题九、请问MaxCompute表字段string类型的数据长度大于8MB怎么解决?
有两个方法:1、拆分字段。2、使用独享资源组,再提工单绑定可以解决大于8MB问题。

问题十、字段为空字符串的怎么在SQL里面过滤掉?
1605684405687-ee2fae0a-ef7f-472e-9eaf-215acd014d00.png
可以使用uid!='';

问题十一、PyODPS 操作 SQL 的示例代码有获取记录数的操作,放到 MaxCompute 中运行的就提示没有 count 属性了,怎么解决?
Dataworks上默认未开启Instance Tunnel,即instance.open_reader默认使用Result接口,最多可以获取一万条记录。开启Instance Tunnel后,可以通过reader.count获取记录数。

问题十二、MaxCompute中,CAST(substr(sdk_channel,1,1) AS BIGINT) = 1 或 CAST(t.is_client AS BIGINT) = 1 报错: Illegal type cast - in function cast, value 'n' cannot be casted from String to Bigint
substr 是对字符串截取 (),该函数里面的 两个参数 是 下标和截取个数,代码截的是 string类型,外面的 cast 函数是对类型进行转换,如果里面截出来的例如:abc,根本无法转换成 bigint,如果截出来是数字 123 是可以的 转成 bigint的。 例如:select cast(substr("1234",1,1) as BIGINT );

更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群
2群.jpg

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 分布式计算 DataWorks
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(三)
快速学习持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(三)
|
SQL 存储 分布式计算
关于数据仓库的Hive的安装部署的Local模式
在数据分析和数据挖掘领域,数据仓库是一个非常重要的工具。Hive是阿里云提供的一个开源数据仓库解决方案,它基于Hadoop和HiveQL语言,可以帮助用户轻松地处理大规模数据。在本文中,我们将探讨Hive的安装部署以及Local模式的概念和优势。
702 2
|
SQL 存储 分布式计算
关于数据仓库的Hive的安装部署的内嵌模式
在数据分析和数据挖掘领域,数据仓库是一个非常重要的工具。Hive是阿里云提供的一个开源数据仓库解决方案,它基于Hadoop和HiveQL语言,可以帮助用户轻松地处理大规模数据。在本文中,我们将探讨Hive的安装部署以及内嵌模式的概念和优势。
692 2
|
SQL 存储 分布式计算
关于数据仓库的Hive的安装部署的远程模式
在数据分析和数据挖掘领域,数据仓库是一个非常重要的工具。Hive是阿里云提供的一个开源数据仓库解决方案,它基于Hadoop和HiveQL语言,可以帮助用户轻松地处理大规模数据。在本文中,我们将探讨Hive的安装部署以及远程模式的概念和优势。
659 1
|
分布式计算 MaxCompute
《SaaS模式云数据仓库实践手册》电子版下载地址
本书的制作目的在于让MaxCompute帮助企业构建全托管的现代化数仓,简化数据洞察、加速价值实现。
303 0
《SaaS模式云数据仓库实践手册》电子版下载地址
|
存储 分布式计算 DataWorks
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(二)
快速学习持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(二)
|
SQL Oracle 算法
「数据仓库架构」数据仓库的三种模式建模技术
「数据仓库架构」数据仓库的三种模式建模技术
|
数据建模 数据库
「数据仓库架构」数据建模:星型模式
「数据仓库架构」数据建模:星型模式
|
Web App开发 编解码 Java
B/S基层卫生健康云HIS医院管理系统源码 SaaS模式 、Springboot框架
基层卫生健康云HIS系统采用云端SaaS服务的方式提供,使用用户通过浏览器即能访问,无需关注系统的部署、维护、升级等问题,系统充分考虑了模板化、配置化、智能化、扩展化等设计方法,覆盖了基层医疗机构的主要工作流程,能够与监管系统有序对接,并能满足未来系统扩展的需要。
892 5
|
供应链 JavaScript 前端开发
Java基于SaaS模式多租户ERP系统源码
ERP,全称 Enterprise Resource Planning 即企业资源计划。是一种集成化的管理软件系统,它通过信息技术手段,将企业的各个业务流程和资源管理进行整合,以提高企业的运营效率和管理水平,它是一种先进的企业管理理念和信息化管理系统。 适用于小微企业的 SaaS模式多租户ERP管理系统, 采用最新的技术栈开发, 让企业简单上云。专注于小微企业的应用需求,如企业基本的进销存、询价,报价, 采购、销售、MRP生产制造、品质管理、仓库库存管理、财务应收付款, OA办公单据、CRM等。
1185 23

相关产品

  • 云原生大数据计算服务 MaxCompute