SaaS模式云数据仓库 MaxCompute 问答整理之2020-09~10月

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区钉群里的一些问题,进而整理成文。希望对大家有所帮助。

问题一、MaxCompute中,同一时间操作同一张表的同一分区,会产生数据翻倍的情况吗?
不会,MaxCompute在更新元数据的时候不允许同时更新元数据。

问题二、MaxCompute中执行SQL报错ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: com.aliyun.odps.lot.cbo.FailFastException: instance count exceeds limit 99999.
单作业需要的并发超过最大限制,可通过调整split size降低并发量来解决。可以设置一下set设置,set odps.sql.mapper.split.size=512 ,调整每个Mapper读取table数据的大小,单位是MB。

问题三、在DataWorks表管理中添加的表,修改字段名称报错。
可以使用DDL语句ALTER TABLE 修改。可以参考文档:
https://help.aliyun.com/document_detail/73771.html

问题四、MaxCompute可以指定列进行 insert overwrite吗?
insert overwrite 不支持指定插入列的功能,可以用insert into或者设计一张拉链表。可以参考这篇文章:
https://developer.aliyun.com/article/542146

问题五、MaxCompute中,按照分区查询数据的语法是什么?
select *from table where dt='1'; 可以参考文档:
https://help.aliyun.com/document_detail/73777.html

问题六、MaxCompute SQL task 能执行语法检查吗?
可以执行一下explian,参考官方文档:
https://help.aliyun.com/document_detail/73787.html

问题七、使用Tunnel 可以下载某个分区的数据吗?
可以,参考一下Tunnel 命令说明文档:https://help.aliyun.com/document_detail/27833.html

问题八、不同工作空间的表是否可以相互引用?
可以,授权就可以。可以参考一下文档:https://help.aliyun.com/document_detail/27935.html

问题九、请问MaxCompute表字段string类型的数据长度大于8MB怎么解决?
有两个方法:1、拆分字段。2、使用独享资源组,再提工单绑定可以解决大于8MB问题。

问题十、字段为空字符串的怎么在SQL里面过滤掉?
1605684405687-ee2fae0a-ef7f-472e-9eaf-215acd014d00.png
可以使用uid!='';

问题十一、PyODPS 操作 SQL 的示例代码有获取记录数的操作,放到 MaxCompute 中运行的就提示没有 count 属性了,怎么解决?
Dataworks上默认未开启Instance Tunnel,即instance.open_reader默认使用Result接口,最多可以获取一万条记录。开启Instance Tunnel后,可以通过reader.count获取记录数。

问题十二、MaxCompute中,CAST(substr(sdk_channel,1,1) AS BIGINT) = 1 或 CAST(t.is_client AS BIGINT) = 1 报错: Illegal type cast - in function cast, value 'n' cannot be casted from String to Bigint
substr 是对字符串截取 (),该函数里面的 两个参数 是 下标和截取个数,代码截的是 string类型,外面的 cast 函数是对类型进行转换,如果里面截出来的例如:abc,根本无法转换成 bigint,如果截出来是数字 123 是可以的 转成 bigint的。 例如:select cast(substr("1234",1,1) as BIGINT );

更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群
2群.jpg

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
25天前
|
存储 SQL 机器学习/深度学习
一文辨析:数据仓库、数据湖、湖仓一体
本文深入解析数据仓库、数据湖与湖仓一体的技术原理与适用场景。数据仓库结构严谨、查询高效,适合处理结构化数据;数据湖灵活开放,支持多模态数据,但治理难度高;湖仓一体融合两者优势,实现低成本存储与高效分析,适合大规模数据场景。文章结合企业实际需求,探讨如何选择合适的数据架构,并提供湖仓一体的落地迁移策略,助力企业提升数据价值。
一文辨析:数据仓库、数据湖、湖仓一体
|
5月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
3月前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
5月前
|
供应链 JavaScript 前端开发
Java基于SaaS模式多租户ERP系统源码
ERP,全称 Enterprise Resource Planning 即企业资源计划。是一种集成化的管理软件系统,它通过信息技术手段,将企业的各个业务流程和资源管理进行整合,以提高企业的运营效率和管理水平,它是一种先进的企业管理理念和信息化管理系统。 适用于小微企业的 SaaS模式多租户ERP管理系统, 采用最新的技术栈开发, 让企业简单上云。专注于小微企业的应用需求,如企业基本的进销存、询价,报价, 采购、销售、MRP生产制造、品质管理、仓库库存管理、财务应收付款, OA办公单据、CRM等。
301 23
|
7月前
|
运维 供应链 前端开发
中小医院云HIS系统源码,系统融合HIS与EMR功能,采用B/S架构与SaaS模式,快速交付并简化运维
这是一套专为中小医院和乡镇卫生院设计的云HIS系统源码,基于云端部署,采用B/S架构与SaaS模式,快速交付并简化运维。系统融合HIS与EMR功能,涵盖门诊挂号、预约管理、一体化电子病历、医生护士工作站、收费财务、药品进销存及统计分析等模块。技术栈包括前端Angular+Nginx,后端Java+Spring系列框架,数据库使用MySQL+MyCat。该系统实现患者管理、医嘱处理、费用结算、药品管控等核心业务全流程数字化,助力医疗机构提升效率和服务质量。
376 4
|
9月前
|
存储 分布式计算 大数据
大数据揭秘:从数据湖到数据仓库的全面解析
大数据揭秘:从数据湖到数据仓库的全面解析
268 19
|
11月前
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。
|
12月前
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象(如用户、账户、商品等)及其相关的事件记录,通过这些事件数据可以进行各种统计分析,如漏斗分析、交易次数统计等。然而,SQL 在处理这类任务时表现不佳,特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言,能够高效地处理这类计算,避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算,SPL 能够显著提高计算效率,并支持实时数据处理。
|
15天前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
83 14
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
83 0

相关产品

  • 云原生大数据计算服务 MaxCompute