SaaS模式云数据仓库 MaxCompute 问答整理之2020-07~08月

简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区钉群里的一些问题,进而整理成文。希望对大家有所帮助。

问题一、一般都是子账号登录使用MaxCompute,是否有工具可以查到用户行为,如对表的增、删、改、查等操作?
可以通过审计日志功能和元数据功能配合使用,查到用户行为记录。可以参考下面这篇文章:
https://developer.aliyun.com/article/771413

问题二、odpscmd可以通过什么命令导出数据?
可以使用Tunnel download。可以参考下面这篇文档:
https://help.aliyun.com/document_detail/143537.html

问题三、请问MaxCompute 的DataFrame拿到某一列的值转换成list应该如何操作?
print iris['sepallength'].tolist().execute()[0:5]

问题四、pyodps如何获取表的元数据?
直接查询Information_Schema表就可以。可以参考元数据使用说明文档:
https://help.aliyun.com/document_detail/135432.html

问题五、MaxCompute是否有函数能把日期转换成周几?
可以使用WEEKDAY内建函数。可以参考官方文档:
https://help.aliyun.com/document_detail/48974.html

问题六、创建外部表报错,<Code>AccessDenied</Code> <Message>The bucket you access does not belong to you.</Message>
需要授权,参考一下官方文档:
https://help.aliyun.com/document_detail/72777.html

问题七、MaxCompute 有无一些类似数据库的内置函数,可以将3条记录变成1条,之后逗号隔开。
可以使用WM_CONCAT内建函数。可以参考官方文档:
https://help.aliyun.com/document_detail/48975.html

问题八、在odps sql计算比例时,分母为0时怎么处理,有相应的函数吗?
可以使用DECODE内建函数。可以参考官方文档:
https://help.aliyun.com/document_detail/48976.html

问题九、MaxCompute SQL报错Invalid arguments - format string has second part, but doesn't have minute part : yyyy-mm-dd hh:mm:ss
可以做一下类型转换to_date('20181030 15-13-12.345','yyyymmdd hh-mi-ss.ff3')=2018-10-30 15:13:12

问题十、MaxCompute SQL 去重ID怎么做?
可以使用group或者distinct去重。

问题十一、MaxCompute删除表数据如何恢复?
可以使用备份与恢复功能。可以参考官网文档:
https://help.aliyun.com/document_detail/172397.html

问题十二、MaxCompute查询加速MCQA只能支持标准模式吗?
可以支持简单模式哈。MCQA功能不支持包年包月计费模式。可以参考官网文档:
https://help.aliyun.com/document_detail/180701.html

问题十三、MaxCompute中string 转array 有啥好的方法没? 类似这样select cast('["a","b","c"]' as array);
直接用split切分就行。

问题十四、MaxCompute可以对单个表授权吗?
可以使用ACL授权,参考官网文档:
https://help.aliyun.com/document_detail/27935.html

问题十五、如何评估MaxCompute存储资源和计算资源?
可以参考一下这篇文章:https://developer.aliyun.com/article/771967

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 SQL 机器学习/深度学习
一文辨析:数据仓库、数据湖、湖仓一体
本文深入解析数据仓库、数据湖与湖仓一体的技术原理与适用场景。数据仓库结构严谨、查询高效,适合处理结构化数据;数据湖灵活开放,支持多模态数据,但治理难度高;湖仓一体融合两者优势,实现低成本存储与高效分析,适合大规模数据场景。文章结合企业实际需求,探讨如何选择合适的数据架构,并提供湖仓一体的落地迁移策略,助力企业提升数据价值。
一文辨析:数据仓库、数据湖、湖仓一体
存储 数据采集 大数据
398 0
|
机器学习/深度学习 供应链 算法
仓库一多就乱套?你可能缺的不是人,而是懂大数据的脑子!
仓库一多就乱套?你可能缺的不是人,而是懂大数据的脑子!
334 0
|
供应链 JavaScript 前端开发
Java基于SaaS模式多租户ERP系统源码
ERP,全称 Enterprise Resource Planning 即企业资源计划。是一种集成化的管理软件系统,它通过信息技术手段,将企业的各个业务流程和资源管理进行整合,以提高企业的运营效率和管理水平,它是一种先进的企业管理理念和信息化管理系统。 适用于小微企业的 SaaS模式多租户ERP管理系统, 采用最新的技术栈开发, 让企业简单上云。专注于小微企业的应用需求,如企业基本的进销存、询价,报价, 采购、销售、MRP生产制造、品质管理、仓库库存管理、财务应收付款, OA办公单据、CRM等。
1184 23
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
运维 供应链 前端开发
中小医院云HIS系统源码,系统融合HIS与EMR功能,采用B/S架构与SaaS模式,快速交付并简化运维
这是一套专为中小医院和乡镇卫生院设计的云HIS系统源码,基于云端部署,采用B/S架构与SaaS模式,快速交付并简化运维。系统融合HIS与EMR功能,涵盖门诊挂号、预约管理、一体化电子病历、医生护士工作站、收费财务、药品进销存及统计分析等模块。技术栈包括前端Angular+Nginx,后端Java+Spring系列框架,数据库使用MySQL+MyCat。该系统实现患者管理、医嘱处理、费用结算、药品管控等核心业务全流程数字化,助力医疗机构提升效率和服务质量。
1049 4
|
存储 分布式计算 大数据
大数据揭秘:从数据湖到数据仓库的全面解析
大数据揭秘:从数据湖到数据仓库的全面解析
587 19
|
前端开发 算法 JavaScript
无界SaaS模式深度解析:算力算法、链接力、数据确权制度
私域电商的无界SaaS模式涉及后端开发、前端开发、数据库设计、API接口、区块链技术、支付和身份验证系统等多个技术领域。本文通过简化框架和示例代码,指导如何将核心功能转化为技术实现,涵盖用户管理、企业店铺管理、数据流量管理等关键环节。
|
存储 SQL 分布式计算
MaxCompute 在大规模数据仓库中的应用
【8月更文第31天】随着大数据时代的到来,企业面临着海量数据的存储、处理和分析挑战。传统的数据仓库解决方案在面对PB级甚至EB级的数据规模时,往往显得力不从心。阿里云的 MaxCompute(原名 ODPS)是一个专为大规模数据处理设计的服务平台,它提供了强大的数据存储和计算能力,非常适合构建和管理大型数据仓库。本文将探讨 MaxCompute 在大规模数据仓库中的应用,并展示其相对于传统数据仓库的优势。
588 0
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用

相关产品

  • 云原生大数据计算服务 MaxCompute