MaxCompute问答整理之8月

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute中的时间?
不支持,查看不了,可以看表元数据的LastModifiedTime时间,但具体某个记录看不到时间。

问题二、开发的数据处理脚本能否在不同地区项目空间迁移?
跨项目克隆只能同账号同region,所以不同地区之间可以使用项目备份恢复来完成。
可参考官方文档操作:https://help.aliyun.com/document_detail/95940.html
温馨提示:此功能现阶段支持恢复文件大小必须是30M以下大小,后续会更新版本,请大家持续关注。

问题三、创建项目空间后,在客户端执行whoami命令报错,显示Project不存在,或切换空间显示Project不存在。
创建空间时没有选择计算引擎服务,空间名称在配置文件中没有填写正确,MaxCompute服务过期删除,Region没有选择正确等原因均可导致此报错,需回顾过程,检查必填必选项,确认无误后重新执行。

温馨提示:按量付费和包年包月选项是需要购买服务才可以。开发者版本可免费试用。
开发者版开通地址:https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html

问题四、如果把MaxCompute作为大数据平台,接入整个业务体系数据,有mysql,sqlserver等各种数据源。当源数据库的表,字段变更了,有没有好的监控手段。比如字段长度变长,表增加字段,等DDL操作。因为业务是变化的,这种如果监控不及时,整个调度流程是不是就会崩?
当前MaxCompute仅支持在DataWorks控制台数据地图中查看内部数据的变动以及监控。外部数据源的字段变化,当前是没有办法监控到。后续如有好的解决办法,会社群通知,请大家持续关注。

问题五、如何批量查询表的元数据?
在8月13日,由阿里云智慧事业群产品专家曲宁直播阿里巴巴大数据产品最新特性介绍—MaxCompute,其中有一项Information Schema元数据服务,以视图的形式提供准实时的元数据,包括Tables、PartitionsColumns、UDFs、Resources、Users、Roles、Packages、数据对象的授权信息、作业运行信息等。大家可以通过提交工单进行新功能测试申请
提交方法可参考:https://help.aliyun.com/document_detail/128366.html

问题六、使用 Pyodps 统计一个表里面某个字段的空值率的时候,是推荐用 execute_sql 来执行 SQL 语句来查询, 还是推荐用 DataFrame 来执行聚合操作。哪个性能更高?
DataFrame聚合性能更高一些,所以推荐使用DataFrame来执行聚合操作。具体DataFrame如何聚合操作可参考
官方文档:https://help.aliyun.com/document_detail/90458.html

问题七、MaxCompute常见错误信息如何理解,怎么定位问题?
MaxCompute的常见报错信息编号有规范定义,异常编号:通用描述 - 上下文相关说明。其中SQL、MapReduce、Tunnel的错误信息是不一样的。官方文档中列举了一些错误信息,
大家可以查询一一对应报错信息:https://help.aliyun.com/document_detail/34636.html

问题八、DataWorks中如何跨业务流程依赖?
可以通过节点方式解决,下游业务流程的第一个节点依赖上游业务流程的最后一个节点。

问题九、MaxCompute客户端(odpscmd)在windows命令行下查询中文乱码如何解决?
odpscmd中出现中文乱码是因为中文字符集的编码方式不一致导致的,
可以参考一篇实践文档来解决问题:https://yq.aliyun.com/articles/706600

问题十、MaxCompute Sql中如何判断一个字段是否为空?
IS NULL。MaxCompute Sql中包含关系运算符、算数运算符、位运算符、逻辑运算符。
可参考官方文档:https://help.aliyun.com/document_detail/27861.html

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
image

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之该怎么创建MaxCompute的项目
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
SQL 分布式计算 DataWorks
实时数仓入门训练营:Hologres 数据导入/导出实践
《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 门精品课程帮助你 5 天时间从小白成长为大牛!
实时数仓入门训练营:Hologres 数据导入/导出实践
|
SQL 分布式计算 MaxCompute
MaxCompute问答整理之2020-06月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1135 0
MaxCompute问答整理之2020-06月
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-04~05月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
795 0
MaxCompute问答整理之2020-04~05月
|
SQL 分布式计算 Java
MaxCompute问答整理之2020-03月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1112 0
MaxCompute问答整理之2020-03月
|
SQL 分布式计算 Cloud Native
MaxCompute问答整理之2020-02月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1251 0
MaxCompute问答整理之2020-02月
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-01月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
1259 0
MaxCompute问答整理之2020-01月
|
SQL 消息中间件 JSON
MaxCompute问答整理之12月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
1485 0
MaxCompute问答整理之12月
|
SQL 分布式计算 Oracle
MaxCompute问答整理之11月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
6822 0
MaxCompute问答整理之11月
|
SQL Web App开发 分布式计算
MaxCompute使用常见问题总结
Maxcompute常见问题的总结,方便广大用户可以快速排查问题
5300 0

相关产品

  • 云原生大数据计算服务 MaxCompute