MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

问题一:大数据计算MaxCompute该任务里面的sql逻辑我也没有改过;你们服务最近有改什么吗?

大数据计算MaxCompute该任务里面的sql逻辑我也没有改过;然后sql里面设计到的表,我一个一个都排查了下,里面数据也都正常,没有出现数据激增等异常情况。那为什么10.31号之前没出现过;

10.31号及之后,这个任务每次跑都是很慢,都会出现:online job失败后回退的?我今天重跑了两次,依然很慢,都是20多分钟

你们服务最近有改什么吗?



参考答案:

主要是1的这个情况,导致时间差异较大



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566591



问题二:大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?

大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?我这个任务执行时间从昨天开始变的很长,之前都是四五分钟就跑完了;昨天我看延长到了20多分钟



参考答案:

  1. 看两次的log view对比出,慢的作业出现过online job失败后回退的情况;
  2. 两次数据量是否有差异;3. 我看使用的是后付费按量付费的quota,凌晨调度可能会出现等待计算资源的情况。
    Fuxi Job的两种作业类型:Online Job(service mode)和Offline Job。
    对于Offline的作业而言,当每次提交作业时在Fuxi上都会有一个环境准备的时间,针对大数据量并且不需要返回查询结果的作业比较合适,而对小数据量并且实时作业要求比较高的作业是不合适的。所以Fuxi提供为什么ServiceMode这种准实时的作业形式,也是online,首先会有一个服务去预先申请计算一些资源并加载出来,比如会预先分配一 万个nstance,当有作业提交时会根据作业规模分配一些Instance进行执行,这样就省去环境准备的时间,所以就会比较快。online不等资源且不保证成功。
    如果service mode失败,比如instance个数超过1000,或者运行超过10分钟,就会退回以Offline模式重跑。

可以set odps.service.mode=off;这样就直接跑完了,不会再跑online



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566590



问题三:大数据计算MaxCompute调度的运行情况 怎么导出?

大数据计算MaxCompute调度的运行情况 怎么导出?

比如:每个实例对象的 调度时间、开始运行时间、结束运行时间、运行时长



参考答案:

直接导出是没有办法,有api可以获取到每个实例的详细信息,可以看下这里

https://help.aliyun.com/zh/dataworks/developer-reference/api-getinstance



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566589



问题四:大数据计算MaxCompute 是不是不能执行show external table这样子的语句?

请问下大数据计算MaxCompute PYODPS o.execute_sql是不是不能执行show external table这样子的语句?



参考答案:

列出空间下的表可以用这个

https://help.aliyun.com/zh/maxcompute/user-guide/tables#section-h5r-3ll-cfb



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566588



问题五:请问一下大数据计算MaxCompute表的数据可以导出为本地文件吗?

请问一下大数据计算MaxCompute表的数据可以导出为本地文件吗?



参考答案:

可以,用tunnel命令导出。

https://help.aliyun.com/zh/maxcompute/user-guide/tunnel-commands#section-qxw-2zf-vdb

公网下载数据会产生费用:https://help.aliyun.com/zh/maxcompute/product-overview/data-transfer-fee

DataWorks的数据分析界面也可以导出

https://help.aliyun.com/zh/dataworks/user-guide/export-share-and-download-a-workbook#section-xtk-23n-al2



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566587

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
184 14
|
2月前
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
158 9
|
2月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1006 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
2月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
139 14
|
1月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
2月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
105 1
|
2月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
208 1
|
2月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
271 1
|
4月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
161 4
|
3月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
147 0

相关产品

  • 云原生大数据计算服务 MaxCompute