MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件

简介: MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

问题一:大数据计算MaxCompute该任务里面的sql逻辑我也没有改过;你们服务最近有改什么吗?

大数据计算MaxCompute该任务里面的sql逻辑我也没有改过;然后sql里面设计到的表,我一个一个都排查了下,里面数据也都正常,没有出现数据激增等异常情况。那为什么10.31号之前没出现过;

10.31号及之后,这个任务每次跑都是很慢,都会出现:online job失败后回退的?我今天重跑了两次,依然很慢,都是20多分钟

你们服务最近有改什么吗?



参考答案:

主要是1的这个情况,导致时间差异较大



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566591



问题二:大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?

大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?我这个任务执行时间从昨天开始变的很长,之前都是四五分钟就跑完了;昨天我看延长到了20多分钟



参考答案:

  1. 看两次的log view对比出,慢的作业出现过online job失败后回退的情况;
  2. 两次数据量是否有差异;3. 我看使用的是后付费按量付费的quota,凌晨调度可能会出现等待计算资源的情况。
    Fuxi Job的两种作业类型:Online Job(service mode)和Offline Job。
    对于Offline的作业而言,当每次提交作业时在Fuxi上都会有一个环境准备的时间,针对大数据量并且不需要返回查询结果的作业比较合适,而对小数据量并且实时作业要求比较高的作业是不合适的。所以Fuxi提供为什么ServiceMode这种准实时的作业形式,也是online,首先会有一个服务去预先申请计算一些资源并加载出来,比如会预先分配一 万个nstance,当有作业提交时会根据作业规模分配一些Instance进行执行,这样就省去环境准备的时间,所以就会比较快。online不等资源且不保证成功。
    如果service mode失败,比如instance个数超过1000,或者运行超过10分钟,就会退回以Offline模式重跑。

可以set odps.service.mode=off;这样就直接跑完了,不会再跑online



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566590



问题三:大数据计算MaxCompute调度的运行情况 怎么导出?

大数据计算MaxCompute调度的运行情况 怎么导出?

比如:每个实例对象的 调度时间、开始运行时间、结束运行时间、运行时长



参考答案:

直接导出是没有办法,有api可以获取到每个实例的详细信息,可以看下这里

https://help.aliyun.com/zh/dataworks/developer-reference/api-getinstance



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566589



问题四:大数据计算MaxCompute 是不是不能执行show external table这样子的语句?

请问下大数据计算MaxCompute PYODPS o.execute_sql是不是不能执行show external table这样子的语句?



参考答案:

列出空间下的表可以用这个

https://help.aliyun.com/zh/maxcompute/user-guide/tables#section-h5r-3ll-cfb



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566588



问题五:请问一下大数据计算MaxCompute表的数据可以导出为本地文件吗?

请问一下大数据计算MaxCompute表的数据可以导出为本地文件吗?



参考答案:

可以,用tunnel命令导出。

https://help.aliyun.com/zh/maxcompute/user-guide/tunnel-commands#section-qxw-2zf-vdb

公网下载数据会产生费用:https://help.aliyun.com/zh/maxcompute/product-overview/data-transfer-fee

DataWorks的数据分析界面也可以导出

https://help.aliyun.com/zh/dataworks/user-guide/export-share-and-download-a-workbook#section-xtk-23n-al2



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566587

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
333 14
|
4月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
164 14
|
3月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
4月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
168 1
|
6月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
222 4
|
6月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
354 3
|
5月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
197 0
|
6月前
|
SQL 人工智能 分布式计算
ODPS:数据浪潮中的成长与突围
本文讲述了作者在大数据浪潮中,通过引入阿里云ODPS体系(包括MaxCompute、DataWorks、Hologres)解决数据处理瓶颈、实现业务突破与个人成长的故事。从被海量数据困扰到构建“离线+实时”数据架构,ODPS不仅提升了数据处理效率,更推动了技术能力与业务影响力的双重跃迁。
|
6月前
|
SQL 人工智能 分布式计算
在数据浪潮中前行:我与ODPS的实践、思考与展望
在数据驱动决策的时代,企业如何高效处理海量数据成为数字化转型关键。本文结合作者实践,深入解析阿里云自研大数据平台 ODPS 的技术优势与应用场景,涵盖 MaxCompute、DataWorks、Hologres 等核心产品,分享从数据治理到实时分析的落地经验,并展望其在 AI 与向量数据时代的发展前景。
261 70
|
4月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
289 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute