MaxCompute产品使用合集之读取OSS数据出现重复的情况是什么导致的

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

问题一:大数据计算MaxCompute我读oss 数据 按分区。数据翻倍是什么情况啊?

大数据计算MaxCompute我读oss 数据 按分区。数据翻倍是什么情况啊?就是数据明显是重复了 一模一样的2条

有个问题 我的oss数据是5分钟更新一次 和这个有关系吗?



参考答案:

比如你说哪条数据多了,我看oss上也是csv文件,可以直接本地打开看下,这条数据是不是本身就是这样的。

因为oss外表的数据本身不存储在MaxCompute上,MaxCompute只是做了映射读出来,我理解不应该出现多数据的情况

有,源端数据是变化的,读出来的也不一样。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574927



问题二:大数据计算MaxCompute支持生成临时表吗?

大数据计算MaxCompute支持生成临时表吗?



参考答案:

MaxCompute没有临时表的概念,在建表的时候加上生命周期就行。

生命周期操作:https://help.aliyun.com/zh/maxcompute/user-guide/lifecycle-management-operations?spm=a2c4g.11186623.0.i6To



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574926



问题三:帮我看下大数据计算MaxCompute这个问题 我把数据拉出来看 是122?

帮我看下大数据计算MaxCompute这个问题 我把数据拉出来看 是122

https://logview.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=report_daily&i=20231129012703937giub0e0hq6k&token=WTlxMUlZdlhNQW5NdTNoUXNoeFVtNVNpb1k0PSxPRFBTX09CTzozMDg1NDM5MSwxNzAzODEzMjI0LHsiU3RhdGVtZW50IjpbeyJBY3Rpb24iOlsib2RwczpSZWFkIl0sIkVmZmVjdCI6IkFsbG93IiwiUmVzb3VyY2UiOlsiYWNzOm9kcHM6Kjpwcm9qZWN0cy9yZXBvcnRfZGFpbHkvaW5zdGFuY2VzLzIwMjMxMTI5MDEyNzAzOTM3Z2l1YjBlMGhxNmsiXX1dLCJWZXJzaW9uIjoiMSJ9![c274f60792b561af94a4bf71054d0f04.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_3020a28ca40b44a4a8b6025c1bca40f6.png)



参考答案:

报错显示按照分隔符,来分,只有一列数据。目前ddl里是规定了122列。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574925



问题四:大数据计算MaxCompute这是刚才运行的,这期间没有什么任务?

大数据计算MaxCompute这是刚才运行的,这期间没有什么任务?Log view:http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=paiwo_smart&i=20231128085220862gel75l071wk5&token=YVNBOW4xNUU1NFZldHh6b1MyalJnWFk2aE1vPSxPRFBTX09CTzpwNF8yNTUxMDA4MzA0NjI1NTE5OTcsMTcwMzc1MzU0MSx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvcGFpd29fc21hcnQvaW5zdGFuY2VzLzIwMjMxMTI4MDg1MjIwODYyZ2VsNzVsMDcxd2s1Il19XSwiVmVyc2lvbiI6IjEifQ==



参考答案:

这个SQL取消掉吧,数据膨胀了,目前还在持续膨胀。对应这个阶段

需要检查下

https://help.aliyun.com/zh/maxcompute/use-cases/diagnostic-cases-of-logview?spm=a2c4g.11186623.0.i21#section-1zn-y7c-7qv

看log view一直打印膨胀的阶段是StreamLineWrite52,可以看下这个阶段逻辑,按照文档排查一下



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574924



问题五:请问下,大数据计算MaxCompute内部表的数据是存储再OSS上的吗?

请问下,

1、大数据计算MaxCompute内部表的数据是存储再OSS上的吗?这些OSS是你们托管的,用户是无法直接访问的?

2、我如果要把表的所有数据copy到另一个区域有什么快速的办法吗?能通过直接copy 文件就可以了吗?我们有几十个表想直接弄过去另一个region



参考答案:

  1. maxcompute内部表的数据是存储MaxCompute底层存储里的,用户侧除了查表做处理,没办法直接访问到底层存储目录;
  2. 把表的所有数据copy到另一个区域,是指跨region进行MaxCompute数据直接的迁移吗?如果是mc->mc可以通过mma
    有俩方式,可以评估下用哪个
  3. 直接使用insert overwrite语法写入(当前操作账号需要有A、B两个region下数据的权限,不需要搭建迁移环境)
  4. 用mma进行跨region迁移(任务中配置操作账号需要有A、B两个region下数据的权限,需要搭建一个简单的迁移环境,需要走申请打开底层的copy task开关)
    文档可以参考下这里:https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-data-migration?spm=a2c4g.11186623.0.0.358b27d7UcQVAB



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574923

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6天前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
68 14
|
7天前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
68 14
|
16天前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
53 1
|
16天前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
68 1
|
2月前
|
机器学习/深度学习 监控 大数据
数据当“安全带”:金融市场如何用大数据玩转风险控制?
数据当“安全带”:金融市场如何用大数据玩转风险控制?
87 10
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
75 0
|
3月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
92 4
|
3月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
201 3
|
3月前
|
SQL 人工智能 分布式计算
ODPS:数据浪潮中的成长与突围
本文讲述了作者在大数据浪潮中,通过引入阿里云ODPS体系(包括MaxCompute、DataWorks、Hologres)解决数据处理瓶颈、实现业务突破与个人成长的故事。从被海量数据困扰到构建“离线+实时”数据架构,ODPS不仅提升了数据处理效率,更推动了技术能力与业务影响力的双重跃迁。
|
4月前
|
数据采集 人工智能 算法
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
110 1

相关产品

  • 云原生大数据计算服务 MaxCompute