MaxCompute问题之数据归属分区如何解决

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。

问题一:MaxCompute数据同步的时候报这个错啥意思?



MaxCompute数据同步的时候报这个错啥意思?


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516447?spm=a2c6h.14164896.0.0.5e8e58a2AsrfBQ


问题二:MaxCompute数据迁移的教程有吗?mysql mongdb到maxconpute


MaxCompute数据迁移的教程有吗?mysql mongdb到maxconpute


参考回答:

看看用DataWorks的数据集成呢 https://help.aliyun.com/document_detail/608116.html?spm=a2c4g.27867.0.i5


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516396?spm=a2c6h.14164896.0.0.5e8e58a2AsrfBQ


问题三:DataWorks中一键实时到maxcompute增量数据归属分区问题?


DataWorks中一键实时到maxcompute增量数据归属分区问题?


参考回答:

为何同步解决方案(mysql==》maxcompute)中源端mysql数据更新时间为28号,但是却出现在了maxcompute的base表的27号分区中? 现象如下图(在查询odps数据的时候发现updatetime为12.28号08:33的数据所在的maxc表分区为27号分区):



A:举例说明: 12.26号创建了一个同步解决方案(mysql一键实时同步到maxcompute)并正常提交执行。 12.28号mysql中添加了一个表,希望将该表也纳入同步解决方案中,于是对同步解决方案任务进行了修改并在此提交发布执行,修改任务配置并提交执行的时间是12-28号。 基于此情况,重新提交执行的任务会做2个部分的处理 1.离线全量部分(将 2021-12-28 17:15:01时间之前的所有的mysql历史数据全部写到odps base表的27号分区去,作历史数据) 2.实时任务部分,将2021-12-28 17:15:01时间之后的数据增量写到log表的相应的分区内。作增量数据。(排查实时同步任务日志中点位记录,见下图)



用户侧mysql中updatetime为12.28号08:33的数据不在这个实时同步任务位点时间之后,其被认定为历史数据。 如何解决:当同步解决方案希望添加或者删除某些表,实时任务启动时可充值位点为当日时间0点0分0秒,如此可将增量数据全部捕获并写入目的端maxc 的log表中,第二天log表和base表合并时会将当日分区数据归纳到当日分区中去。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/518457?spm=a2c6h.14164896.0.0.2e3958a2Wkahua


问题四:MaxCompute处理后的数据sparkonmc支持么?


MaxCompute处理后的数据sparkonmc支持么?spark读取mc数据之后转成pdf对象,然后foreach写入到oss里面


参考回答:

是的,阿里云MaxCompute处理后的数据可以通过SparkOnMaxCompute进行处理。SparkOnMaxCompute是一种在MaxCompute上运行Spark作业的技术,它提供了完全兼容的Spark API,使得用户可以使用Spark生态系统中的各种工具和库来处理MaxCompute中的数据。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/500088?spm=a2c6h.14164896.0.0.2e3958a2Wkahua


问题五:maxcompute ospacmd除了开启数据保护,有没有其他权限控制方法,限制用户导出数据?


maxcompute ospacmd除了开启数据保护,有没有其他权限控制方法,限制用户导出数据?专有云


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/518254?spm=a2c6h.14164896.0.0.2e3958a2Wkahua

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
184 14
|
3月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
147 0
|
2月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
139 14
|
1月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
2月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
105 1
|
2月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
208 1
|
3月前
|
机器学习/深度学习 监控 大数据
数据当“安全带”:金融市场如何用大数据玩转风险控制?
数据当“安全带”:金融市场如何用大数据玩转风险控制?
135 10
|
3月前
|
机器学习/深度学习 自然语言处理 监控
大数据如何影响新兴市场投资决策?——数据才是真正的风向标
大数据如何影响新兴市场投资决策?——数据才是真正的风向标
92 3
|
3月前
|
机器学习/深度学习 传感器 大数据
大数据真能治堵吗?聊聊交通行业用数据疏通“城市血管”
大数据真能治堵吗?聊聊交通行业用数据疏通“城市血管”
162 4
|
3月前
|
机器学习/深度学习 人工智能 大数据
从数据到决策:政府如何用大数据把事儿办得更明白?
从数据到决策:政府如何用大数据把事儿办得更明白?
108 0

热门文章

最新文章