问题一:大数据计算MaxCompute我读oss 数据 按分区。数据翻倍是什么情况啊?
大数据计算MaxCompute我读oss 数据 按分区。数据翻倍是什么情况啊?就是数据明显是重复了 一模一样的2条
有个问题 我的oss数据是5分钟更新一次 和这个有关系吗?
参考答案:
比如你说哪条数据多了,我看oss上也是csv文件,可以直接本地打开看下,这条数据是不是本身就是这样的。
因为oss外表的数据本身不存储在MaxCompute上,MaxCompute只是做了映射读出来,我理解不应该出现多数据的情况
有,源端数据是变化的,读出来的也不一样。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/574927
问题二:大数据计算MaxCompute支持生成临时表吗?
大数据计算MaxCompute支持生成临时表吗?
参考答案:
MaxCompute没有临时表的概念,在建表的时候加上生命周期就行。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/574926
问题三:帮我看下大数据计算MaxCompute这个问题 我把数据拉出来看 是122?
帮我看下大数据计算MaxCompute这个问题 我把数据拉出来看 是122
参考答案:
报错显示按照分隔符,来分,只有一列数据。目前ddl里是规定了122列。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/574925
问题四:大数据计算MaxCompute这是刚才运行的,这期间没有什么任务?
参考答案:
这个SQL取消掉吧,数据膨胀了,目前还在持续膨胀。对应这个阶段
需要检查下
看log view一直打印膨胀的阶段是StreamLineWrite52,可以看下这个阶段逻辑,按照文档排查一下
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/574924
问题五:请问下,大数据计算MaxCompute内部表的数据是存储再OSS上的吗?
请问下,
1、大数据计算MaxCompute内部表的数据是存储再OSS上的吗?这些OSS是你们托管的,用户是无法直接访问的?
2、我如果要把表的所有数据copy到另一个区域有什么快速的办法吗?能通过直接copy 文件就可以了吗?我们有几十个表想直接弄过去另一个region
参考答案:
- maxcompute内部表的数据是存储MaxCompute底层存储里的,用户侧除了查表做处理,没办法直接访问到底层存储目录;
- 把表的所有数据copy到另一个区域,是指跨region进行MaxCompute数据直接的迁移吗?如果是mc->mc可以通过mma
有俩方式,可以评估下用哪个 - 直接使用insert overwrite语法写入(当前操作账号需要有A、B两个region下数据的权限,不需要搭建迁移环境)
- 用mma进行跨region迁移(任务中配置操作账号需要有A、B两个region下数据的权限,需要搭建一个简单的迁移环境,需要走申请打开底层的copy task开关)
文档可以参考下这里:https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-data-migration?spm=a2c4g.11186623.0.0.358b27d7UcQVAB ,
关于本问题的更多回答可点击进行查看: