暂无个人介绍
大数据计算服务ODPS(按量付费)业务不再使用?所有存储的数据均以删除,全部删除释放后是不会再有费用了。
您的数据是因为设置了lifecycle导致的,您设置了lifecycle后数据没有更新的,到时间后数据被收回了。
目前还不支持。
这个问题不会频繁出现,在公共云上的任务调度是有排队的,但是一般都是几十秒左右。
您好:
https://help.aliyun.com/document_detail/27834.html?spm=5176.product27797.6.568.MVJDZ5
您在这个文档里看下 set 部分。
您好,您在客户端和py里设置的参数不一致:
odps.stage.mapper.split.size
这个是py里的
odps.sql.mapper.split.size
问题是由并发调度的时候多次执行了add file xxx.conf -f; 这种操作导致的。
如果文件的内容是一样的,您只需要add一次就可以了。
tunnel 服务端是不设限制的,不是瓶颈,唯一的瓶颈在网络带宽。
建议您:
1. 在华东2 ecs上,使用dt.eu13.odps.aliyun.com域名传输数据。
2. 分区分表,在多台ecs上上传下载数据。
您可以考虑如下方案:
1 使用日志服务收集日志,并归档到maxcompute上再做数据分析
https://help.aliyun.com/document_detail/29001.html?spm=5176.product28958.6.648.M6KqKA
2、使用一个String字段先存这些日志内容,然后使用SQL/MR进行解析,mapreduce只支持java语言
3、使用maxcompute2.0的功能,日志您可以传到表格存储或者OSS:
https://help.aliyun.com/document_detail/45389.html?spm=5176.product27797.6.557.a6CyzZ