使用emr-tool工具的时候遇到超时的问题-问答-阿里云开发者社区-阿里云

开发者社区> 游客h2w257n2bym3o> 正文

使用emr-tool工具的时候遇到超时的问题

2019-07-23 17:55:28 753 0

1.使用emrtool工具从本地集群hdfs迁移数据至oss。 2.迁移数据大小为1G。 3.迁移过程中遇到以下报错。

尝试修改hdfs2oss4emr.sh脚本配置 在启动项中 hadoop jar ${jar} org.apache.hadoop.tools.DistCp -Dfs.oss.core.dependency.cache.path=${dep_jar} -Dfs.oss.impl=com.aliyun.fs.oss.nat.NativeOssFileSystem -Djob.output.oss.redirect=false -Dmapreduce.job.user.classpath.first=true $queue $maps $1 $2

添加-Dmapreduce.mapreduce.task.timeout=1200000配置重试扔出现上述错误,小文件上传没问题,感觉是上传速率太慢超时,请问该如何修改。

取消 提交回答
全部回答(0)
相关问答

40

回答

[@徐雷frank][¥20]什么是JAVA的平台无关性

大河人家 2018-10-29 23:55:20 144309浏览量 回答数 40

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 223058浏览量 回答数 162

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333947浏览量 回答数 8

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292359浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146818浏览量 回答数 22

18

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 643269浏览量 回答数 18

31

回答

[@倚贤][¥20]刚学完html/css/js的新手学习servlet、jsp需要注意哪些问题?

弗洛伊德6 2018-10-27 21:52:43 145658浏览量 回答数 31

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 149575浏览量 回答数 82

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471612浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204033浏览量 回答数 2
0
文章
1
问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载