1
条回答
写回答
写回答
-
任务本身要请求的数据量会特别大。通常来说一天原始的数据量可能在几十TB。几百个分区，甚至上千个分区，五万+的文件数这样子。如果说全量读取这些文件的话，几百个分区就会向 NameNode 发送几百次请求，我们知道离线任务在凌晨运行的时候，NameNode 的压力是非常大的。所以就很有可能出现 Namenode 响应很慢的情况，如果请求响应很慢就会导致任务初始化时间很长。
2021-12-10 11:06:28赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
按照函数计算FC的comfyUI部署的，comfyUI界面上没有显示Manager 按钮，是为什么？
1711
请问主域名备案了，子域名还要备案吗？
8175
sd界面里为啥没有lora模块选项呀？
79987
求助下大家，sd云端跑的时候报这个错误
15794
sd从网址安装插件报错：AssertionError: extension access disab
13162
在终端怎么升级python？
6755
函数计算FC提示网页可能暂时无法连接，或者它已永久性地移动到了新网址是什么意思？
1030
哪位大佬知道stable diffusion生成的图片存在哪个文件夹?
11495
帮忙指点一下这个问题，谢谢 加了证书，也是用https 请求的，本地环境正常，部署在函数计算
1131
域名解析到国外ip没问题吧？
19026
展开全部
开发函数计算的正确姿势 —— 移植 next.js 服务端渲染框架
36012
Serverless技术架构——极简运维，无限扩容
25317
10分钟-使用阿里云函数计算构建你的OCR智能识别云端小程序
17283
浅析基于 Serverless 的前后端一体化框架
18267
基于阿里云Serverless架构下函数计算的最新应用场景详解（一）
15784
Installing a Dependency Library for Function Compute
14291
开发函数计算的正确姿势——使用交互模式安装依赖
12189
Serverless助力AI计算：阿里云ACK Serverless/ECI发布GPU容器实例
11225
WebIDE 使用指南
16585
手把手教您将 Ghostscript 移植到函数计算平台
9512
展开全部
相关课程
更多
相关文章
相关电子书
更多
