1
条回答
写回答
写回答
-
任务本身要请求的数据量会特别大。通常来说一天原始的数据量可能在几十TB。几百个分区，甚至上千个分区，五万+的文件数这样子。如果说全量读取这些文件的话，几百个分区就会向 NameNode 发送几百次请求，我们知道离线任务在凌晨运行的时候，NameNode 的压力是非常大的。所以就很有可能出现 Namenode 响应很慢的情况，如果请求响应很慢就会导致任务初始化时间很长。
2021-12-10 11:06:28赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
请问主域名备案了，子域名还要备案吗？
7162
求助下大家，sd云端跑的时候报这个错误
15075
函数计算FC提示网页可能暂时无法连接，或者它已永久性地移动到了新网址是什么意思？
234
sd界面里为啥没有lora模块选项呀？
79138
在终端怎么升级python？
6128
哪位大佬知道stable diffusion生成的图片存在哪个文件夹?
10850
sd从网址安装插件报错：AssertionError: extension access disab
12394
Dokerfile构建总是超时，怎么处理？
718
按照函数计算FC的comfyUI部署的，comfyUI界面上没有显示Manager 按钮，是为什么？
1075
GPU实例中T4和A10两款性能差别多大？另外如何在s.yaml中指定GPU型号呢？
7638
展开全部
thinkphp项目迁移到函数计算
28229
Serverless技术架构——极简运维，无限扩容
25284
阿里云宣布推出Serverless Kubernetes服务 30秒即可完成应用部署
21752
快速搭建 Serverless 人脸识别离线服务
15954
大道至简 - 基于Docker的Serverless探索之旅
17607
基于阿里云Serverless架构下函数计算的最新应用场景详解（一）
15737
阿里云函数计算 - 事件驱动的serverless计算平台
16388
15+文章详细讲述Serverless：开启函数计算时代！（含PDF下载）
13342
轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
14005
BaaS云架构核心模式之Serverless架构 - 用服务代替服务器(Martin Fowler)
12961
展开全部
