AI 助理
备案控制台
开发者社区 问答 正文

HDFS无法高效存储大量小文件，想让它能处理好小文件，比较可行的改进策略包括哪些？

HDFS无法高效存储大量小文件，想让它能处理好小文件，比较可行的改进策略包括哪些？

展开
收起
游客coqayqskxr2xe 2021-12-05 15:30:12 1787 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客jegljo24q422m

    利用SequenceFile、MapFile、Har等方式归档小文件 多Master设计 Block大小适当调小

    2021-12-05 15:30:42
    赞同 展开评论
问答分类：
存储
问答标签：
文件存储HDFS版文件 文件存储HDFS版存储 文件存储HDFS版小文件 文件存储HDFS版存储策略 文件存储HDFS版策略
问答地址：
开发者社区 > 云计算 > 问答
相关问答
E-MapReduce集群如何给core节点新增云盘实现HDFS存储池扩容
35
1
0
Flink DLF Catalog是否支持HDFS存储
51
1
0
JindoFS的分层存储与HDFS的setStoragePolicy有何不同？
37
1
0
Flink当前可以直接在 vvp 上创建存储在 oss-hdfs 的 paimon 表么？
161
3
0
大佬们，flink sql写hdfs怎么控制小文件数量啊？配置了一堆参数，都没效果啊
108
1
0
大家好。 flink1.15.2使用hdfs的filesystem做存储，现在对state设置？
144
4
0
问一下大佬们，我们最近flink任务从checkpoint（hdfs存储)恢复，发现恢复信息里还尝试
523
2
0
问一下群里的大佬们，我们最近flink任务从checkpoint（hdfs存储)恢复，发现恢复信息里
199
1
0
flink 集群模式下 只能用hdfs来存储Savepoint吗？
212
1
0
数据写入HDFS 我想指定压缩格式，不想指定存储格式 可以吗 ？
613
2
0