AI 助理
备案控制台
开发者社区 问答 正文

大家好，业务场景是这样的，从kafka拉来的数据需要对原始日志进行备份，使用 BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS，不同的文件写入不同的目录，有性能问题吗，每个新到的文件就新new一个BucketingSink，

转自钉钉群21789141：大家好，业务场景是这样的，从kafka拉来的数据需要对原始日志进行备份，使用
BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS，不同的文件写入不同的目录，有性能问题吗，每个新到的文件就新new一个BucketingSink

展开
收起
赵慧@ApacheFlink中文社区 2018-10-18 15:44:21 4035 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 赵慧@ApacheFlink中文社区

    石权：没用过，你有什么方面的顾虑？是HDFS的并发写多个目录么？HDFS是基于block操作的，写一个目录还是写多个目录并没有区别。

    2019-07-17 23:09:17
    赞同 展开评论
问答分类：
消息中间件 Kafka 云消息队列 Kafka 版 日志服务
问答标签：
日志服务数据 场景日志服务 文件存储HDFS版数据 日志服务文件 云消息队列 Kafka 版数据
问答地址：
开发者社区 > 微服务 > 问答
相关问答
E-MapReduce worker节点/mnt/disk1/log/hadoop-hdfs/...
66
1
0
PolarDB打开SQL洞察（全量SQL日志审计）对性能有什么影响
74
1
0
flink cdc sql将一个source，sink到pg和kafka，这种场景支持吗?
141
0
0
PolarDB清理undo log空间是否会对性能有影响
89
1
0
RocksDB在云存储环境下，如何通过log I/O任务并行打散来优化性能？
87
1
0
Redis Stream在高吞吐场景下相比Kafka有哪些优势？
204
1
0
Kafka主要应用于哪些场景？
213
1
0
在容器内文件采集性能的对比中，Filebeat和iLogtail在1M/s输入日志速率下CPU使用率
89
1
0
在标准输出流采集性能的对比中，Filebeat和iLogtail在1M/s输入日志速率下的CPU使用
69
1
0
在 iLogtail 配置中，如何避免输出组件导致的性能差异，并过滤掉特定命名空间的日志？
80
1
0