大家好,业务场景是这样的,从kafka拉来的数据需要对原始日志进行备份,使用 BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS,不同的文件写入不同的目录,有性能问题吗,每个新到的文件就新new一个BucketingSink,-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

大家好,业务场景是这样的,从kafka拉来的数据需要对原始日志进行备份,使用 BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS,不同的文件写入不同的目录,有性能问题吗,每个新到的文件就新new一个BucketingSink,

赵慧 2018-10-18 15:44:21 1705

转自钉钉群21789141:大家好,业务场景是这样的,从kafka拉来的数据需要对原始日志进行备份,使用
BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS,不同的文件写入不同的目录,有性能问题吗,每个新到的文件就新new一个BucketingSink

消息中间件 Kafka
分享到
取消 提交回答
全部回答(1)
  • 赵慧
    2019-07-17 23:09:17

    石权:没用过,你有什么方面的顾虑?是HDFS的并发写多个目录么?HDFS是基于block操作的,写一个目录还是写多个目录并没有区别。

    0 0
微服务
使用钉钉扫一扫加入圈子
+ 订阅

构建可靠、高效、易扩展的技术基石

推荐文章
相似问题