开发者社区> 问答> 正文

flume 中source如何调优 ?

flume 中source如何调优 ?

展开
收起
芯在这 2021-12-10 22:53:20 259 0
1 条回答
写回答
取消 提交回答
  • source :

    1 ,增加 source 个数,可以增大 source 读取能力。

    2 ,具体做法 : 如果一个目录下生成的文件过多,可以将它拆分成多个目录。每个目录都配置一个 source 。

    3 ,增大 batchSize : 可以增大一次性批处理的 event 条数,适当调大这个参数,可以调高 source 搬运数据到 channel 的性能。

    2021-12-10 22:53:36
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Spark Streaming-as-aService with Kafka and YARN 立即下载
《Apache Flink-实时即未来》 立即下载
使用Apache Beam和HBase进行高效数据处理 立即下载