kafka appender限流怎么办？
hi all我们flink平台想收集所有流任务（5000+）error日志到kafka做进一步分析，通过 log4j2 的原生kafkaappender实现 大家是否遇到过这样的场景：大量任务error日志突增，打满kafka，导致整条链路瘫痪 小问题： 1.是否有什么方法做kafka appender的限速，比如：每秒error log达到10条，我就丢弃 2.有其他方式，避免平台无法预知的抖动，导致error日志突曾导致的kafka瓶颈*来自志愿者整理的flink邮件归档
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
只有 error 级别的日志这个数据量我理解应该不大吧? 是 CPU 被打满 还是磁盘 IO 被打满了?*来自志愿者整理的FLINK邮件归档
2021-12-02 16:58:46赞同 展开评论
相关问答