鱼跟猫 2018-03-01 2584浏览量
本文介绍如何利用Kafka自带的性能测试脚本测试E-MapReduce Kafka集群的性能,文末给出一份单机测试Kafka集群的性能数据。此数据仅供参考,不代表官方性能指标承诺。
非特定表述,以下所有Kafka集群指E-MapReduce Kafka集群。
节点 | 配置 | 机器数目 |
---|---|---|
Master | 非独享 4核16GB 80GB(高效云盘)x 1 | 1 |
Core | 非独享 16核32GB 500GB(SSD云盘)x 4 | 10 |
配置 | 机器数目 |
---|---|
非独享 16核32GB 500GB(SSD 云盘)x 1 | 3 |
注意:
软件版本:
Broker配置
Topic配置:
使用Kafka自带测试工具:
436 records sent, 86.4 records/sec (94.64 MB/sec), 333.9 ms avg latency, 617.0 max latency.
420 records sent, 83.0 records/sec (90.82 MB/sec), 365.9 ms avg latency, 814.0 max latency.
481 records sent, 93.7 records/sec (102.63 MB/sec), 315.2 ms avg latency, 579.0 max latency.
10000 records sent, 87.576410 records/sec (95.88 MB/sec), 325.37 ms avg latency, 1860.00 ms max latency, 370 ms 50th, 575 ms 95th, 779 ms 99th, 1851 ms 99.9th.
注意:本次测试使用一台机器压测Kafka集群
分析:
附acks说明:
分析:
分析:
问题1:KafkaManager:Yikes! Ask timed out on [ActorSelection[]] after 5000 ms
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11