车主无忧:为什么放弃开源Kafka?-阿里云开发者社区

开发者社区> 中间件小哥> 正文

车主无忧:为什么放弃开源Kafka?

简介: 通过迁移到商业版本的 Kafka,车主无忧的系统稳定性得到了大幅提升,消息无丢失,生产与消费端的抖动明显好转,整个消息集群平稳运行,有效地支持了业务的快速发展。
+关注继续查看

image.png
车主无忧是属于广州小迈网络科技公司服务于汽车后市场的重要产品。小迈网络是一家以一、二线城市车主为目标用户的移动互联网公司,通过构建串联车主与商家的O2O平台,降低车主用车成本,提升车主用车品质。目前车主用户已破亿,在艾瑞咨询 App 热点指数“汽车护理”领域排名第一。

开源 Kafka 的痛点

最开始,车主无忧采用开源 Kafka ,但在实践过程中,开源 Kafka 的短板越来越明显。在容量弹性层面:开源 Kafka 在 Partition 分区规模超过1000后有明显的抖动,集群扩容小时级别,业务有感知。在存储开销方面:开源 Kafka 多副本存储,存储压力大,且会在磁盘写满的情况下直接停止运行,没有保扩机制,需要额外提供告警人工处理。在性能方面:在处理冷数据读的时候处理速度明显下降,数据写入有一定失败几率;拉取G级别的数据时,Full GC高频出现。

针对开源 Kafka 与阿里云消息队列 Kafaka 对比后,车主无忧决定采用经过优化的阿里云商业版消息队列 Kafka ,它的优势就是开箱即用,完全兼容开源的无缝迁移的特性,结合最佳实践《在线迁移消息队列Kafka》 的指导,自主高效地完成了迁移工作。

由阿里云团队进行专业的运维,利用Kafka的自动化内检功能,保证Broker以及依赖组件Zookeeper的健康稳定。

运维白屏化管理,可以协助用户进行快速的分钟级扩容。

提供了有效的故障管理。

借助商业版本提供的监控告警能力,实时掌握硬件资源与服务可用性情况,指导车主无忧的应用进行优化调整。

通过迁移到商业版本的 Kafka,车主无忧的系统稳定性得到了大幅提升,消息无丢失,生产与消费端的抖动明显好转,整个消息集群平稳运行,有效地支持了业务的快速发展。

效率提升:Kafka 提供了白屏化的管理方式, 基于阿里云提供的控制台,车主无忧可以方便快捷地扩展实例,对 Topic 进行管理,以及扩展 Partition。另外还提供了堆积、 消息查询等实时监控功能,并且可以设定各种资源的报警规则,用于快速定位问题、提升诊断效率、指导优化系统。

成本控制:节省了大量的运维人力成本,解放了生产力,综合比较,使用商业版本的使用成本更划算。

直播

为了让大家更好地理解阿里云消息队列 Kafka,阿里云专门策划了“互联网架构升级实战课”,每周由一位阿里云解决方案架构师以课程直播的形式详细讲解实战经验,并在群内答疑。

直播议题:

阿里云消息队列 Kafka 实战经验分享

讲师简介:

鹿玄,阿里云智能解决方案架构师,经历过大型分布式系统的开发和维护,并在云计算、云原生等领域有多年从业经验。对系统架构选型、问题排查、性能调优有着丰富的实战经验。致力于通过云原生架构转型来帮助阿里云各行业客户实现业务价值。

分享简介:

消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的一部分。本次直播将为您深入分享消息队列 Kafka 的实战经验。

议题大纲:

  1. 阿里云消息队列 Kafka 的优势
  2. 如何迁移到阿里云 Kafka,有哪些注意事项和应对策略?
  3. 客户端原理及实践
  4. 典型应用场景与案例经验分享

观看方式:

【加入钉钉群观看】阿里云专门成立了“互联网架构升级实战课”钉钉群,每周邀请一位阿里云专家在群内进行行业最佳实践直播,每天分享行业前沿干货,欢迎钉钉搜索群号加入:35712134。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云正式推出消息队列Kafka:兼容开源,数据可靠性99.999999%
7月25日,阿里云宣布正式推出消息队列Kafka,全面融合开源生态。在兼容Apache生态的基础上,阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点,可用性达99.9%,数据可靠性99.999999%,并且支持消息无缝迁移到云上。
4234 0
ospaf-开源项目成熟度分析工具
1.概述    软件成熟度评估的最终目标是帮助软件的可持续发展,并为用户应用提供必要的技术参考。开放源代码软件成熟度评估也不例外。我们通过软件的成熟度评估,形成全面的涉及技术、应用、法律等层面的评价报告,帮助那些正在或潜在的开源软件使用者准确的了解软件的技术特性和应用特性,从而为他们选择适合自身需求的开源软件提供参考。同时报告中涉及的大量评测数据,为开源软件的开发者提供帮助,促进他们有效的
848 0
蚂蚁金服开源 SOFAJRaft:生产级 Java Raft 算法库
什么是 SOFAJRaft ?SOFAJRaft 是一个基于 Raft 一致性算法的生产级高性能 Java 实现,支持 MULTI-RAFT-GROUP,适用于高负载低延迟的场景。
1475 0
我的mqtt协议和emqttd开源项目个人理解(13) - Hook使用和连接Kafka发送消息,使用brod库
我的mqtt协议和emqttd开源项目个人理解(13) - Hook使用和连接Kafka发送消息,使用brod库
22 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4478 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3227 0
+关注
中间件小哥
阿里中间件(Aliware)官方账号
1036
文章
51
问答
来源圈子
更多
阿里云中间件主要有包含这么几个: 分布式关系型数据库DRDS_水平拆分 做数据库扩展性的 、消息队列MQ 是做消息的中间件、企业级分布式应用服务EDAS 做分布式服务的、还有一些其他的中间件,比如配置服务、缓存等等。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载