死磕-kafka(二)

简介: 死磕-kafka(二)

一、为什么需要kafka

①、kafka起源于LinkedIn公司,LinkedIn需要收集各个业务系统和应用的指标数据来进行数据分析。

②、原先是使用"自定义开发"系统来实现的,但是需要采集的数据量非常大的,且内容很复杂,而且除了采集系统的基础指标(内存,CPU,磁盘,网络等)外,还要采集很多和业务相关的数据指标。

③、而且随着数据量的增长,业务的需求的复杂度增高,这个自定义开发的系统的问题也越来越多。

例如:一个HTTP请求过来,如果数据内容是XML数据格式进行传输的话,需要先对这部分数据做解析处理,然后才能拿来做离线分析。

但是解析XML数据格式的解析过程也是非常复杂的,出现问题,定位也非常麻烦,需要很长的处理时间,所以说无法做到实时服务。

④、之后这家公司寻找了一个可支持大数据并且实时服务而且支持水平扩展的解决方案,尝试用过ActiveMQ,但是它不支持水平扩展,并且ActiveMQ内部有很多的bug。

⑤、然后这个公司就自己开发了一个既满足实时处理需求,又可以支持水平扩展的消息系统-kafka,它还拥有高吞吐量特性。

⑥、2010年,kafka项目被托管到Github的开源社区,2021年,kafka成为Apache 项目基金会的一个开源项目,如今,kafka项目已经成为Apache项目基金会的顶级项目之一。


今天先到这了,明天见~~

相关文章
|
4月前
|
消息中间件 存储 分布式计算
死磕-kafka(三)
死磕-kafka(三)
|
8月前
|
消息中间件 存储 Kafka
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
|
4月前
|
消息中间件 存储 算法
死磕-kafka(二)
死磕-kafka(二)
|
4月前
|
消息中间件 Kafka 调度
死磕-kafka(一)
死磕-kafka(一)
|
3月前
|
消息中间件 存储 Kafka
面试题:Kafka如何保证高可用?有图有真相
面试题:Kafka如何保证高可用?有图有真相
|
8月前
|
消息中间件 Kafka API
这些年背过的面试题——Kafka篇
本文是技术人面试系列Kafka篇,面试中关于Kafka都需要了解哪些基础?一文带你详细了解,欢迎收藏!
|
消息中间件 存储 大数据
为啥非要用Kafka?其他MQ不行么? by 彭文华
为啥非要用Kafka?其他MQ不行么? by 彭文华
|
消息中间件 存储 数据采集
kafka几道面试题
kafka几道面试题
kafka几道面试题
|
消息中间件 Java Kafka
滴滴二面:Kafka是如何读写副本消息的?
无论是读取副本还是写入副本,都是通过底层的Partition对象完成的,而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说,理解这些字段的用途,是后续我们探索副本管理器类功能的重要前提。
143 0
|
消息中间件 存储 缓存
你能说出 Kafka 这些原理吗(一)
这是 Java 建设者的第 52 篇原创文章
109 0
你能说出 Kafka 这些原理吗(一)