死磕-kafka(二)

简介: 死磕-kafka(二)

一、为什么需要kafka

①、kafka起源于LinkedIn公司,LinkedIn需要收集各个业务系统和应用的指标数据来进行数据分析。

②、原先是使用"自定义开发"系统来实现的,但是需要采集的数据量非常大的,且内容很复杂,而且除了采集系统的基础指标(内存,CPU,磁盘,网络等)外,还要采集很多和业务相关的数据指标。

③、而且随着数据量的增长,业务的需求的复杂度增高,这个自定义开发的系统的问题也越来越多。

例如:一个HTTP请求过来,如果数据内容是XML数据格式进行传输的话,需要先对这部分数据做解析处理,然后才能拿来做离线分析。

但是解析XML数据格式的解析过程也是非常复杂的,出现问题,定位也非常麻烦,需要很长的处理时间,所以说无法做到实时服务。

④、之后这家公司寻找了一个可支持大数据并且实时服务而且支持水平扩展的解决方案,尝试用过ActiveMQ,但是它不支持水平扩展,并且ActiveMQ内部有很多的bug。

⑤、然后这个公司就自己开发了一个既满足实时处理需求,又可以支持水平扩展的消息系统-kafka,它还拥有高吞吐量特性。

⑥、2010年,kafka项目被托管到Github的开源社区,2021年,kafka成为Apache 项目基金会的一个开源项目,如今,kafka项目已经成为Apache项目基金会的顶级项目之一。


今天先到这了,明天见~~

相关文章
|
并行计算 调度 C++
|
存储 JavaScript 数据库
ToB项目身份认证AD集成(一):基于目录的用户管理、LDAP和Active Directory简述
本文介绍了基于目录的用户管理及其在企业中的应用,重点解析了LDAP协议和Active Directory服务的概念、关系及差异。通过具体的账号密码认证时序图,展示了利用LDAP协议与AD域进行用户认证的过程。总结了目录服务在现代网络环境中的重要性,并预告了后续的深入文章。
539 2
|
Rust 网络协议 安全
Rust在系统编程中的案例分享
Rust在系统编程中的案例分享
252 10
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
389 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
机器学习/深度学习 Linux TensorFlow
【Tensorflow+keras】用代码给神经网络结构绘图
文章提供了使用TensorFlow和Keras来绘制神经网络结构图的方法,并给出了具体的代码示例。
309 0
|
消息中间件 存储 Java
大数据-58 Kafka 高级特性 消息发送02-自定义序列化器、自定义分区器 Java代码实现
大数据-58 Kafka 高级特性 消息发送02-自定义序列化器、自定义分区器 Java代码实现
241 3
|
消息中间件 缓存 大数据
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
163 3
|
消息中间件 SQL 分布式计算
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
162 1
解除谷歌浏览器默认禁止音频自动播放
解除谷歌浏览器默认禁止音频自动播放
201 1
|
开发框架 持续交付 项目管理
敏捷项目管理:Scrum框架详解
【8月更文挑战第19天】Scrum作为一种轻量级、灵活的敏捷开发框架,为软件开发项目提供了一种高效、灵活的管理方式。通过明确的核心概念、角色、活动和工件,Scrum帮助团队快速响应变化、持续交付价值,并提升团队协作和自组织能力。然而,成功实施Scrum也面临一些挑战,如沟通成本、文档缺失以及技能要求等。因此,在采用Scrum框架时,团队需要充分准备,确保成员具备必要的技能和态度,以充分发挥Scrum的优势,实现项目的成功。