kafka系列文章索引(结束)

简介:

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现,这里写个索引,关于kafka的文章暂时就更新到这里,最近利用空闲时间在对 kafka做一些功能性增强,并java化,虽然现在已经有很多这样的版本,但是根据实际需求来改变才是最适合的。

首先当然推荐的是kafka的官网 http://kafka.apache.org/ 

在官网最值得参考的文章就是kafka design:http://kafka.apache.org/design.html,我的文章也基本都是参照这里的说明,大家要特别重视这篇文章,里面有好多理念都特别好,推荐多读几遍。

在OSC的翻译频道有kafka design全中文的翻译,翻得挺好的,推荐一下:http://www.oschina.net/translate/kafka-design

kafka的wiki是很不错的学习文档:https://cwiki.apache.org/confluence/display/KAFKA/Index

——————————————————————————————————

接下来就是我写的一系列文章,文章都是循序渐进的方式带你了解kafka:

关于kafka的基本知识,分布式的基础:《分布式消息系统Kafka初步》

kafka的分布式搭建,quick start:《kafka分布式环境搭建》

关于kafka的实现细节,这主要就是讲design的部分:《细节上》《细节下》

关于kafka开发环境,scala环境的搭建:《开发环境搭建》

数据生产者,producer的用法:《producer的用法》《producer使用注意》

数据消费者,consumer的用法:《consumer的用法》

还有些零碎的,关于通信段的源码解读:《net包源码解读》《broker配置》

——————————————————————————————————

扩展的阅读还有下面这些:

我的好友写的关于kafka和jafka的相关博客,特别好,我有很多问题也都找他解决的,大神一般的存在:http://rockybean.github.com/   @rockybean

kafka的java化版本jafka:https://github.com/adyliu/jafka

淘宝的metaQ:https://github.com/killme2008/Metamorphosis

我最近在写的inforQ,刚开始写,我也纯粹是为了读下源码,不定期更新哈:https://github.com/ielts0909/inforq

后面一阶段可能更新点儿关于cas的东西吧,具体也没想好,最近一直出差,写代码的时间都很少

--------------------------------------------------------------------------------

0.8版本的相关更新如下:

0.8更新内容介绍:《kafka0.8版本的一些更新》


本文转自快乐就好博客园博客,原文链接:http://www.cnblogs.com/happyday56/p/4210954.html,如需转载请自行联系原作者
相关文章
|
3月前
|
消息中间件 存储 Java
全网把Kafka概念讲的最透彻的文章,别无二家
消息队列老大哥Kafka在官网的介绍是这么说的,真是霸气:全球财富前100强公司有超过80%信任并使用Kafka。Kafka目前在GitHub目前也已经有star数27.6k、fork数13.6k。大家好,我是南哥。一个对Java程序员进阶成长颇有研究的人,今天我们开启新的一篇Java进阶指南,本期的对象是Kafka。Kafka历史Star趋势图本文收录在我开源的《Java学习面试指南》中,一份涵盖Java程序员所需掌握核心知识、面试重点的Java指南。希望收到大家的 ⭐ Star ⭐支持。
104 1
全网把Kafka概念讲的最透彻的文章,别无二家
|
4月前
|
消息中间件 监控 Java
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
本文由北京宝兰德公司解决方案总监徐清康撰写,探讨了Kafka和AutoMQ集群的监控。
213 2
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
|
3月前
|
消息中间件 Kafka 程序员
彻底搞懂Kafka生产消费流程,这篇文章就够了!
```markdown 🚀 Kafka 生产消费流程揭秘:Producer 创建守护线程Sender,消息经拦截器→序列化器→分区器→缓冲区。批量发送基于batch.size或linger.ms条件。acks参数控制可靠性,从0(最快但不可靠)到all(最可靠)。消息重试和元数据返回确保不丢失。关注“软件求生”公众号,探索更多技术! ```
70 1
|
4月前
|
消息中间件 Java Kafka
「布道师系列文章」众安保险王凯解析 Kafka 网络通信
本文由众安保险基础平台 Java 开发专家王凯解析 Kafka 网络通信流程,重点关注请求处理和网络通信模型。文中介绍了生产者与消费者与消息队列的交互,以及服务器端的处理步骤,包括 Acceptor、Processor 和 RequestHandler 的工作原理。此外,还讨论了 Kafka 的线程模型,特别是 KafkaApis 在请求处理中的核心作用。最后,文章提到了 AutoMQ 如何通过优化线程模型和 RequestChannel 实现更高效、有序的处理。参考链接包括 Kafka 3.7、Java NIO 教程和 AutoMQ 相关资料。
40 0
「布道师系列文章」众安保险王凯解析 Kafka 网络通信
|
5月前
|
消息中间件 存储 Kafka
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
107 1
|
消息中间件 存储 JSON
慕了,我要是早点看到这篇写 Kafka 的分区管理的文章就好了
Kafka可以将主题划分为多个分区(Partition),会根据分区规则选择把消息存储到哪个分区中,只要如果分区规则设置的合理,那么所有的消息将会被均匀的分布到不同的分区中,这样就实现了负载均衡和水平扩展。另外,多个订阅者可以从一个或者多个分区中同时消费数据,以支撑海量数据处理能力。
|
消息中间件 存储 分布式计算
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(二)
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(二)
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(二)
|
消息中间件 存储 运维
【kafka原理】kafka Log存储解析以及索引机制
我们在kafka的log文件中发现了还有很多以 __consumer_offsets_的文件夹;总共50个; 由于Zookeeper并不适合大批量的频繁写入操作,新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中,即__consumer_offsets topic,并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。
【kafka原理】kafka Log存储解析以及索引机制
|
消息中间件 负载均衡 Kafka
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(三)
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(三)
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(三)
|
消息中间件 存储 负载均衡
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(一)
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(一)
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一(一)
下一篇
无影云桌面