kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
问题导读:
1.zookeeper在kafka的作用是什么?
2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?
3.kafka集群consumer和producer状态信息是如何保存的?
4.partitions设计的目的的根本原因是什么?
一、入门
1、简介
Kafka is a dist
ELK日志分析方案
针对公司项目微服务化,随着项目及服务器的不断增多,决定采用ELK(Elasticsearch+Logstash+Kibana)日志分析平台进行微服务日志分析。
1.ELK整体方案
1.1 ELK架构图
1.2 ELK工作流程
1.在微服务服务器上部署Logstash,作为Shipper的角色,对微服务日志文件数据进行数据采集,将采集到的数据输出到Redis消息队列。
kafka0.8--0.11各个版本特性预览介绍
kafka-0.8.2 新特性 producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率。producer请求会返回一个应答对象,包括偏移量或者错误信。