Kafka是一种分布式、高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,主要应用于大数据实时处理领域。简单地说,Kafka就相比是一个邮箱,生产者是发送邮件的人,消费者是接收邮件的人,Kafka就是用来存东西的,只不过它提供了一些处理邮件的机制。
1、作用
1)发布和订阅消息流
2)以容错的方式记录消息流,kafka以文件的方式来存储消息流
3)可以在消息发布的时候进行处理
2、优势
高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒;
可扩展性:kafka集群支持热扩展;
持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失;
容错性:允许集群中节点故障(若副本数量为n,则允许n-1个节点故障);
高并发:支持数千个客户端同时读写。
3、组件
编辑
Topic
:可以理解为一个队列,生产者和消费者面向的都是一个 topic;
Producer
:消息生产者,就是向 kafka broker 发消息的客户端;
Consumer
:消息消费者,向 kafka broker 取消息的客户端;
Broker
:一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。
4、使用场景
1)在系统或应用程序之间构建可靠的用于传输实时数据的管道,消息队列功能
2)构建实时的流数据处理程序来变换或处理数据流,数据处理功能
通俗一点来说
日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer;
消息系统:解耦生产者和消费者、缓存消息等;
用户活动跟踪:kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后消费者通过订阅这些topic来做实时的监控分析,亦可保存到数据库;
运营指标:kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告;
流式处理:比如Spark streaming和Flink。