开发者社区> 1175223700484759> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

大数据面试题:介绍下Kafka,Kafka的作用?Kafka的组件?适用场景?

简介: Kafka的作用?Kafka的组件?适用场景?
+关注继续查看

Kafka是一种分布式、高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,主要应用于大数据实时处理领域。简单地说,Kafka就相比是一个邮箱,生产者是发送邮件的人,消费者是接收邮件的人,Kafka就是用来存东西的,只不过它提供了一些处理邮件的机制。

1、作用

1)发布和订阅消息流

2)以容错的方式记录消息流,kafka以文件的方式来存储消息流

3)可以在消息发布的时候进行处理

2、优势

高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒;

可扩展性:kafka集群支持热扩展;

持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失;

容错性:允许集群中节点故障(若副本数量为n,则允许n-1个节点故障);

高并发:支持数千个客户端同时读写。

3、组件

imageimage.gif编辑

Topic :可以理解为一个队列,生产者和消费者面向的都是一个 topic;

Producer :消息生产者,就是向 kafka broker 发消息的客户端;

Consumer:消息消费者,向 kafka broker 取消息的客户端;

Broker :一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。

4、使用场景

1)在系统或应用程序之间构建可靠的用于传输实时数据的管道,消息队列功能

2)构建实时的流数据处理程序来变换或处理数据流,数据处理功能

通俗一点来说

日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer;

消息系统:解耦生产者和消费者、缓存消息等;

用户活动跟踪:kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后消费者通过订阅这些topic来做实时的监控分析,亦可保存到数据库;

运营指标:kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告;

流式处理:比如Spark streaming和Flink。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Kafka的安装与入门基础(下)
Kafka的安装与入门基础(下)
60 0
Kafka的安装与入门基础(上)
Kafka的安装与入门基础(上)
56 0
Kafka概述及安装 | 带你读《SpringBoot实战教程》之三十七
Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上,并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成,用于实时流式数据分析。
850 0
【教程】Linux下如何下载与安装Kafka ?
Kafka是java生态圈中的一员,运行在java虚拟机上,按Kafka官方说明,java环境推荐Java8;Kafka需要Zookeeper保存集群的元数据信息和消费者信息。Kafka一般会自带Zookeeper,但是从稳定性考虑,应该使用单独的Zookeeper,而且构建Zookeeper集群。
8722 0
kafka的安装与启动运行
kafka简介 kafka是一种高吞吐量的分布式发布订阅消息系统。 环境搭建 1.首先安装JDK 下载地址https://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.
1239 0
Linux Ubuntu实战安装Kafka集群管理器 Kafka Manager
Linux Ubuntu实战安装Kafka集群管理器 Kafka Manager经验分享,详细步骤。
2597 0
Linux Ubuntu 18.04安装Kafka消息队列MQ中间件
Kafka是开源高并发百万级消息队列MQ中间件,在互联网、物联网IOT、大数据、电商、直播、游戏、导航领域广泛使用。 本文讲解最新的Kafka在Linux系统上的详细安装步骤。
2641 0
kafka安装与测试
基于linux-Centos7.0环境先进行测试学习 Producer即生产者,向Kafka集群发送消息,在发送消息之前,会对消息进行分类,即Topic, Topic即主题,通过对消息指定主题可以将消息分类,消费者可以只关注自己需要的Topic中的消息 Consumer即消费者,消费者通过与kafka集群建立长连接的方式,不断地从集群中拉取消息,然后可以对这些消息进行处理。
1230 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
消息队列 Kafka 版差异化特性
立即下载
任庆盛|Flink CDC + Kafka 加速业务实时化
立即下载
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载