大数据开发岗大厂面试30天冲刺 - 日积月累,每日五题【Day04】——Kafka2

简介: 大数据开发岗大厂面试30天冲刺 - 日积月累,每日五题【Day04】——Kafka2

面试题 01 Kafka中消费者与消费者组的关系是什么?

•消费者组负责订阅Topic,消费者负责消费Topic分区的数据

•消费者组中可以包含多个消费者,多个消费者共同消费数据,增加消费并行度,提高消费性能

•消费者组的id由开发者指定,消费者的id由Kafka自动分配

面试题02、Kafka中Topic和Partition是什么,如何保证Partition数据安全?

Topic:逻辑上实现数据存储的分类,类似于数据库中的表概念

Partition:Topic中用于实现分布式存储的物理单元,一个Topic可以有多个分区

–每个分区可以存储在不同的节点,实现分布式存储

•保证数据安全通过副本机制:Kafka中每个分区可以构建多个副本【副本个数 <= 机器的个数】

–将一个分区的多个副本分为两种角色

leader副本:负责对外提供读写请求

follower副本:负责与leader同步数据,如果leader故障,follower要重新选举一个成为leader

选举:由Kafka Crontroller来决定谁是leader

面试题 03 Kafka中的Segment是什么?

•Segment是对分区内部的数据进行更细的划分,分区段,文件段

规则:按照文件产生的时间或者大小

目的:提高写入和查询性能

–文件名称可以用于检索数据:用offset命名的

组成:每个Segment由两个文件组成

–.log:存储的数据

–.index:对应.log文件的索引信息

面试题04、Kafka中的Offset是什么?

•Offset是kafka中存储数据时给每个数据做的标记或者编号

•分区级别的编号,每个分区从0开始编号

功能:消费者根据offset来进行消费,保证顺序消费以及消费数据的一次性语义

面试题05、请简述如何使用Kafka Simple Java API 实现数据生产?描述具体的类及方法

•step1:构建生产者连接对象:KafkaProducer

–需要配置对象:管理配置,例如连接地址:Properties

•step2:KafkaProducer:send:生产数据到Kafka中

–需要构建一个生产的数据对象:ProducerRecord

–ProducerRecord(Topic,Value)

–ProducerRecord(Topic,Key,Value)

–ProducerRecord(Topic,Partition,Key,Value)

总结

今天我们复习了面试中常考的Kakfa相关的五个问题,你做到心中有数了么?

其实做这个专栏我也有私心,就是希望借助每天写一篇面试题,督促自己学习,以免在吹水群甚至都没有谈资!

对了,如果你的朋友也在准备面试,请将这个系列扔给他,

好了,今天就到这里,学废了的同学,记得在评论区留言:打卡。给同学们以激励。


目录
相关文章
|
消息中间件 存储 缓存
大厂面试高频:Kafka 工作原理 ( 详细图解 )
本文详细解析了 Kafka 的核心架构和实现原理,消息中间件是亿级互联网架构的基石,大厂面试高频,非常重要,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:Kafka 工作原理 ( 详细图解 )
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
593 2
|
消息中间件 架构师 Java
美团面试:对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题?
美团面试:对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题?
美团面试:对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题?
|
消息中间件 关系型数据库 MySQL
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
994 0
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
400 0
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
492 0
|
人工智能 DataWorks 大数据
大数据AI一体化开发再加速:DataWorks 支持GPU类型资源
大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。
1055 24
|
消息中间件 运维 Java
招行面试:RocketMQ、Kafka、RabbitMQ,如何选型?
45岁资深架构师尼恩针对一线互联网企业面试题,特别是招商银行的高阶Java后端面试题,进行了系统化梳理。本文重点讲解如何根据应用场景选择合适的消息中间件(如RabbitMQ、RocketMQ和Kafka),并对比三者的性能、功能、可靠性和运维复杂度,帮助求职者在面试中充分展示技术实力,实现“offer直提”。此外,尼恩还提供了《尼恩Java面试宝典PDF》等资源,助力求职者提升架构、设计、开发水平,应对高并发、分布式系统的挑战。更多内容及技术圣经系列PDF,请关注【技术自由圈】获取。
|
消息中间件 大数据 Kafka
大厂面试高频:Kafka、RocketMQ、RabbitMQ 的优劣势比较
本文深入探讨了消息队列的核心概念、应用场景及Kafka、RocketMQ、RabbitMQ的优劣势比较,大厂面试高频,必知必会,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:Kafka、RocketMQ、RabbitMQ 的优劣势比较
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
687 1