AI 助理
备案控制台
开发者社区 微服务 文章 正文

《kafka问答100例 -2》 创建Topic的时候 什么时候在Broker磁盘上创建的日志文件

2021-12-29 128
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： 《kafka问答100例 -2》 创建Topic的时候 什么时候在Broker磁盘上创建的日志文件

kafka创建Topic的时候 什么时候在Broker磁盘上创建的日志文件?

当Controller监听zk节点/brokers/topics变更之后,将新增的Topic 解析好的分区状态流转

NonExistentPartition->NewPartition->OnlinePartition 当流转到OnlinePartition的时候会像分区分配到的Broker发送一个leaderAndIsrRequest请求,当Broker们收到这个请求之后,根据请求参数做一些处理,其中就包括检查自身有没有这个分区副本的本地Log;如果没有的话就重新创建;


image.png


文章标签：
云消息队列 Kafka 版
日志服务
消息中间件
Kafka
关键词：
云消息队列 Kafka 版broker
日志服务文件
云消息队列 Kafka 版磁盘
云消息队列 Kafka 版日志
kafka日志服务
石臻臻的杂货铺
目录
相关文章
郑小健
|
26天前
|
消息中间件 存储 负载均衡
Apache Kafka核心概念解析：生产者、消费者与Broker
【10月更文挑战第24天】在数字化转型的大潮中，数据的实时处理能力成为了企业竞争力的重要组成部分。Apache Kafka 作为一款高性能的消息队列系统，在这一领域占据了重要地位。通过使用 Kafka，企业可以构建出高效的数据管道，实现数据的快速传输和处理。今天，我将从个人的角度出发，深入解析 Kafka 的三大核心组件——生产者、消费者与 Broker，希望能够帮助大家建立起对 Kafka 内部机制的基本理解。
郑小健
56 2
武子康
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
武子康
39 4
武子康
|
1月前
|
消息中间件 JSON 大数据
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
武子康
68 4
武子康
|
1月前
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
武子康
56 3
武子康
|
1月前
|
消息中间件 存储 分布式计算
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
大数据-53 Kafka 基本架构核心概念 Producer Consumer Broker Topic Partition Offset 基础概念了解
武子康
67 4
武子康
|
1月前
|
消息中间件 SQL 分布式计算
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
武子康
38 1
武子康
|
1月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
武子康
41 1
武子康
|
1月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
武子康
27 1
武子康
|
1月前
|
消息中间件 Java 大数据
大数据-56 Kafka SpringBoot与Kafka 基础简单配置和使用 Java代码 POM文件
大数据-56 Kafka SpringBoot与Kafka 基础简单配置和使用 Java代码 POM文件
武子康
69 2
游客j4mujezz7vm7y
|
2月前
|
消息中间件 Kafka Apache
kafka: invalid configuration (That topic/partition is already being consumed)
kafka: invalid configuration (That topic/partition is already being consumed)
游客j4mujezz7vm7y
42 2

热门文章

最新文章

  • 1
    ORA-16038: log 3 sequence# 103 cannot be archived
  • 2
    MySQL的innodb_flush_log_at_trx_commit配置值的设定
  • 3
    【编程练习】收集的一些c++代码片，算法排序，读文件，写日志，快速求积分等等
  • 4
    innodb重做日志缓冲
  • 5
    让log4j的DailyRollingFileAppender自动删除过期文件
  • 6
    JVM - 一篇带你读懂 Java GC 日志（附 GC 耗时讲解）
  • 7
    httpd服务之部署AWStats日志分析系统
  • 8
    python日志模块logging
  • 9
    我的Android进阶之旅------>Android关于Log的一个简单封装
  • 10
    庖丁解InnoDB之REDO LOG
  • 1
    rabbitmq与kafka的区别
    91
  • 2
    Kafka 线程模型痛点攻克： 提升分区写入 2 倍性能
    129
  • 3
    spring kafka的问题集锦
    217
  • 4
    【消息中心】kafka消费失败重试10次的问题
    791
  • 5
    Kafka Exactly Once 语义实现原理：幂等性与事务消息
    184
  • 6
    Kafka 迁移工具 MirrorMaker2 原理起底
    247
  • 7
    一文搞懂 Kafka consumer 与 broker 交互机制与原理
    565
  • 8
    Kafka消息队列原理及应用详解
    269
  • 9
    扒开kafka内部组件，咱瞅一瞅都有啥？
    74
  • 10
    DataWorks操作报错合集之通过dataworks把表数据发送到kafka，表字段全是string类型如何解决
    78

    • 相关课程

    更多
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 消息队列Kafka入门课程
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 分布式消息系统 Kafka 快速入门

    • 相关电子书

    更多
  • Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
  • 消息队列kafka介绍

    • 相关实验场景

    更多
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用日志服务SLS进行OSS可观测分析
  • RocketMQ中使用Java客户端发送消息和消费的应用
  • 多账号体系下使用日志服务中心化的管理日志
    • 下一篇
    无影云桌面