AI 助理
文档备案控制台
开发者社区 微服务 文章 正文

《kafka问答100例 -5》什么时候真正执行删除Topic磁盘日志 ?

2021-12-29 212
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 《kafka问答100例 -5》什么时候真正执行删除Topic磁盘日志 ?

什么时候真正执行删除Topic磁盘日志 ?


Controller监听到zk节点/admin/delete_topics之后,向所有存活的Broker发送删除Topic的请求; Broker收到请求之后将待删除副本标记为–delete后缀; 然后会有专门日志清理现场来进行真正的删除操作; 延迟多久删除是靠file.delete.delay.ms来决定的；默认是60000毫秒 = 一分钟


image.png

image.png


文章标签：
云消息队列 Kafka 版
日志服务
消息中间件
Kafka
关键词：
云消息队列 Kafka 版topic
日志服务磁盘
云消息队列 Kafka 版磁盘
kafka日志服务
云消息队列 Kafka 版日志
石臻说AI
目录
相关文章
消息中间件 Java Kafka
465 0
翻滚的樱桃肉
|
12月前
|
消息中间件 人工智能 安全
秒级灾备恢复：Kafka 2025 AI自愈集群下载及跨云Topic迁移终极教程
Apache Kafka 2025作为企业级实时数据中枢，实现五大革新：量子安全传输（CRYSTALS-Kyber抗量子加密算法）、联邦学习总线（支持TensorFlow Federated/Horizontal FL框架）、AI自愈集群（MTTR缩短至30秒内）、多模态数据处理（原生支持视频流、3D点云等）和跨云弹性扩展（AWS/GCP/Azure间自动迁移）。平台采用混合云基础设施矩阵与软件依赖拓扑设计，提供智能部署架构。安装流程涵盖抗量子安装包获取、量子密钥配置及联邦学习总线设置。
翻滚的樱桃肉
434 0
SlackClimb
|
关系型数据库 MySQL
图解MySQL【日志】——磁盘 I/O 次数过高时优化的办法
当 MySQL 磁盘 I/O 次数过高时，可通过调整参数优化。控制刷盘时机以降低频率：组提交参数 `binlog_group_commit_sync_delay` 和 `binlog_group_commit_sync_no_delay_count` 调整等待时间和事务数量；`sync_binlog=N` 设置 write 和 fsync 频率，`innodb_flush_log_at_trx_commit=2` 使提交时只写入 Redo Log 文件，由 OS 择机持久化，但两者在 OS 崩溃时有丢失数据风险。
SlackClimb
299 3
游客tvgb6vci6chtq
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上，为什么速度会快？
Kafka的数据存储机制通过将数据同时写入磁盘和内存，确保高吞吐量与持久性。其日志文件按主题和分区组织，使用预写日志（WAL）保证数据持久性，并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能，支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
游客tvgb6vci6chtq
960 4
游客54bz4h3flp7ai
|
SQL
南大通用GBase 8a配置gcware日志等级，减少日志输出，节省磁盘IO
南大通用GBase 8a配置gcware日志等级，减少日志输出，节省磁盘IO
游客54bz4h3flp7ai
258 3
武子康
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
武子康
325 3
武子康
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
武子康
251 1
武子康
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
武子康
390 4
武子康
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
武子康
148 1
小王老师呀
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用，但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响；数据一致性难以达到恰好一次；性能瓶颈在于网络和磁盘I/O；管理复杂性涉及集群配置与版本升级。
小王老师呀
550 1

热门文章

最新文章

  • 1
    一文读懂Kafka Connect核心概念
  • 2
    消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局
  • 3
    数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafka
  • 4
    kafka - advertised.listeners and listeners
  • 5
    zookeeper和kafka的SASL认证以及生产实践
  • 6
    kafka安装和启动（转载）
  • 7
    【MQ】Kafka如何保证幂等性
  • 8
    flink 读取kafka 写入带kerberos认证的hive环境
  • 9
    记一次 Kafka Producer 性能调优实战
  • 10
    【spring-kafka】属性concurrency的作用及如何配置(RoundRobinAssignor 、RangeAssignor)
  • 1
    揭秘分布式系统：日志复制如何保障数据一致性？
    587
  • 2
    Kubernetes 集群监控与日志管理实践
    552
  • 3
    SpringBoot 日志打印
    571
  • 4
    SpringBoot 日志
    401
  • 5
    基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
    57006
  • 6
    Kubernetes 集群监控与日志管理实践
    449
  • 7
    【域名解析 DNS 专栏】DNS 查询日志分析：洞察网络行为与优化建议
    832
  • 8
    Kubernetes 集群监控与日志管理实践
    230
  • 9
    构建高效稳定的云原生日志监控系统
    282
  • 10
    neo4j如何查看日志信息
    635

    • 相关课程

    更多
  • 日志服务SLS 构建可观测体系实战
  • 日志服务 SLS 可观测数据分析平台介绍
  • 消息队列Kafka入门课程
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 分布式消息系统 Kafka 快速入门

    • 相关电子书

    更多
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
  • 智能化日志中心
    • 下一篇
    ECS账号安全防护最佳实践