kafka学习线路指导入门：包括理论、部署、实战知识汇总整理

2023-01-13 527

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云解析 DNS，旗舰版 1个月

全局流量管理 GTM，标准版 1个月

公共DNS（含HTTPDNS解析），每月1000万次HTTP解析

简介： kafka学习线路指导入门：包括理论、部署、实战知识汇总整理

1.什么是kafka，kafka基础理论知识

对于kafka，如果接触过，我们知道他是用来传输数据的。里面的一些概念也还是懂得的。这里简单说下个人的一些认识，如有错误，欢迎指正交流。

在大数据里面，分区【partition】，很多人其实还是不理解的。我个人理解，分区其实就是对数据的一个分类。也就是众多的数据中，对数据进行整理归类。kafka中，还有一个概念就是topic，这个topic可能我们也创建过，但是topic是什么，还是模糊的，这里引用下面内容，感觉说的还是比较清楚的。

消息发送时都被发送到一个topic，其本质就是一个目录，而topic由是由一些Partition Logs(分区日志)组成

通过上面相信你对topic有了一些了解。

了解基本概念之后，可以在深入些，这里只说下个人的经验，一些可能误解的地方：

kafka在传输数据的过程中，Kafka什么时候删除数据，消费完是否接着就删除数据，这个不是的。Kafka只有过期的数据才会被自动清除以释放磁盘空间。

除了数据删除，可能误解。一些比较难理解的或则容易混淆的地方：

比如Consumergroup与消息消费的关系，如何设置partition值需要考虑的因素等问题

Consumergroup：各个consumer可以组成一个组，每个消息只能被组中的一个consumer消费，如果一个消息可以被多个consumer消费的话，那么这些consumer必须在不同的组。

关于如何设置partition值需要考虑的因素。一个partition只能被一个消费者消费（一个消费者可以同时消费多个partition），因此，如果设置的partition的数量小于consumer的数量，就会有消费者消费不到数据。所以，推荐partition的数量一定要大于同时运行的consumer的数量。