6年资深开发带你10分钟了解Kafka ACL机制

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:   在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了。由于没有权限控制,集群核心的业务主题时存在风险的。

  在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了。由于没有权限控制,集群核心的业务主题时存在风险的。

  2.2 身份认证

  Kafka的认证范围包含如下:

  Client与Broker之间Broker与Broker之间Broker与Zookeeper之间

  当前Kafka系统支持多种认证机制,如SSL、SASL(Kerberos、PLAIN、SCRAM)。

  2.3 SSL认证流程

  在Kafka系统中,SSL协议作为认证机制默认是禁止的,如果需要使用,可以手动启动SSL机制。安装和配置SSL协议的步骤,如下所示:

  在每个Broker中Create一个Tmp密钥库创建CA给证书签名配置Server和Client

  执行脚本如下所示:

  #! /bin/bash

  2# 1.Create rsa

  3keytool -keystore server.keystore.jks -alias dn1 -validity 365 -genkey -keyalg RSA

  4# 2.Create CA

  5openssl req -new -x509 -keyout ca-key -out ca-cert -days 365

  6# 3.Import client

  7keytool -keystore client.truststore.jks -alias CAROOT -import -file ca-cert

  8# 4.Import server

  9keytool -keystore server.truststore.jks -alias CAROOT -import -file ca-cert

  10# 5.Export

  11keytool -keystore server.keystore.jks -alias dn1 -certreq -file cert-file

  12# 6.Signed

  13openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days 365 -CAcreateserial -passin pass:123456

  14# 7.Import ca-cert

  15keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert

  16# 8.Import cert-signed

  17keytool -keystore server.keystore.jks -alias dn1 -import -file cert-signed

  2.4 SASL认证流程

  在Kafka系统中,SASL机制包含三种,它们分别是Kerberos、PLAIN、SCRAM。以PLAIN认证为示例,下面给大家介绍PLAIN认证流程。

  2.4.1 配置Server

  首先,在$KAFKA_HOME/config目录中新建一个二手文件,名为kafka_server_jaas.conf,配置内容如下:

  1KafkaServer {

  2 org.apache.kafka.common.security.plain.PlainLoginModule required

  3 username="smartloli"

  4 password="smartloli-secret"

  5 user_admin="smartloli-secret";

  6};

  7

  8Client {

  9 org.apache.kafka.common.security.plain.PlainLoginModule required

  10 username="smartloli"

  11 password="smartloli-secret";

  12};

  然后在Kafka启动脚本(kafka-server-start.sh)中添加配置文件路径,设置内容如下:

  1[hadoop@dn1 bin]$ vi kafka-server-start.sh

  2

  3# Add jaas file

  4export KAFKA_OPTS="-Djava.security.auth.login.config=/data/soft/new/kafka/config/kafka_server_

  接下来,配置server.properties文件,内容如下:

  1# Set ip & port

  2listeners=SASL_PLAINTEXT://dn1:9092

  3advertised.listeners=SASL_PLAINTEXT://dn1:9092

  4# Set protocol

  5security.inter.broker.protocol=SASL_PLAINTEXT

  6sasl.enabled.mechanisms=PLAIN

  7sasl.mechanism.inter.broker.protocol=PLAIN

  8

  9# Add acl

  10allow.everyone.if.no.acl.found=true

  11auto.create.topics.enable=false

  12delete.topic.enable=true

  13advertised.host.name=dn1

  14super.users=User:admin

  15

  16# Add class

  17authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

  2.4.2 配置Client

  当Kafka Server端配置启用了SASL/PLAIN,那么Client连接的时候需要配置认证信息,Client配置一个kafka_client_jaas.conf文件,内容如下:

  1KafkaClient {

  2 org.apache.kafka.common.security.plain.PlainLoginModule required

  3 username="admin"

  4 password="admin-secret";

  5};

  然后,在producer.properties和consumer.properties文件中设置认证协议,内容如下:

  1security.protocol=SASL_PLAINTEXT

  2sasl.mechanism=PLAIN

  最后,在kafka-console-producer.sh脚本和kafka-console-producer.sh脚本中添加JAAS文件的路径,内容如下:

  1# For example: kafka-console-producer.sh

  2hadoop@dn1 bin]$ vi kafka-console-producer.sh

  3

  4# Add jaas file

  5export KAFKA_OPTS="-Djava.security.auth.login.config=/data/soft/new/kafka\

  6/config/kafka_client_jaas.conf"

  2.5 ACL操作

  在配置好SASL后,启动Zookeeper集群和Kafka集群之后,就可以使用kafka-acls.sh脚本来操作ACL机制。

  (1)查看:在kafka-acls.sh脚本中传入list参数来查看ACL授权新

  1[hadoop@dn1 bin]$ kafka-acls.sh --list --authorizer-properties zookeeper.connect=dn1:2181

  (2)创建:创建待授权主题之前,在kafka-acls.sh脚本中指定JAAS文件路径,然后在执行创建操作

  1[hadoop@dn1 bin]$ kafka-topics.sh --create --zookeeper dn1:2181 --replication-factor 1 --partitions 1 --topic kafka_acl_topic

  (3)生产者授权:对生产者执行授权操作

  1[hadoop@dn1 ~]$ kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=dn1:2181 --add --allow-principalUser:producer --operation Write --topic kafka_acl_topic

  (4)消费者授权:对生产者执行授权后,通过消费者来进行验证

  1[hadoop@dn1 ~]$ kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=dn1:2181 --add --allow-principalUser:consumer --operation Read --topic kafka_acl_topic

  (5)删除:通过remove参数来回收相关权限

  1[hadoop@dn1 bin]$ kafka-acls.sh --authorizer-properties zookeeper.connect=dn1:2181 --remove --allow-principal User:producer --operation Write --topic kafka_acl_topic3

  在处理一些核心的业务数据时,Kafka的ACL机制还是非常重要的,对核心业务主题进行权限管控,能够避免不必要的风险。

目录
相关文章
|
3月前
|
消息中间件 Java 大数据
Kafka ISR机制详解!
本文详细解析了Kafka的ISR(In-Sync Replicas)机制,阐述其工作原理及如何确保消息的高可靠性和高可用性。ISR动态维护与Leader同步的副本集,通过不同ACK确认机制(如acks=0、acks=1、acks=all),平衡可靠性和性能。此外,ISR机制支持故障转移,当Leader失效时,可从ISR中选取新的Leader。文章还包括实例分析,展示了ISR在不同场景下的变化,并讨论了其优缺点,帮助读者更好地理解和应用ISR机制。
105 0
Kafka ISR机制详解!
|
3月前
|
消息中间件 Java Kafka
Kafka ACK机制详解!
本文深入剖析了Kafka的ACK机制,涵盖其原理、源码分析及应用场景,并探讨了acks=0、acks=1和acks=all三种级别的优缺点。文中还介绍了ISR(同步副本)的工作原理及其维护机制,帮助读者理解如何在性能与可靠性之间找到最佳平衡。适合希望深入了解Kafka消息传递机制的开发者阅读。
252 0
|
5月前
|
消息中间件 负载均衡 Java
揭秘Kafka背后的秘密!Kafka 架构设计大曝光:深入剖析Kafka机制,带你一探究竟!
【8月更文挑战第24天】Apache Kafka是一款专为实时数据处理及流传输设计的高效率消息系统。其核心特性包括高吞吐量、低延迟及出色的可扩展性。Kafka采用分布式日志模型,支持数据分区与副本,确保数据可靠性和持久性。系统由Producer(消息生产者)、Consumer(消息消费者)及Broker(消息服务器)组成。Kafka支持消费者组,实现数据并行处理,提升整体性能。通过内置的故障恢复机制,即使部分节点失效,系统仍能保持稳定运行。提供的Java示例代码展示了如何使用Kafka进行消息的生产和消费,并演示了故障转移处理过程。
58 3
|
5月前
|
消息中间件 Java Kafka
如何在Kafka分布式环境中保证消息的顺序消费?深入剖析Kafka机制,带你一探究竟!
【8月更文挑战第24天】Apache Kafka是一款专为实时数据管道和流处理设计的分布式平台,以其高效的消息发布与订阅功能著称。在分布式环境中确保消息按序消费颇具挑战。本文首先介绍了Kafka通过Topic分区实现消息排序的基本机制,随后详细阐述了几种保证消息顺序性的策略,包括使用单分区Topic、消费者组搭配单分区消费、幂等性生产者以及事务支持等技术手段。最后,通过一个Java示例演示了如何利用Kafka消费者确保消息按序消费的具体实现过程。
183 3
|
5月前
|
消息中间件 负载均衡 Java
"深入Kafka核心:探索高效灵活的Consumer机制,以Java示例展示数据流的优雅消费之道"
【8月更文挑战第10天】在大数据领域,Apache Kafka凭借其出色的性能成为消息传递与流处理的首选工具。Kafka Consumer作为关键组件,负责优雅地从集群中提取并处理数据。它支持消息的负载均衡与容错,通过Consumer Group实现消息的水平扩展。下面通过一个Java示例展示如何启动Consumer并消费数据,同时体现了Kafka Consumer设计的灵活性与高效性,使其成为复杂消费场景的理想选择。
141 4
|
5月前
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
86 3
|
6月前
|
消息中间件 存储 监控
深入理解Kafka核心设计及原理(六):Controller选举机制,分区副本leader选举机制,再均衡机制
深入理解Kafka核心设计及原理(六):Controller选举机制,分区副本leader选举机制,再均衡机制
112 1
|
5月前
|
消息中间件 Java Kafka
SpringBoot Kafka SSL接入点PLAIN机制收发消息
SpringBoot Kafka SSL接入点PLAIN机制收发消息
43 0
|
5月前
|
消息中间件 安全 Kafka
Flink与Kafka的终极联盟:揭秘如何在一瞬间切换SASL机制,保护您的数据不受黑客侵袭!
【8月更文挑战第7天】Apache Flink作为高性能流处理框架,在与Kafka集成时确保数据安全至关重要。通过配置`KafkaConsumer`使用SASL机制如SCRAM-SHA-256或PLAIN,可有效防止未授权访问。SCRAM-SHA-256采用强化的身份验证流程提高安全性,而PLAIN机制则相对简单。配置涉及设置`properties`参数,包括指定`sasl.mechanism`、`security.protocol`及JAAS认证信息。合理选择和配置这些参数对于保护Flink应用与Kafka间的数据通信安全至关重要。
117 0
|
7月前
|
消息中间件 Kafka 程序员
Kafka面试必备:深度解析Replica副本的作用与机制
**Kafka的Replica副本是保证数据可靠性的关键机制。每个Partition有Leader和Follower副本,Leader处理读写请求及管理同步,Follower被动同步并准备成为新Leader。从Kafka 2.4开始,Follower在完全同步时也可提供读服务,提升性能。数据一致性通过高水位机制和Leader Epoch机制保证,后者更精确地判断和恢复数据一致性,增强系统容错能力。**
258 1

热门文章

最新文章