场景说明
今天接到的一个任务是做公网接入阿里云的kafka。不推荐通过公网访问。
由于通过公网问，需要配置为客户端接入配置SASL_SSL的鉴权，设置证书，协议，访问模式的账号密码等参数。
自己的应用采用的是spring boot + spring kafka来接入kafka。
因此，在配置上需要做一些适配和调整。
官方文档
https://help.aliyun.com/knowledge_detail/99958.html
原生的配置，主要有几个点：
- 在控制台下载ssl证书 ---- kafka.client.truststore.jks，放在机器的某个路径上，不要跟着应用打包
- 构建 kafka_client_jaas.conf，它包含着登录模式，登录用账号密码等的信息，账号密码信息在控制台上能找到。将应用启动参数java.security.auth.login.config设置为kafka_client_jaas.conf的绝对路径，可以通过代码或者启动参数设置。
注意 ： spring boot配置中可以不需要的这个kafka_client_jaas.conf，它通过读取application.yaml中的配置生成了一个，设置到应用中，具体见下。
- 根证书是有密码，阿里云kafka证书统一的解析密码为KafkaOnsClient。
- 接入协议为SASL_SSL, 鉴权方式为PLAIN。
配置适配
由于采用spring boot + spring kafka来接入kafka，配置的时候需要做一下适配调整。
spring boot读取kafka属性的类为org.springframework.boot.autoconfigure.kafka.KafkaProperties，其中也包含有SSL, JAAS的配置项，这些是我们需要配置的。
当然也有一些额外的配置，需要通过通用的properties给设置进去，让spring读取到，转换成kafka-client的配置。
SSL
主要是设置证书文件的绝对路径和证书解密密码。
这里是分别都为producer, consumer设置ssl的参数
JAAS
主要是配置属性，然后构建一个类似kafka_client_jaas.conf的文件，设置到应用中，最终的实质也仍然是将生成的文件路径设置给java.security.auth.login.config这个应用变量。
spring:
kafka:
jaas:
enabled: true
loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
controlFlag: REQUIRED
options:
username: aliyun-kafka-username
password: aliyun-kafka-password
...其中各个属性的值可以对照阿里云官方接入文档中kafka_client_jaas.conf文件内容进行配置
额外参数
通过producer, consumer的properties属性可以添加额外自定义的属性，这里主要设置了
- sasl.mechanism: PLAIN
- security.protocol: SASL_SSL
配置例子
spring:
kafka:
bootstrap-servers: kafka-server1, kafka-server2, kafka-server3
jaas:
enabled: true
loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
options:
username: aliyun-kafka-username
password: aliyun-kafka-password
consumer:
ssl:
truststorePassword: KafkaOnsClient
truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
properties:
sasl.mechanism: PLAIN
security.protocol: SASL_SSL
group-id: consumer-group
max-poll-records: 2
producer:
ssl:
truststorePassword: KafkaOnsClient
truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
retries: 3
acks: 1
compression-type: lz4
buffer-memory: 33554432
batch-size: 51200
properties:
send.buffer.bytes: 262144
sasl.mechanism: PLAIN
security.protocol: SASL_SSL