接入说明
使用 Kafka 消息服务之前,先在 MQ 控制台上申请资源,否则将无法通过鉴权认证,以及相关的运维功能。具体步骤如下:申请 Topic 资源,消息类型选择 Kafka 消息;- 申请 Consumer ID。
Kafka服务端版本是0.10.1,Client版本建议0.10及以上。
建议查看各个客户端的 开源 Demo 访问地址,使用之前请仔细阅读 README.md。
目前客户端 Demo 包括 Java, Python, Go, PHP, NodeJs, C++, Logstash, SpringCloud,其它客户端暂时请参照已有 Demo 自行调试,后续会陆续完善。
欢迎加钉钉群咨询,用钉钉扫描群二维码。
访问域名
下面以 Java 语言为例,详细说明接入过程。
MQ-Kafka Java Demo
下载连接
1、Maven 依赖配置
- <dependency>
- <groupId>org.apache.kafka</groupId>
- <artifactId>kafka-clients</artifactId>
- <version>0.10.1.0</version>
- </dependency>
- <dependency>
- <groupId>com.aliyun.openservices</groupId>
- <artifactId>ons-sasl-client</artifactId>
- <version>0.1</version>
- </dependency>
2、配置 AccessKey,SecretKey。
MQ-Kafka 利用服务账号 AccessKey,SecretKey 对消息通道进行鉴权。创建文本文件 kafka_client_jaas.conf,内容如下:
- KafkaClient {
- com.aliyun.openservices.ons.sasl.client.OnsLoginModule required
- AccessKey="***"
- SecretKey="***";
- };
注意:把***替换为服务账号的 AccessKey,SecretKey。
3、设置 kafka_client_jaas.conf 的路径:
有两种办法进行设置(这里假设kafka_client_jaas.conf放在/home/admin下面,实际部署时请注意修改为自己的路径):
程序启动时,启动 JVM 参数:
- -Djava.security.auth.login.config=/home/admin/kafka_client_jaas.conf
或者在代码中设置参数(需要保证在 Kafka Producer 和 Consumer 启动之前):
- System.setProperty("java.security.auth.login.config", “/home/admin/kafka_client_jaas.conf");
4、下载根证书
下载地址
下载后放入某个目录下,这里假设为”/home/admin”
5、主要参数配置
Kafka 其它参数遵照 Kafka 官网说明。
6、 执行运行语句:
sh run_demo.sh -Dkafka.ons.TOPIC=kafka-test
注意:请将 Topic 更改为申请的 Topic。
7、查看执行结果:
produce ok:kafka-test-*
看到类似以上结果表示 Demo 运行成功。