kafka安装及使用---Kafka从入门到精通(二)

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: kafka安装及使用---Kafka从入门到精通(二)

前面说了kafka的topic有分区的概念,每个分区又有leader 和 follower,kafka听过ack机制保证消息的可靠性。

初识kafka---Kafka从入门到精通(一)


1、下载安装zookeeper


下载地址:http://zookeeper.apache.org/releases.html#download

1、进入解压地址,进入D:\apache-zookeeper-3.8.0\conf

2、 将“zoo_sample.cfg”重命名为“zoo.cfg”

3、 打开“zoo.cfg”找到并编辑dataDir=D:\apache-zookeeper-3.8.0

4、添加系统变量:ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.8.0

5、 编辑path系统变量,添加路径:%ZOOKEEPER_HOME%\bin

6、 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)

7、 打开新的cmd,输入“zkServer“,运行Zookeeper

当出现下图,代表启动成功:

image.png


2、下载安装kafka


下载地址:https://kafka.apache.org/downloads

image.png

1、解压进入:D:\kafka_2.13-3.1.0\config

2、找到server.properties并打开,log.dirs=D:\kafka_2.13-3.1.0\kafka-logs

3、并编辑zookeeper.connect=localhost:2181

4、Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

5、输入下面命令启动kafka,出现下图代表启动成功。


.\bin\windows\kafka-server-start.bat .\config\server.properties

image.png

3、集成springBoot


1、先pom文件加入kafka二方包

 <!--引入kafak和spring整合的jar-->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>
#------------------------------------Kafka-------------------#
# 指定kafka 代理地址,可以多个
spring.kafka.bootstrap-servers=localhost:9092
##########################producer about config##############################
spring.kafka.producer.acks=1
spring.kafka.producer.batch-size=16384
spring.kafka.producer.retries=0
spring.kafka.producer.buffer-memory=33554432
#spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer.class
#spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer.class
##########################consumer about config##############################
spring.kafka.consumer.enable-auto-commit=true
spring.kafka.consumer.group-id=kafka_group_2
spring.kafka.consumer.auto-commit-interval=100
#spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer.class
#spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer.class
/**
 * @author keying
 */
@RestController
public class TestKafkaController {
    @Resource
    private KafkaTemplate<String, String> kafkaTemplate;
    /**
     * 同步发送
     *
     * @return
     */
    @RequestMapping("/sendKafka")
    public String syncSendMessage() {
        for (int i = 0; i < 10; i++) {
            try {
                kafkaTemplate.send("kafka-boot", "0", "kafkaMessage" + i).get();
            }catch (Exception e){
                e.printStackTrace();
            }
        }
        return "success";
    }
}
/**
 * @author keying
 */
@Component
public class ConsumerKafka {
    @KafkaListener(id = "foo", topics = "kafka-boot")
    public void listen1(String foo) {
        System.out.println("消费" + foo);
    }
}
相关文章
|
5月前
|
消息中间件 监控 数据可视化
Linux安装Kafka图形化界面
Linux安装Kafka图形化界面
238 4
|
6月前
|
消息中间件 分布式计算 Kafka
SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)
SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(一)
100 5
|
3月前
|
消息中间件 Ubuntu Java
在Ubuntu 18.04上安装Apache Kafka的方法
在Ubuntu 18.04上安装Apache Kafka的方法
180 0
|
15天前
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
|
2月前
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
6月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
230 1
|
4月前
|
消息中间件 Java Kafka
kafka Linux环境搭建安装及命令创建队列生产消费消息
kafka Linux环境搭建安装及命令创建队列生产消费消息
103 4
|
3月前
|
消息中间件 存储 Ubuntu
在Ubuntu 14.04上安装Apache Kafka的方法
在Ubuntu 14.04上安装Apache Kafka的方法
19 0
|
3月前
|
消息中间件 Java Kafka
Docker 安装 kafka
Docker 安装 kafka
90 0
|
3月前
|
消息中间件 Kafka Apache
部署安装kafka集群
部署安装kafka集群