实现kafka部署阿里云

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 实现kafka部署阿里云

一、简介

      Apache Kafka是一个开源消息系统项目,由Scala写成。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。现在来实现一下部署到阿里云,并进行一些基本命令操作。

二、具体实现

1、官网下载kafka Binary包,这种包通过Scala 构建。可以直接启动。非这种包无法直接启动。我下载的是2.4.0版本。 地址:

Apache Kafka

image.png

2、通过scp命令上传下载的包到服务器

scp kafka_2.13-2.4.0.tgz root@bj0:/developer/

3、到达该目录解压

tar -zxvf kafka_2.13-2.4.0.tgz

4、到达解压目录,后台启动zookeeper


(1)daemon参数作用:守护进程,程序是一直运行的服务端程序,通常在系统后台运行,没有控制终端不与前台交互。

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

(2)启动以后,通过下面命令查看2181端口是否成功运行,zookeeper启动端口为2181。

netstat -tnlp | grep 2181

5、后台启动kafka

(1)同上,启动以后查看9092端口是否成功启动。

bin/kafka-server-start.sh -daemon config/server.properties

6、创建一个topic。

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

7、展示topic的细节

bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

8、输入下面命令启动消费者

bin/kafka-console-consumer.sh --topic quickstart-events --bootstrap-server localhost:9092

9、打开另外一个窗口,打开生产者控制台发送一下消息到我们的主题

(1)我的2.4.0版本的kafka用这个命令

bin/kafka-console-producer.sh --topic quickstart-events --broker-list localhost:9092

(2)假如使用的是3.0左右的版本使用这个命令

bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

1.jpg

三、总结

       以上就是在阿里云部署kafka的全部过程和一些命令,在这里记录一下,希望能够帮到大家,觉得不错的话,欢迎微信搜索关注java基础笔记,后面会不断更新相关知识,大家一起进步。

目录
相关文章
|
消息中间件 存储 Kubernetes
Helm方式部署 zookeeper+kafka 集群 ——2023.05
Helm方式部署 zookeeper+kafka 集群 ——2023.05
592 0
|
1天前
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
4月前
|
消息中间件 监控 Java
【一键解锁!】Kafka Manager 部署与测试终极指南 —— 从菜鸟到高手的必经之路!
【8月更文挑战第9天】随着大数据技术的发展,Apache Kafka 成为核心组件,用于处理实时数据流。Kafka Manager 提供了简洁的 Web 界面来管理和监控 Kafka 集群。本文介绍部署步骤及示例代码,助您快速上手。首先确认已安装 Java 和 Kafka。
665 4
|
4月前
|
消息中间件 域名解析 网络协议
【Azure 应用服务】部署Kafka Trigger Function到Azure Function服务中,解决自定义域名解析难题
【Azure 应用服务】部署Kafka Trigger Function到Azure Function服务中,解决自定义域名解析难题
|
5月前
|
消息中间件 SQL Kafka
实时计算 Flink版产品使用问题之如何实现两个阿里云账号下的Kafka进行数据的互相传输
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
消息中间件 Kafka Apache
部署安装kafka集群
部署安装kafka集群
|
7月前
|
消息中间件 Kafka
Kafka【部署 03】Zookeeper与Kafka自动部署脚本
【4月更文挑战第11天】Kafka【部署 03】Zookeeper与Kafka自动部署脚本
107 8
|
7月前
|
消息中间件 Kafka Docker
docker部署kafka
docker部署kafka
215 1
|
7月前
|
消息中间件 SQL Java
阿里云Flink-自定义kafka format实践及踩坑记录(以protobuf为例)
阿里云Flink-自定义kafka format实践及踩坑记录(以protobuf为例)
1385 3
|
7月前
|
消息中间件 NoSQL Kafka
云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
该方案描述了一个大数据ETL流程,其中阿里云Kafka消息根据内容触发函数计算(FC)函数,执行针对MongoDB的增、删、改操作。