KafKa脚本操作

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: KafKa脚本操作

所有操作位于/usr/local/kafka_2.12-3.5.1/bin。

root@ubuntu2203:/usr/local/kafka_2.12-3.5.1/bin# pwd
/usr/local/kafka_2.12-3.5.1/bin
root@ubuntu2203:/usr/local/kafka_2.12-3.5.1/bin# ls
connect-distributed.sh        kafka-delegation-tokens.sh  kafka-mirror-maker.sh               kafka-verifiable-consumer.sh
connect-mirror-maker.sh       kafka-delete-records.sh     kafka-producer-perf-test.sh         kafka-verifiable-producer.sh
connect-standalone.sh         kafka-dump-log.sh           kafka-reassign-partitions.sh        trogdor.sh
kafka-acls.sh                 kafka-e2e-latency.sh        kafka-replica-verification.sh       windows
kafka-broker-api-versions.sh  kafka-features.sh           kafka-run-class.sh                  zookeeper-security-migration.sh
kafka-cluster.sh              kafka-get-offsets.sh        kafka-server-start.sh               zookeeper-server-start.sh
kafka-configs.sh              kafka-jmx.sh                kafka-server-stop.sh                zookeeper-server-stop.sh
kafka-console-consumer.sh     kafka-leader-election.sh    kafka-storage.sh                    zookeeper-shell.sh
kafka-console-producer.sh     kafka-log-dirs.sh           kafka-streams-application-reset.sh
kafka-consumer-groups.sh      kafka-metadata-quorum.sh    kafka-topics.sh
kafka-consumer-perf-test.sh   kafka-metadata-shell.sh     kafka-transactions.sh

1、查看tocpic

./kafka-topics.sh --bootstrap-server localhost:9092 --list

2、创建一个topic

./kafka-topics.sh --bootstrap-server localhost:9092 --topic first --create --partitions 1

3、查看主题详细信息

./kafka-topics.sh --bootstrap-server localhost:9092 --topic first --describe

4、修改topci分区数

只能增加,不能减少

./kafka-topics.sh --bootstrap-server localhost:9092 --topic first --alter --partitions 2

5、生产者生产数据

/usr/local/kafka_2.12-3.5.1/bin# ./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic first

生产数据流程

 

6、消费者消费数据

--from-beginning:表示从头消费数据,按需添加

/usr/local/kafka_2.12-3.5.1/bin# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic first --from-beginning

相关文章
|
3月前
|
消息中间件 Java 关系型数据库
实时计算 Flink版操作报错合集之从 PostgreSQL 读取数据并写入 Kafka 时,遇到 "initial slot snapshot too large" 的错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
991 0
|
17天前
|
消息中间件 存储 监控
Kraft模式下Kafka脚本的使用
【9月更文挑战第9天】在Kraft模式下,使用Kafka脚本涉及以下几个关键步骤:启动Zookeeper和Kafka服务、创建主题、发送与消费消息、查看主题列表及描述主题详情。通过指定配置文件与相关参数,如`--replication-factor`和`--partitions`,可以灵活管理主题。此外,确保根据实际需求调整配置文件中的参数,并监控日志以维持最佳性能与及时问题处理。
|
2月前
|
消息中间件 Kafka 数据处理
实时计算 Flink版操作报错合集之使用kafka connector时,报错:java.lang.ClassNotFoundException,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
1月前
|
消息中间件 Kafka
使用kafka自带脚本进行压力测试
使用kafka自带脚本进行压力测试
|
3月前
|
消息中间件 Java Kafka
kafka 磁盘扩容与数据均衡操作代码
Kafka 的磁盘扩容和数据均衡是与保证Kafka集群可用性和性能相关的两个重要方面。在 Kafka 中,分区数据的存储和平衡对集群的运行至关重要。以下是有关Kafka磁盘扩容和数据均衡的一些建议
45 1
|
4月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版操作报错合集之遇到报错:Apache Kafka Connect错误如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
165 5
|
3月前
|
消息中间件 JSON Kafka
实时计算 Flink版操作报错合集之kafka源表没有指定group.id,遇到报错,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
4月前
|
消息中间件 Kafka 数据库连接
实时计算 Flink版操作报错合集之无法将消费到的偏移量提交到Kafka如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
80 3
|
4月前
|
网络安全 流计算 Python
实时计算 Flink版操作报错合集之Flink sql-client 针对kafka的protobuf格式数据建表,报错:java.lang.ClassNotFoundException 如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
79 1
|
4月前
|
消息中间件 关系型数据库 网络安全
实时计算 Flink版操作报错合集之Flink sql-client 针对kafka的protobuf格式数据建表,报错:java.lang.ClassNotFoundException 如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
168 1