Java--Apache kafka安装和配置

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: Apache kafka的下载安装和配置。

Apache kafka是一个分布的、分区的、复制的提交日志服务,它使用独一无二的设计,提供了消息系统功能。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

       Apache kafka的下载安装和配置。

一、下载

https://www.apache.org/dyn/closer.cgi?path=/kafka/2.0.0/kafka_2.11-2.0.0.tgz


二、解压

       解压后可以看到目录结构如下:

image.png


三、启动

       Apache Kafka 依赖Zookeeper,所以必须先启动Zookeeper以后才能启动,确保Zookeeper启动后,CMD切换到kafka的安装目录D盘。运行以下命令.

D:\apache-kafka_2.11-2.0.0>.\bin\windows\kafka-server-start.bat .\config\server.properties

启动效果如下:

image.png

四、配置

       kafka根目录下的config文件夹下,有很多的配置文件,我们打开server.properties,在这里可以配置Zookeeper的地址:

#Zookeeperconnectionstring (seezookeeperdocsfordetails).
#Thisisacommaseparatedhost:portpairs, eachcorrespondingtoazk#server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
#Youcanalsoappendanoptionalchrootstringtotheurlstospecifythe#rootdirectoryforallkafkaznodes.
zookeeper.connect=localhost:2181#Timeoutinmsforconnectingtozookeeperzookeeper.connection.timeout.ms=6000

       在启动的时候,报了一个错误:

错误: 找不到或无法加载主类Files\Java\jdk1.8.0_1.0.1\lib\dt.jar;C:\Program

解决:

在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat中,"%CLASSPATH%"加“”号,详情如下:

修改前:setCOMMAND=%JAVA%%KAFKA_HEAP_OPTS%%KAFKA_JVM_PERFORMANCE_OPTS%%KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS%-cp%CLASSPATH%%KAFKA_OPTS%%*修改后:setCOMMAND=%JAVA%%KAFKA_HEAP_OPTS%%KAFKA_JVM_PERFORMANCE_OPTS%%KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS%-cp"%CLASSPATH%"%KAFKA_OPTS%%*CLASSPATH环境JAVA_HOMEC:\ProgramFiles\Java\jdk1.8.0_101CLASSPATH   .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;        (注意头部  .;)Path%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\System32\Wbem;%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;%ZOOKEEPER_HOME%\bin;



另外还要注意kafka 安装路径不要有空格,如apache kafka改成apachekafka.

D:\apachekafka_2.11-2.0.0\config


总结:

       Apache Kafka的安装和配置,下次建立生产者和消费者来使用。



END

目录
相关文章
|
9天前
|
消息中间件 安全 Kafka
Apache Kafka安全加固指南:保护你的消息传递系统
【10月更文挑战第24天】在现代企业环境中,数据的安全性和隐私保护至关重要。Apache Kafka作为一款广泛使用的分布式流处理平台,其安全性直接影响着业务的稳定性和用户数据的安全。作为一名资深的Kafka使用者,我深知加强Kafka安全性的重要性。本文将从个人角度出发,分享我在实践中积累的经验,帮助读者了解如何有效地保护Kafka消息传递系统的安全性。
37 7
|
9天前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
50 5
|
9天前
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
34 4
|
9天前
|
消息中间件 监控 大数据
优化Apache Kafka性能:最佳实践与调优策略
【10月更文挑战第24天】作为一名已经对Apache Kafka有所了解并有实际使用经验的开发者,我深知在大数据处理和实时数据流传输中,Kafka的重要性不言而喻。然而,在面对日益增长的数据量和业务需求时,如何保证系统的高性能和稳定性成为了摆在我们面前的一个挑战。本文将从我的个人视角出发,分享一些关于如何通过合理的配置和调优来提高Kafka性能的经验和建议。
34 4
|
2天前
|
消息中间件 缓存 Java
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
零拷贝技术 Zero-Copy 是指计算机执行操作时,可以直接从源(如文件或网络套接字)将数据传输到目标缓冲区, 而不需要 CPU 先将数据从某处内存复制到另一个特定区域,从而减少上下文切换以及 CPU 的拷贝时间。
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
|
8天前
|
Java Linux Windows
如何查看已安装的 Java 版本
要查看已安装的 Java 版本,打开命令提示符或终端,输入 `java -version`,回车后即可显示当前系统中 Java 的版本信息。
|
7天前
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
|
8天前
|
消息中间件 监控 Kafka
Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面
随着大数据技术的发展,Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面,方便管理和监控 Kafka 集群。本文详细介绍了 Kafka Manager 的部署步骤和基本使用方法,包括配置文件的修改、启动命令、API 示例代码等,帮助你快速上手并有效管理 Kafka 集群。
30 0
|
19天前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
490 13
Apache Flink 2.0-preview released
|
24天前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
54 3

推荐镜像

更多