windows下kafka源码阅读环境搭建

简介:
  1. 工具准备:jdk1.8,scala-2.11.11,gradle-3.1,zookeeper-3.4.5,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz

  2. 安装jdk

  3. 安装scala

  4. 搭建zookeeper

  5. kafka源码构建

    解压kafka-0.10.0.1-src.tgz,命令行进行kafka-0.10.0.1-src,执行gradle idea


    e7b90ed54a50810c84f71b7b03bc4dbc.png-wh_

注:

1)gradle idea,用国外的库构建的下载速度很慢,在进入项目里面,找到build.gradle文件的修改库为阿里镜像库

buildscript {

  repositories {

        maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'}

    }

  apply from: file('gradle/buildscript.gradle'), to: buildscript


  dependencies {

    // For Apache Rat plugin to ignore non-Git files

    classpath "org.ajoberstar:grgit:1.5.0"

    classpath 'com.github.ben-manes:gradle-versions-plugin:0.12.0'

    classpath 'org.scoverage:gradle-scoverage:2.0.1'

  }

}


allprojects {

  apply plugin: 'idea'

  apply plugin: 'eclipse'

  apply plugin: "jacoco"


  allprojects {

    repositories {

        maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'}

    }

}

2)执行gradle idea时,报错


* What went wrong:  

A problem occurred evaluating root project 'kafka-0.10.0.1-src'.  

> Failed to apply plugin [class 'org.gradle.api.plugins.scala.ScalaBasePlugin']  

   > No such property: useAnt for class: org.gradle.api.tasks.scala.ScalaCompileOptions  

  

* Try:  

Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output.  

  

BUILD FAILED  


解决方法:打开kafka-0.10.0.1-src目录下build.gradle文件

添加如下行

[plain] view plain copy

ScalaCompileOptions.metaClass.daemonServer = true  

ScalaCompileOptions.metaClass.fork = true  

ScalaCompileOptions.metaClass.useAnt = false  

ScalaCompileOptions.metaClass.useCompileDaemon = false 


7.用intellij idea打开kafka-0.10.0.1-src

2e54b08ee3d7b2412c280f36f31cd0bd.png-wh_

8.复制log4j.properties文件放到core模块的src/main/scala路径下,这样才能正常的显示日志

2ed43d098b7cebdf2faa21876ad0dac4.png-wh_

9.增加scala-sdk

0c3b177e184622b505534f8879c596fc.png-wh_

10.配置启动参数

12e18887649e11e1f9db69d044850dc6.png-wh_

11.启动项目

ce3716f9bb285fd7a644b66b2441c228.png-wh_

12.验证

解压kafka_2.11-0.10.0.1.tgz文件,命令行进入bin/windows

1)创建topic

C:\webserver\kafka_2.11-0.10.0.1\bin\windows>kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --

partitions 1 --topic testMsg

Created topic "testMsg".


控制台日志如下:

38fb278207d888d2f482d0fced205b5d.png-wh_

2)执行生产者命令,产生消息:

d95d2efbc0fb9428444026348165dd22.png-wh_

3)执行消费者命令,消费消息:

c81d90a057bfd0c7c3221db7726f6f21.png-wh_

问题:

ERROR Processor got uncaught exception. (kafka.network.Processor)
java.nio.BufferUnderflowException

解决方案:

这是客户端的jar包和集群的版本号在小版本不一致导致,保持版本号一致即可。

scala-2.11.11,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz



本文转自gauyanm 51CTO博客,原文链接:http://blog.51cto.com/gauyanm/1979198,如需转载请自行联系原作者
相关文章
|
21天前
|
消息中间件 Java Kafka
windows服务器重装系统之后,Kafka服务如何恢复?
windows服务器重装系统之后,Kafka服务如何恢复?
21 8
|
6天前
|
并行计算 开发工具 异构计算
在Windows平台使用源码编译和安装PyTorch3D指定版本
【10月更文挑战第6天】在 Windows 平台上,编译和安装指定版本的 PyTorch3D 需要先安装 Python、Visual Studio Build Tools 和 CUDA(如有需要),然后通过 Git 获取源码。建议创建虚拟环境以隔离依赖,并使用 `pip` 安装所需库。最后,在源码目录下运行 `python setup.py install` 进行编译和安装。完成后即可在 Python 中导入 PyTorch3D 使用。
|
2月前
|
消息中间件 Java Kafka
"Kafka快速上手:从环境搭建到Java Producer与Consumer实战,轻松掌握分布式流处理平台"
【8月更文挑战第10天】Apache Kafka作为分布式流处理平台的领头羊,凭借其高吞吐量、可扩展性和容错性,在大数据处理、实时日志收集及消息队列领域表现卓越。初学者需掌握Kafka基本概念与操作。Kafka的核心组件包括Producer(生产者)、Broker(服务器)和Consumer(消费者)。Producer发送消息到Topic,Broker负责存储与转发,Consumer则读取这些消息。首先确保已安装Java和Kafka,并启动服务。接着可通过命令行创建Topic,并使用提供的Java API实现Producer发送消息和Consumer读取消息的功能。
60 8
|
2月前
|
存储 数据可视化 Python
【python】python tkinter 计算器GUI版本(模仿windows计算器 源码)【独一无二】
【python】python tkinter 计算器GUI版本(模仿windows计算器 源码)【独一无二】
112 1
|
2月前
|
开发者 C# Windows
WPF与游戏开发:当桌面应用遇见游戏梦想——利用Windows Presentation Foundation打造属于你的2D游戏世界,从环境搭建到代码实践全面解析新兴开发路径
【8月更文挑战第31天】随着游戏开发技术的进步,WPF作为.NET Framework的一部分,凭借其图形渲染能力和灵活的UI设计,成为桌面游戏开发的新选择。本文通过技术综述和示例代码,介绍如何利用WPF进行游戏开发。首先确保安装最新版Visual Studio并创建WPF项目。接着,通过XAML设计游戏界面,并在C#中实现游戏逻辑,如玩家控制和障碍物碰撞检测。示例展示了创建基本2D游戏的过程,包括角色移动和碰撞处理。通过本文,WPF开发者可更好地理解并应用游戏开发技术,创造吸引人的桌面游戏。
115 0
|
3月前
|
消息中间件 Kafka
kafka 集群环境搭建
kafka 集群环境搭建
64 8
|
2月前
|
消息中间件 Kafka 网络安全
【Azure Developer】在Azure VM (Windows) 中搭建 kafka服务,并且通过本地以及远程验证 发送+消费 消息
【Azure Developer】在Azure VM (Windows) 中搭建 kafka服务,并且通过本地以及远程验证 发送+消费 消息
|
2月前
|
消息中间件 Java Kafka
【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息
【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息
|
3月前
|
消息中间件 Java Kafka
kafka Linux环境搭建安装及命令创建队列生产消费消息
kafka Linux环境搭建安装及命令创建队列生产消费消息
59 4

热门文章

最新文章