windows下kafka源码阅读环境搭建

简介:
  1. 工具准备:jdk1.8,scala-2.11.11,gradle-3.1,zookeeper-3.4.5,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz

  2. 安装jdk

  3. 安装scala

  4. 搭建zookeeper

  5. kafka源码构建

    解压kafka-0.10.0.1-src.tgz,命令行进行kafka-0.10.0.1-src,执行gradle idea


    e7b90ed54a50810c84f71b7b03bc4dbc.png-wh_

注:

1)gradle idea,用国外的库构建的下载速度很慢,在进入项目里面,找到build.gradle文件的修改库为阿里镜像库

buildscript {

  repositories {

        maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'}

    }

  apply from: file('gradle/buildscript.gradle'), to: buildscript


  dependencies {

    // For Apache Rat plugin to ignore non-Git files

    classpath "org.ajoberstar:grgit:1.5.0"

    classpath 'com.github.ben-manes:gradle-versions-plugin:0.12.0'

    classpath 'org.scoverage:gradle-scoverage:2.0.1'

  }

}


allprojects {

  apply plugin: 'idea'

  apply plugin: 'eclipse'

  apply plugin: "jacoco"


  allprojects {

    repositories {

        maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'}

    }

}

2)执行gradle idea时,报错


* What went wrong:  

A problem occurred evaluating root project 'kafka-0.10.0.1-src'.  

> Failed to apply plugin [class 'org.gradle.api.plugins.scala.ScalaBasePlugin']  

   > No such property: useAnt for class: org.gradle.api.tasks.scala.ScalaCompileOptions  

  

* Try:  

Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output.  

  

BUILD FAILED  


解决方法:打开kafka-0.10.0.1-src目录下build.gradle文件

添加如下行

[plain] view plain copy

ScalaCompileOptions.metaClass.daemonServer = true  

ScalaCompileOptions.metaClass.fork = true  

ScalaCompileOptions.metaClass.useAnt = false  

ScalaCompileOptions.metaClass.useCompileDaemon = false 


7.用intellij idea打开kafka-0.10.0.1-src

2e54b08ee3d7b2412c280f36f31cd0bd.png-wh_

8.复制log4j.properties文件放到core模块的src/main/scala路径下,这样才能正常的显示日志

2ed43d098b7cebdf2faa21876ad0dac4.png-wh_

9.增加scala-sdk

0c3b177e184622b505534f8879c596fc.png-wh_

10.配置启动参数

12e18887649e11e1f9db69d044850dc6.png-wh_

11.启动项目

ce3716f9bb285fd7a644b66b2441c228.png-wh_

12.验证

解压kafka_2.11-0.10.0.1.tgz文件,命令行进入bin/windows

1)创建topic

C:\webserver\kafka_2.11-0.10.0.1\bin\windows>kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --

partitions 1 --topic testMsg

Created topic "testMsg".


控制台日志如下:

38fb278207d888d2f482d0fced205b5d.png-wh_

2)执行生产者命令,产生消息:

d95d2efbc0fb9428444026348165dd22.png-wh_

3)执行消费者命令,消费消息:

c81d90a057bfd0c7c3221db7726f6f21.png-wh_

问题:

ERROR Processor got uncaught exception. (kafka.network.Processor)
java.nio.BufferUnderflowException

解决方案:

这是客户端的jar包和集群的版本号在小版本不一致导致,保持版本号一致即可。

scala-2.11.11,kafka-0.10.0.1-src.tgz, kafka_2.11-0.10.0.1.tgz



本文转自gauyanm 51CTO博客,原文链接:http://blog.51cto.com/gauyanm/1979198,如需转载请自行联系原作者
相关文章
|
2月前
|
开发工具 Android开发 git
Windows下载android2.2完整源码(转)
Windows下载android2.2完整源码(转)
47 3
|
2月前
|
消息中间件 存储 负载均衡
Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】
【2月更文挑战第21天】Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】
350 4
|
2月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
98 1
|
27天前
|
Windows
【Windows驱动开发】注册表的基本操作(创建、打开、修改、读取、枚举)(附源码)
【Windows驱动开发】注册表的基本操作(创建、打开、修改、读取、枚举)(附源码)
|
16天前
|
消息中间件 存储 Kafka
Kafka 2.13-3.7.0 在 Windows 上的安装与配置指南
Kafka 2.13-3.7.0 在 Windows 上的安装与配置指南
18 0
|
1月前
|
Java 大数据 Scala
Scala快速入门--Scala环境搭建【Windows10】图解
Scala快速入门--Scala环境搭建【Windows10】图解
19 0
|
2月前
|
C# Windows
一款.NET开源、简洁易用的Windows桌面小说阅读应用
一款.NET开源、简洁易用的Windows桌面小说阅读应用
|
2月前
|
人工智能 安全 机器人
AI电销机器人系统源码部署:freeswitch安装Windows
在Windows上安装FreeSWITCH:访问官网下载安装程序,运行并按提示安装;选择安装路径和组件;等待安装完成;配置FreeSWITCH,修改设置;启动服务;测试其功能;如遇问题,参考官方文档或进行调试故障排除。记得定期更新维护以保证稳定安全。
|
2月前
|
前端开发 JavaScript iOS开发
开源Windows12网页版HTML源码
开源Windows12网页版HTML源码,无需安装就能用的Win12网页版来了Windows12概念版(PoweredbyPowerPoint)后深受启发,于是通过使用HTML、CSS、js等技术做了这样一个模拟板的Windows12系统,并已发布至github进行开源。
16 0
开源Windows12网页版HTML源码