淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

引言

本文代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/taodong-shop

在上一篇博客《淘东电商项目(48) -ELK+Kafka分布式日志收集(原理篇)》

讲解了使用ELK+Kafka在分布式环境下收集日志的原理。之前已经搭建好了ELK了,在本文将讲解基于Dokcer搭建Kafka,当然,搭建Kafka环境之前,需要搭建Zookeeper

本文目录结构:

l____引言

l____ 1. 安装前须知

l____ 2. Zookeeper的安装

l____ 3. Kafka的安装

l____ 4. 测试

1. 安装前须知

注意:如果要让ELK+Kafka(单机版)跑起来,必须满足如下要求:

1.虚拟机内存必须6G以上,否则无法运行

2.必须关闭防火墙,否则Kafka无法连接Zookeeper

2. Zookeeper的安装

1.下载zookeeper

docker pull wurstmeister/zookeeper

2.启动Zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

3.查看zookeeper是否启动

docker ps

可以看到Zookeeper启动成功!

3. Kafka的安装

1.下载Kafka

docker pull wurstmeister/kafka

2.启动kafka

docker run --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.162.134:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.162.134:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-d  wurstmeister/kafka

3.查看容器是否启动成功

docker ps

可以看到Kafka也启动成功了!

4. 测试

1.进入kafka容器:

docker exec -it kafka /bin/bash

2.创建my_log主题(提示“Created topic 主题名”表示创建成功):

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.162.134:2181 --replication-factor 1 --partitions 1 --topic my_log

3.查询创建主题:

/opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.162.134:2181

可以看到,查询结果为刚创建的主题my_log,成功!

目录
相关文章
|
4月前
|
消息中间件 存储 Kafka
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
|
4月前
|
消息中间件 分布式计算 Kafka
亿万级别Kafka演进之路:可靠性+事务+消息中间件+源码+日志
Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
|
25天前
|
前端开发 应用服务中间件 nginx
Nginx配置详解Docker部署Nginx使用Nginx部署vue前端项目
Nginx配置详解Docker部署Nginx使用Nginx部署vue前端项目
101 0
|
3月前
|
Java 持续交付 Docker
Docker 项目如何使用 Dockerfile 构建镜像?
Docker 简介:讲述 Docker 的起源、它是如何革新现代软件开发的,以及它为开发者和运维团队带来的好处。重点强调 Docker 的轻量级特性和它在提高应用部署、扩展和隔离方面的优势。
|
3月前
|
消息中间件 数据可视化 关系型数据库
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
151 0
|
1月前
|
NoSQL Java Redis
利用Docker部署一个简单的springboot项目
利用Docker部署一个简单的springboot项目
71 2
|
1月前
|
JavaScript Java jenkins
如何利用CentOS7+docker+jenkins+gitee部署springboot+vue前后端项目(保姆教程)
如何利用CentOS7+docker+jenkins+gitee部署springboot+vue前后端项目(保姆教程)
86 0
|
1月前
|
数据可视化 应用服务中间件 nginx
如何查看docker 项目的配置文件
【2月更文挑战第21天】
117 1
|
1月前
|
Java 网络安全 开发者
【Docker】5、Dockerfile 自定义镜像(镜像结构、Dockerfile 语法、把 Java 项目弄成镜像)
【Docker】5、Dockerfile 自定义镜像(镜像结构、Dockerfile 语法、把 Java 项目弄成镜像)
44 0
|
2月前
|
资源调度 JavaScript 前端开发
如何使用 Docker 来部署 Vue 项目?
【2月更文挑战第8天】
92 2

热门文章

最新文章