淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

本文涉及的产品
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
简介: 淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

引言

本文代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/taodong-shop

在上一篇博客《淘东电商项目(48) -ELK+Kafka分布式日志收集(原理篇)》

讲解了使用ELK+Kafka在分布式环境下收集日志的原理。之前已经搭建好了ELK了,在本文将讲解基于Dokcer搭建Kafka,当然,搭建Kafka环境之前,需要搭建Zookeeper

本文目录结构:

l____引言

l____ 1. 安装前须知

l____ 2. Zookeeper的安装

l____ 3. Kafka的安装

l____ 4. 测试

1. 安装前须知

注意:如果要让ELK+Kafka(单机版)跑起来,必须满足如下要求:

1.虚拟机内存必须6G以上,否则无法运行

2.必须关闭防火墙,否则Kafka无法连接Zookeeper

2. Zookeeper的安装

1.下载zookeeper

docker pull wurstmeister/zookeeper

2.启动Zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

3.查看zookeeper是否启动

docker ps

可以看到Zookeeper启动成功!

3. Kafka的安装

1.下载Kafka

docker pull wurstmeister/kafka

2.启动kafka

docker run --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.162.134:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.162.134:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-d  wurstmeister/kafka

3.查看容器是否启动成功

docker ps

可以看到Kafka也启动成功了!

4. 测试

1.进入kafka容器:

docker exec -it kafka /bin/bash

2.创建my_log主题(提示“Created topic 主题名”表示创建成功):

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.162.134:2181 --replication-factor 1 --partitions 1 --topic my_log

3.查询创建主题:

/opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.162.134:2181

可以看到,查询结果为刚创建的主题my_log,成功!

目录
相关文章
|
8月前
|
数据采集 存储 Docker
深入理解Docker:为你的爬虫项目提供隔离环境
本教程介绍如何使用Docker构建隔离环境,运行Python爬虫项目,采集小红书视频页面的简介和评论。主要内容包括: 1. **Docker隔离环境**:通过Docker容器化爬虫,确保环境独立、易于部署。 2. **代理IP技术**:利用亿牛云爬虫代理突破反爬限制。 3. **Cookie与User-Agent设置**:伪装请求头,模拟真实用户访问。 4. **多线程采集**:提高数据采集效率。 前置知识要求:Python基础、Docker基本操作及HTML解析(可选)。教程还涵盖常见错误解决方法和延伸练习,帮助你优化爬虫代码并避免陷阱。
233 7
深入理解Docker:为你的爬虫项目提供隔离环境
|
运维 网络安全 持续交付
IDEA+Docker 远程一键部署项目:技术干货分享
【10月更文挑战第4天】在现代软件开发中,快速、可靠、自动化的部署流程是提升开发效率和运维质量的关键。IDEA(IntelliJ IDEA)作为Java开发者首选的IDE,结合Docker这一轻量级容器化技术,能够实现远程一键部署项目,极大地简化了开发到生产的流程。今天,我将和大家分享这一组合在工作学习中的实际应用和技术干货。
944 3
|
7月前
|
Docker Python 容器
Docker——阿里云服务器使用Docker部署python项目全程小记
本文记录了我在阿里云服务器上使用Docker部署python项目(flask为例)的全过程,在这里记录和分享一下,希望可以给大家提供一些参考。
770 2
|
10月前
|
关系型数据库 应用服务中间件 PHP
实战~如何组织一个多容器项目docker-compose
本文介绍了如何使用Docker搭建Nginx、PHP和MySQL的环境。首先启动Nginx容器并查看IP地址,接着启动Alpine容器并安装curl测试连通性。通过`--link`方式或`docker-compose`配置文件实现服务间的通信。最后展示了Nginx配置文件和PHP代码示例,验证了各服务的正常运行。
249 3
实战~如何组织一个多容器项目docker-compose
|
11月前
|
关系型数据库 MySQL Java
【Docker最新版教程】一文带你快速入门Docker常见用法,实现容器编排和自动化部署上线项目
Docker快速入门到项目部署,MySQL部署+Nginx部署+docker自定义镜像+docker网络+DockerCompose项目实战一文搞定!
1880 10
|
10月前
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
425 5
|
10月前
|
存储 运维 数据可视化
如何为微服务实现分布式日志记录
如何为微服务实现分布式日志记录
618 1
|
11月前
|
存储 JSON 网络协议
Docker面试整理-如何查看和管理Docker容器的日志?
通过本文的介绍,我们了解了如何查看和管理Docker容器的日志,包括使用 `docker logs`命令、配置日志驱动、设置日志选项和集中日志管理。掌握这些技能,不仅可以在面试中展示专业水平,也能在实际工作中高效
1913 3
|
11月前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
864 2
|
12月前
|
Web App开发 iOS开发 Docker
Docker 容器的日志
【10月更文挑战第31天】
188 5