AI 助理
备案控制台
开发者社区 微服务 文章 正文

ELK实时日志分析平台(elk+kafka+metricbeat)-KAFKA(二)

2017-11-28 1987
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介：

一、kafka搭建

  1. 建立elk目录：mkdir /usr/loca/elk

  2. 安装zookeeper：

    1. 192.168.30.121：

      wKiom1myLD-yj6oNAAAhLNFsX2s875.png

      wKioL1myLCvB3bj_AABO8ki3-Hw352.png

    2. 192.168.30.122：

      wKiom1myLLfTcRaeAAAmkYmfFgg271.png

      wKioL1myLKOS5M4AAABQUL8lPCE800.png

    3. 192.168.30.123：

      wKiom1myLN3AMsWtAAAsjgFV1CU663.png

      wKioL1myLMmw-ZBYAABNW-IWCbg772.png

3. kafka安装：

    a. 192.168.30.121wKioL1myLZnDh8cQAAAi2ZVKr5k068.png

    wKioL1myLayCfq8mAACIicLkVhg456.png

    b. 192.168.30.122:

wKiom1myLgWxlWKBAAAi2ZVKr5k705.png

    wKiom1myLhqS1weKAACAPGlgGt8591.png

c. 192.168.30.123:

    wKiom1myLvejJrz1AAAi2ZVKr5k925.png

wKioL1myLiXx0jauAACSif4FwGs258.png

wKiom1myLlOSlzAsAAALXvnMs-w474.png

4.启动：

在三台服务器上执行下面命令：

wKiom1myL27yQLrCAADQrrwcpAY196.png

wKioL1myL1rAkehiAAEyffA2QaE048.png



本文转自 zhuxtqw 51CTO博客，原文链接：http://blog.51cto.com/1054054/1963668，如需转载请自行联系原作者

文章标签：
云消息队列 Kafka 版
日志服务
消息中间件
Kafka
监控
关键词：
日志服务elk
日志服务平台
云消息队列 Kafka 版平台
elk日志服务
ELK日志
技术小阿哥
目录
相关文章
1176112968452250
|
9天前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
1176112968452250
27 0
软件求生
|
3月前
|
消息中间件 存储 Kafka
Kafka日志处理：深入了解偏移量查找与切分文件
**摘要：** 本文介绍了如何在Kafka中查找偏移量为23的消息，涉及ConcurrentSkipListMap的查询、索引文件的二分查找及日志分段的物理位置搜索。还探讨了Kafka日志分段的切分策略，包括大小、时间、索引大小和偏移量达到特定阈值时的切分条件。理解这些对于优化Kafka的性能和管理日志至关重要。
软件求生
91 2
bzf4tpxf3rljg
|
7天前
|
消息中间件 Kafka API
python之kafka日志
python之kafka日志
bzf4tpxf3rljg
14 3
yuanzhengme
|
24天前
|
消息中间件 存储 监控
Kafka的logs目录下的文件都是什么日志？
Kafka的logs目录下的文件都是什么日志？
yuanzhengme
37 11
zuozewei
|
2月前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
zuozewei
90 3
路边两盏灯
|
2月前
|
消息中间件 Java Kafka
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 （连接 Azure Event Hub Kafka 终结点）
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 （连接 Azure Event Hub Kafka 终结点）
路边两盏灯
37 0
hh真是个慢性子
|
2月前
|
消息中间件 Kafka
一文吃透企业级elk技术栈：4. kafka 集群部署
一文吃透企业级elk技术栈：4. kafka 集群部署
hh真是个慢性子
32 0
落雨便归尘
|
4月前
|
消息中间件 存储 Kafka
go语言并发实战——日志收集系统(二) Kafka简介
go语言并发实战——日志收集系统(二) Kafka简介
落雨便归尘
76 1
欢喜躲在眉梢里
|
3月前
|
消息中间件 NoSQL Kafka
基于Kafka的nginx日志收集分析与监控平台（3）
基于Kafka的nginx日志收集分析与监控平台（3）
欢喜躲在眉梢里
39 0
欢喜躲在眉梢里
|
3月前
|
消息中间件 监控 Kafka
基于Kafka的nginx日志收集分析与监控平台（2）
基于Kafka的nginx日志收集分析与监控平台（2）
欢喜躲在眉梢里
47 0

热门文章

最新文章

  • 1
    Kubernetes全方位日志采集与管理的最佳实践 资料下载
  • 2
    海量游戏日志收集与分析
  • 3
    解决华为手机不出现logcat日志的问题
  • 4
    MySQL常规日志排错
  • 5
    Windows Phone 实用开发技巧（22）：使用日志记录当前信息与异常信息
  • 6
    浅谈Android系统开发中LOG的使用
  • 7
    打开haproxy的日志
  • 8
    【小程序】报错：no such file or directory, access ‘wxfile://usr/miniprogramLog/log2‘
  • 9
    Your password has expired. To log in you must change it using a client that supports expired passwod
  • 10
    仿酷狗音乐播放器开发日志十一——CTreeNodeUI的bug修复
  • 1
    SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）
    88
  • 2
    Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试（一篇学会使用 Offset Explorer）
    724
  • 3
    Kafka【付诸实践 02】消费者和消费者群组+创建消费者实例+提交偏移量（自动、手动）+监听分区再平衡+独立的消费者+消费者其他属性说明（实例源码粘贴可用）【一篇学会使用Kafka消费者】
    183
  • 4
    Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息（同步、异步）+自定义分区器+自定义序列化器+生产者其他属性说明（实例源码粘贴可用）【一篇学会使用Kafka生产者】
    457
  • 5
    Kafka【基础知识 02】集群+副本机制+数据请求+物理存储+数据存储设计（图片来源于网络）
    113
  • 6
    Kafka【基础知识 01】消息队列介绍+Kafka架构及核心概念（图片来源于网络）
    234
  • 7
    Kafka【问题记录 01】kill -9 导致 Kakfa 重启失败问题处理（doesn‘t match stored clusterId xxx in meta.properties）
    174
  • 8
    Flink CDC产品常见问题之用upsert的方式写入kafka失败如何解决
    171
  • 9
    Flink CDC产品常见问题之Flink CDC里从kafka消费的时候顺序混乱如何解决
    218
  • 10
    DataWorks常见问题之kafka数据导入datahub失败如何解决
    182

    • 相关课程

    更多
  • 消息队列Kafka入门课程
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 分布式消息系统 Kafka 快速入门
  • 基于MongoDB构建实时日志分析平台
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 数据采集系统 Flume 快速入门

    • 相关电子书

    更多
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
  • 消息队列kafka介绍
  • 基于ELK的大数据平台实践分享

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 基于Flink+Tair搭建实时监控大屏
  • 使用CloudLens采集RDS日志并进行审计分析
  • RocketMQ一站式入门使用
    • 下一篇
    无影云桌面