ELK

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: ELK

Elk
Elasticsearch logstash kibana
传统:Shell sed awk grep 简单的信息筛选
进行海量日志的筛选遇到的问题:1信息搜索(费时) 2 多维度分析
适用于服务器数量少
因此,海量日志的情况下需要日志分析系统
日志分析系统常见方案:ELF /EFK/graylog/流式分析/ELK
日志分析系统作用:
1 信息检索——>快速找到bug——>修复
2 服务诊断——>负载均衡和运行状态——>优化
3 数据分析——>
日志系统的角色(组件):
1 采集端(agent):采集日志源数据,对数据进行封装并发送给聚合端。
2 聚合端(collector):搜集来自多个采集端的日志数据,并按照一定规则进行数据的处理(例如:加索引)。
3 存储端(storage):负责存储来自聚合端的数据。

ELK方案示意图
在这里插入图片描述

data collection数据的收集
Redis 消息队列(可加可不加)
Data processing 数据的处理
Storage 存储
Visuablize可视化(获取数据进行显示)
Beats 负责对日志源数据进行采集
Logstash 建立索引
Elasticsearch 存储

实验
基础环境
四台虚拟机
在这里插入图片描述

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
SQL 存储 监控
水滴筹基于阿里云 EMR StarRocks 实战分享
水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。
6633 3
水滴筹基于阿里云 EMR StarRocks 实战分享
|
4月前
|
机器学习/深度学习 人工智能 数据可视化
基于YOLOv8的共享单车/自行车随意停放识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
本项目基于YOLOv8模型与PyQt5界面,实现共享单车/自行车乱停放的智能检测。支持图片、视频、文件夹及摄像头输入,提供实时检测与结果保存功能。配套完整源码、训练数据集与权重文件,开箱即用,适合城市管理、交通执法等场景。项目包含详细训练教程与部署指南,助力AI学习者快速上手,推动智慧城市应用开发。
基于YOLOv8的共享单车/自行车随意停放识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
|
11月前
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
1851 1
|
人工智能 开发者
阿里云百炼xWaytoAGI共学课程直播视频汇总
阿里云百炼xWaytoAGI共学课系列涵盖企业级AI应用开发、文本知识库应用及多模态交互案例,帮助开发者快速掌握AI技术。抓紧来学习吧~~
1651 0
阿里云百炼xWaytoAGI共学课程直播视频汇总
|
7月前
|
人工智能 资源调度 调度
DeepSeek一体机!飞天企业版上新“AI Stack”,支持DeepSeek满血版和Qwen单机部署!
飞天企业版上新“AI Stack”,支持DeepSeek满血版和Qwen单机部署!
4426 0
|
11月前
|
缓存 监控 测试技术
全网最全压测指南!教你如何测试和优化系统极限性能
大家好,我是小米。本文将介绍如何在实际项目中进行性能压测和优化,包括单台服务器和集群压测、使用JMeter、监控CPU和内存使用率、优化Tomcat和数据库配置等方面的内容,帮助你在高并发场景下提升系统性能。希望这些实战经验能助你一臂之力!
911 3
|
人工智能 大数据 云计算
拥抱不确定性:在技术迭代中寻找平衡点
【5月更文挑战第28天】 在快速变革的技术世界里,不确定性已成为常态。本文探讨了如何在不断的技术更新与个人技能提升之间找到平衡点。通过分析技术发展的趋势,提出了适应和利用不确定性的策略,并强调了持续学习的重要性。文章旨在为技术人员提供一种心态和方法论,帮助他们在不断变化的环境中保持竞争力。
|
存储 消息中间件 NoSQL
使用 Java 操作 Redis 数据类型的详解指南
使用 Java 操作 Redis 数据类型的详解指南
336 0
|
存储 Linux C语言
【IMX6ULL项目】IMX6ULL上Linux系统实现产测工具框架(一)
【IMX6ULL项目】IMX6ULL上Linux系统实现产测工具框架(一)
336 0
|
SQL 关系型数据库 MySQL
阿里云数据库使用教程、购买、价格、连接数据库全流程
阿里云数据库使用涉及购买、创建及登录步骤。支持MySQL、SQL Server等引擎。购买时选择所需配置、地域和可用区。创建数据库和账号后,通过DMS登录。在同一地域内,ECS需将IP加入RDS白名单以实现内网连接。详细流程见阿里云官方文档。
1657 2