日志平台中心建议

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:   ES5.4.1日志集群共有30个节点,监控集群有16个节点。每天新增400多个索引,最近5天的索引为打开状态,open索引2000+,每天新增数据2.5T,5天约有150多亿条数据,保留三个月(90天)的历史数据平均每条日志约是0.6Kb可用性99.99%、丢失率0.6%~3% ES监控,使用monitoring插件以及cerebro(kopf替代品)采集端,每个虚机装一个fluentd或者采用log-sender将数据发送到远端。

 

 

ES5.4.1
日志集群共有30个节点,监控集群有16个节点。
每天新增400多个索引,最近5天的索引为打开状态,open索引2000+,每天新增数据2.5T,5天约有150多亿条数据,保留三个月(90天)的历史数据
平均每条日志约是0.6Kb
可用性99.99%、丢失率0.6%~3%

ES监控,使用monitoring插件以及cerebro(kopf替代品)
采集端,每个虚机装一个fluentd或者采用log-sender将数据发送到远端。采集端可以任意扩展,不受限制。
如果采集端 数据比较大,可能受限于中转。由于从中转到采集端 有负载均衡,中转可以线性扩展。

 

通知方式,支持短信、邮件、电话

支持异常日志监控、业务监控、系统监控、接口调用情况监控、jvm监控、tomcat监控
kibana可视化,图表功能,既是数据的获取方式aggdsl
将监控配置集成在kibana中,最合适不过了,所见即所得
简化了监控指标的生成方式,可视化配置报警,简单易用
监控平台开发,也降低了难度

可以设置通用指标,快速实施监控报警

kibana5自带上下文查询,但仍需要改进
Custom插件,用户可以自定义一些个性化的东西
Tail插件
Alert插件

 

 

fluentd配置简单,tag概念、插件机制、运行时资源占用小

容器云,可以采用落盘或者不落盘的方式,将日志推送到日志中心,当然,我们主推不落盘的方式

 

.

 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
8月前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
|
3月前
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
208 6
|
4月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
5月前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
7月前
|
存储 监控 安全
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台, 截至目前已在近百家行业内知名企业中落地。
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
|
7月前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI产品使用合集之在使用行调用时遇到一直卡在ps job的问题,并且无法在DataWorks上查看到相关日志,是什么导致的
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
消息中间件 数据采集 关系型数据库
离线数仓(三)【业务日志采集平台搭建】(2)
离线数仓(三)【业务日志采集平台搭建】
|
7月前
|
消息中间件 前端开发 Kafka
离线数仓(二)【用户行为日志采集平台搭建】(1)
离线数仓(二)【用户行为日志采集平台搭建】
|
6月前
|
消息中间件 NoSQL Kafka
基于Kafka的nginx日志收集分析与监控平台(3)
基于Kafka的nginx日志收集分析与监控平台(3)