使用SLS构建企业级监控

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 随着企业信息化的发展,面向云的IT基础设施越来越普遍,如何解决跑大的软件系统的监控问题,成为IT稳定性保障的关键环节。 本方案主要介绍如何使用SLS 对阿里云、专有IDC以及第三方云场景下,进行企业级的监控方案。

(一)背景

随着企业信息化的发展,面向云的IT基础设施越来越普遍,如何解决跑大的软件系统的监控问题,成为IT稳定性保障的关键环节。 本方案主要介绍如何使用SLS 对阿里云、专有IDC以及第三方云场景下,进行企业级的监控方案。

(二)架构

依托于MetricStore/Logstore存储能力,SLS提供了从底向上全栈的监控能力

image.png

(三)前序工作

  1. 在阿里云官网已经开通 SLS服务
  2. 确保现有的网络环境,可以连通到阿里云网络。

网络联通说明:

本方案要求现有的需要采集指标或日志的设备能够联通阿里云的网络环境,目前SLS支持的Region 参考 链接

对于IDC或者其他云厂商的场景,如果是进行POC的话可以优先使用SLS的公网地址进行日志收集;如果是生产使用建议搭建相应的专线接入阿里云网络,以保障数据传输的可靠性

(四)步骤

配置步骤汇总

监控层次

监控类型

接入方式

接入说明

IAAS层

k8s指标监控

配置即可接入(Promethues Remote Write)

支持Pod、Deployment、SatefulSet、k8s核心组件指标监控,具体配置方法 链接

k8s事件监控

配置即可接入(需部署k8s npd组件)

容器的重启、Crash、OOM等监控,关键组件异常监控链接

主机监控

logtail采集

支持CPU、Mem、Disk、Net、System等相关指标采集链接

PAAS层

MySQL

logtail采集

配置方案见 链接

MongoDB

logtail采集

配置方案见 链接

Redis

logtail采集

配置方案见 链接

ClickHouse

logtail采集

配置方案见 链接

Kafka

logtail采集

配置方案见 链接

Nginx

logtail采集

配置方案见 链接

ElasticSearch

logtail采集

配置方案见 链接

阿里云云产品

配置即可接入

支持常见的云产品(ecs、rds等)指标接入链接

应用层

应用Trace

业务代码集成(部分支持无侵入)

支持常见语言SDK

现有Trace集成

配置即可接入

  • OpenCensus Trace 数据接入 参考 链接
  • Zipkin Trace数据接入 参考 链接
  • SkyWalking Trace数据接入 参考 链接
  • Jaeger Trace数据接入 参考 链接

JVM指标监控

配置即可接入

配置方式参考 链接

自定义指标

开发接入/SLS数据加工/SLS ScheduleSQL

支持使用Python、Java、Go等语言,向SLS MetricStore写入自定义的监控数据。 参考 链接

业务层

业务接入层分析

配置即可接入

  • Nginx访问日志分析 链接
  • ALB访问日志分析 链接
  • SLB访问日志分析 链接
  • Kubernetes Ingress日志分析 链接

自定义指标

开发接入/SLS数据加工/SLS ScheduleSQL

业务日志中的日志,通过计算转换为指标

  • 使用SLS数据加工转换日志为指标 链接



部分监控效果展示

k8s 接入Prometheus后指标查询展示

image.png

k8s 接入Prometheus后使用Grafana查询

image.png

k8s事件中心

image.png


Redis监控

image.png

云产品 - ecs指标导入

image.png

SLB日志中心

image.png

应用JVM监控

image.png

应用Trace接入

image.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
178 6
|
4月前
|
存储 数据采集 数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构,构建强大的日志收集系统!
【8月更文挑战第24天】Apache Flume是一个强大的工具,专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源(Source)、通道(Channel)与接收器(Sink)。Flume支持多样化的拓扑结构以适应不同需求,包括单层、扇入(Fan-in)、扇出(Fan-out)及复杂多层拓扑。单层拓扑简单直观,适用于单一数据流场景;扇入结构集中处理多源头数据;扇出结构则实现数据多目的地分发;复杂多层拓扑提供高度灵活性,适合多层次数据处理。通过灵活配置,Flume能够高效构建各种规模的数据收集系统。
97 0
|
2月前
|
存储 监控 固态存储
如何监控和优化 WAL 日志文件的存储空间使用?
如何监控和优化 WAL 日志文件的存储空间使用?
|
2月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
3月前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
402 0
|
4月前
|
SQL 数据库 Java
Hibernate 日志记录竟藏着这些秘密?快来一探究竟,解锁调试与监控最佳实践
【8月更文挑战第31天】在软件开发中,日志记录对调试和监控至关重要。使用持久化框架 Hibernate 时,合理配置日志可帮助理解其内部机制并优化性能。首先,需选择合适的日志框架,如 Log4j 或 Logback,并配置日志级别;理解 Hibernate 的多级日志,如 DEBUG 和 ERROR,以适应不同开发阶段需求;利用 Hibernate 统计功能监测数据库交互情况;记录自定义日志以跟踪业务逻辑;定期审查和清理日志避免占用过多磁盘空间。综上,有效日志记录能显著提升 Hibernate 应用的性能和稳定性。
55 0
|
4月前
|
开发者 前端开发 编解码
Vaadin解锁移动适配新境界:一招制胜,让你的应用征服所有屏幕!
【8月更文挑战第31天】在移动互联网时代,跨平台应用开发备受青睐。作为一款基于Java的Web应用框架,Vaadin凭借其组件化设计和强大的服务器端渲染能力,助力开发者轻松构建多设备适应的Web应用。本文探讨Vaadin与移动设备的适配策略,包括响应式布局、CSS媒体查询、TouchKit插件及服务器端优化,帮助开发者打造美观且实用的移动端体验。通过这些工具和策略的应用,可有效应对屏幕尺寸、分辨率及操作系统的多样性挑战,满足广大移动用户的使用需求。
71 0
|
4月前
|
存储 运维 监控
Entity Framework Core 实现审计日志记录超棒!多种方法助你跟踪数据变化、监控操作,超实用!
【8月更文挑战第31天】在软件开发中,审计日志记录对于跟踪数据变化、监控用户操作及故障排查至关重要。Entity Framework Core (EF Core) 作为强大的对象关系映射框架,提供了多种实现审计日志记录的方法。例如,可以使用 EF Core 的拦截器在数据库操作前后执行自定义逻辑,记录操作类型、时间和执行用户等信息。此外,也可通过在实体类中添加审计属性(如 `CreatedBy`、`CreatedDate` 等),并在保存实体时更新这些属性来记录审计信息。这两种方法都能有效帮助我们追踪数据变更并满足合规性和安全性需求。
116 0
|
4月前
|
存储 JSON 监控
FastAPI日志之谜:如何揭开Web应用监控与调试的面纱?
【8月更文挑战第31天】在现代Web开发中,日志记录对于监控应用状态、诊断问题和了解用户行为至关重要。FastAPI框架提供了强大的日志功能,使开发者能轻松集成日志记录。本文将详细介绍如何在FastAPI中设置和利用日志,包括基础配置、请求响应日志、错误处理和结构化日志等内容,帮助提升应用的可维护性和性能。
192 0
|
4月前
|
消息中间件 Prometheus 监控
Producer的监控与日志记录最佳实践
【8月更文第29天】在分布式系统中,消息队列作为关键组件之一,其稳定性和性能至关重要。生产者(Producer)负责生成并发送消息到消息队列中,因此确保生产者的健康运行是非常重要的。本文将探讨如何为生产者设置监控和日志记录,以跟踪其健康状况和性能指标。
82 0