微服务日志监控的挑战及应对方案

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【6月更文挑战第26天】微服务化带来模块独立与快速扩展,但也使得日志监控复杂。日志作用包括业务记录、异常追踪和性能定位。

当企业在进行整体性应用拆分实现微服务化时,需要建立松耦合的模块,从而保证其便于测试并降低变更风险。这些模块也都可以独立部署以实现快速、横向扩展。但这也会带来一些初看并不严重,但长远来看影响极为重大的问题,其中的典型代表就是服务日志记录。微服务日志对整个开发团队的作用可以总结为以下几点。

  • 业务日志:从业务角度来对一些分支条件进行记录,方便日后排查。例如:在支付服务中,日志需要记录每条交易的支付信息,支付的状态、金额、双方的支付账号等。
  • 异常记录:对于服务的代码错误以及异常,我们需要记录运行时异常的详细信息和上下文等,方便事后排查修复。
  • 性能定位:对于质量分析师和传统测试人员,我们可以利用日志系统的请求标识和时间戳等信息来验证系统性能,还可以排查函数或请求调用的时间消耗、内存、CPU使用率等。

1、微服务日志监控的特点

日志是我们日常工作中最常用的监控方式。日志的特点是由事件驱动发生变化,带有不连续性、随机性,日志数据可以是结构化的或非结构化的。在传统的单体服务中,可以采用Log4j、Logback和SLF4J等主流的日志框架将服务日志记录在日志文件中。


微服务架构的特点决定了功能模块的部署采用分布式的系统结构,而大部分功能模块都是独立部署运行,彼此通过总线交互。微服务之间通常也是相互隔离的,不共享公共数据库和日志文件,因此微服务监控也如微服务一样具有复杂特性。

  • 监控源的多样化:不同的服务存在于不同业务开发的子系统、模块、数据库和中间件。
  • 海量数据:基于各种业务类型汇聚海量的业务数据,包括结构化数据和非结构化数据(影音文件、电子文档、消息体等)。
  • 成百上千个应用服务:大量的微服务部署在不同的虚拟机或者云平台上,服务的注册、提供、挂起、版本更新、停止等都应被日志所记录。
  • 调用链路关系复杂且环节长:一个业务流程可能需要经过十几个服务才能够完成,其中任何一个环节出现问题,想要从日志中调试与定位问题都将十分困难。

2、微服务日志监控面临的挑战与应对方案

微服务日志监控面临着如下挑战。

  • 如何从成百上千个微服务中快速找到某个微服务的出错日志?
  • 如果微服务之间存在调用,如何从一次完整的调用和整个请求链路角度来分析相关服务的日志?
  • 当触发异常日志后,系统如何进行自我预警?


面对上述挑战,我们应从以下几点思考应对策略:

1)微服务日志的收集、管理与查询;2)微服务的调用链跟踪;3)微服务异常日志的预警。

需要一种能够在众多服务中查看分布式事务日志和进行分布式调试的架构。同时需要日志分析平台帮助收集不同微服务的日志信息,并能够归纳汇总,在我们需要时可快速高效地从平台上查找出有价值的信息,帮助团队快速定位问题。

随着微服务的流行,其相关的工具也随之演进,目前业界最流行的微服务日志监控组合是Elasticsearch、Logstash和Kibana,即我们常提到的ELK。它们用于实时搜索、分析和可视化日志数据,相应地解决了上面提到的挑战。如下图所示:

1)Logstash负责从不同的微服务、不同的子节点上收集日志文件,并对日志进行格式化。

2)Elasticsearch(以下简称ES)负责日志数据的存储、索引。

3)Kibana提供了友好的数据可视化、分析界面。

Beats负责收集日志,将收集到的数据存储到Redis内存数据库和Kafka或RabbitMQ消息队列服务中,并将日志发送给Logstash,由Elasticsearch汇总分析,并最终由Kibana以图表的形式展现给整个团队。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
消息中间件 监控 API
在Python中如何实现微服务架构,及相关的服务间通信方案?
Python微服务架构涉及服务划分、注册发现、通信协议选择(如HTTP、gRPC、消息队列)及服务间通信实现。每个服务应自治,有独立数据库和部署流程,并需考虑容错(如分布式事务、重试、熔断)和监控日志。API网关用于请求管理和路由。实际操作需根据需求和技术栈调整,并关注服务拆分和数据一致性。
65 5
|
1月前
|
Java 应用服务中间件 nginx
微服务框架(二十九)Logstash Nginx 日志上报
此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。 本文为Logstash Nginx 日志上报 本系列文章中所使用的框架版本为Spring Boot 2.0.3...
|
1月前
|
Dubbo Java 应用服务中间件
微服务框架(三十)Logstash Kong 日志上报
此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。 本文为Logstash Kong 日志上报 本系列文章中所使用的框架版本为Spring Boot 2.0.3-...
|
1月前
|
JSON Java 数据格式
微服务框架(十三)Spring Boot Logstash日志采集
  本文为Spring Boot中Log4j2对接Logstash,进行日志采集。Logstah只支持log4j,使用log4j2时需要通过TCP插件调用 此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。
|
1月前
|
存储 数据采集 Kubernetes
一文详解K8s环境下Job类日志采集方案
本文介绍了K8s中Job和Cronjob控制器用于非常驻容器编排的场景,以及Job容器的特点:增删频率高、生命周期短和突发并发大。文章重点讨论了Job日志采集的关键考虑点,包括容器发现速度、开始采集延时和弹性支持,并对比了5种采集方案:DaemonSet采集、Sidecar采集、ECI采集、同容器采集和独立存储采集。对于短生命周期Job,建议使用Sidecar或ECI采集,通过调整参数确保数据完整性。对于突发大量Job,需要关注服务端资源限制和采集容器的资源调整。文章总结了不同场景下的推荐采集方案,并指出iLogtail和SLS未来可能的优化方向。
|
1月前
|
Java 数据库连接 数据库
【SpringBoot系列】微服务数据持久化方案
【4月更文挑战第8天】微服务数据持久化方案Spring Boot JPA + Hiberate
27 0
|
1月前
|
Web App开发 监控 应用服务中间件
全新架构!日志服务 SLS 自研免登录方案发布
全新架构!日志服务 SLS 自研免登录方案发布
87568 7
|
1月前
|
消息中间件 设计模式 Java
spdlog中的异步日志方案
spdlog中的异步日志方案
367 2
|
2天前
|
监控 Kubernetes 持续交付
探索微服务架构的实践与思考
【6月更文挑战第26天】微服务架构作为一种现代软件设计方法,其核心在于将复杂的单体应用拆分为一系列小型、独立的服务。本文从实践的角度出发,探讨了在构建微服务系统时面临的挑战、采取的设计策略以及实际案例分析,旨在为读者提供一套实用的微服务实施框架和经验分享。
|
20小时前
|
负载均衡 Java API
使用Spring Cloud构建Java微服务架构
使用Spring Cloud构建Java微服务架构

热门文章

最新文章