微服务日志监控的挑战及应对方案

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【10月更文挑战第23天】微服务化带来模块独立与快速扩展,但也使得日志监控复杂。日志作用包括业务记录、异常追踪和性能定位。

当企业在进行整体性应用拆分实现微服务化时,需要建立松耦合的模块,从而保证其便于测试并降低变更风险。这些模块也都可以独立部署以实现快速、横向扩展。但这也会带来一些初看并不严重,但长远来看影响极为重大的问题,其中的典型代表就是服务日志记录。微服务日志对整个开发团队的作用可以总结为以下几点。

  • 业务日志:从业务角度来对一些分支条件进行记录,方便日后排查。例如:在支付服务中,日志需要记录每条交易的支付信息,支付的状态、金额、双方的支付账号等。
  • 异常记录:对于服务的代码错误以及异常,我们需要记录运行时异常的详细信息和上下文等,方便事后排查修复。
  • 性能定位:对于质量分析师和传统测试人员,我们可以利用日志系统的请求标识和时间戳等信息来验证系统性能,还可以排查函数或请求调用的时间消耗、内存、CPU使用率等。

1、微服务日志监控的特点

日志是我们日常工作中最常用的监控方式。日志的特点是由事件驱动发生变化,带有不连续性、随机性,日志数据可以是结构化的或非结构化的。在传统的单体服务中,可以采用Log4j、Logback和SLF4J等主流的日志框架将服务日志记录在日志文件中。


微服务架构的特点决定了功能模块的部署采用分布式的系统结构,而大部分功能模块都是独立部署运行,彼此通过总线交互。微服务之间通常也是相互隔离的,不共享公共数据库和日志文件,因此微服务监控也如微服务一样具有复杂特性。

  • 监控源的多样化:不同的服务存在于不同业务开发的子系统、模块、数据库和中间件。
  • 海量数据:基于各种业务类型汇聚海量的业务数据,包括结构化数据和非结构化数据(影音文件、电子文档、消息体等)。
  • 成百上千个应用服务:大量的微服务部署在不同的虚拟机或者云平台上,服务的注册、提供、挂起、版本更新、停止等都应被日志所记录。
  • 调用链路关系复杂且环节长:一个业务流程可能需要经过十几个服务才能够完成,其中任何一个环节出现问题,想要从日志中调试与定位问题都将十分困难。

2、微服务日志监控面临的挑战与应对方案

微服务日志监控面临着如下挑战。

  • 如何从成百上千个微服务中快速找到某个微服务的出错日志?
  • 如果微服务之间存在调用,如何从一次完整的调用和整个请求链路角度来分析相关服务的日志?
  • 当触发异常日志后,系统如何进行自我预警?


面对上述挑战,我们应从以下几点思考应对策略:

1)微服务日志的收集、管理与查询;2)微服务的调用链跟踪;3)微服务异常日志的预警。

需要一种能够在众多服务中查看分布式事务日志和进行分布式调试的架构。同时需要日志分析平台帮助收集不同微服务的日志信息,并能够归纳汇总,在我们需要时可快速高效地从平台上查找出有价值的信息,帮助团队快速定位问题。

随着微服务的流行,其相关的工具也随之演进,目前业界最流行的微服务日志监控组合是Elasticsearch、Logstash和Kibana,即我们常提到的ELK。它们用于实时搜索、分析和可视化日志数据,相应地解决了上面提到的挑战。如下图所示:

1)Logstash负责从不同的微服务、不同的子节点上收集日志文件,并对日志进行格式化。

2)Elasticsearch(以下简称ES)负责日志数据的存储、索引。

3)Kibana提供了友好的数据可视化、分析界面。

Beats负责收集日志,将收集到的数据存储到Redis内存数据库和Kafka或RabbitMQ消息队列服务中,并将日志发送给Logstash,由Elasticsearch汇总分析,并最终由Kibana以图表的形式展现给整个团队。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3天前
|
弹性计算 双11 开发者
阿里云ECS“99套餐”再升级!双11一站式满足全年算力需求
11月1日,阿里云弹性计算ECS双11活动全面开启,在延续火爆的云服务器“99套餐”外,CPU、GPU及容器等算力产品均迎来了全年最低价。同时,阿里云全新推出简捷版控制台ECS Lite及专属宝塔面板,大幅降低企业和开发者使用ECS云服务器门槛。
|
21天前
|
存储 弹性计算 人工智能
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
阿里云弹性计算产品线、存储产品线产品负责人Alex Chen(陈起鲲)及团队内多位专家,和中国电子技术标准化研究院云计算标准负责人陈行、北京望石智慧科技有限公司首席架构师王晓满两位嘉宾,一同带来了题为《通用计算新品发布与行业实践》的专场Session。本次专场内容包括阿里云弹性计算全新发布的产品家族、阿里云第 9 代 ECS 企业级实例、CIPU 2.0技术解读、E-HPC+超算融合、倚天云原生算力解析等内容,并发布了国内首个云超算国家标准。
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
|
3天前
|
人工智能 弹性计算 文字识别
基于阿里云文档智能和RAG快速构建企业"第二大脑"
在数字化转型的背景下,企业面临海量文档管理的挑战。传统的文档管理方式效率低下,难以满足业务需求。阿里云推出的文档智能(Document Mind)与检索增强生成(RAG)技术,通过自动化解析和智能检索,极大地提升了文档管理的效率和信息利用的价值。本文介绍了如何利用阿里云的解决方案,快速构建企业专属的“第二大脑”,助力企业在竞争中占据优势。
|
1天前
|
人工智能 自然语言处理 安全
创新不设限,灵码赋新能:通义灵码新功能深度评测
自从2023年通义灵码发布以来,这款基于阿里云通义大模型的AI编码助手迅速成为开发者心中的“明星产品”。它不仅为个人开发者提供强大支持,还帮助企业团队提升研发效率,推动软件开发行业的创新发展。本文将深入探讨通义灵码最新版本的三大新功能:@workspace、@terminal 和 #team docs,分享这些功能如何在实际工作中提高效率的具体案例。
|
7天前
|
负载均衡 算法 网络安全
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
阿里云平台WoSign品牌SSL证书是由阿里云合作伙伴沃通CA提供,上线阿里云平台以来,成为阿里云平台热销的国产品牌证书产品,用户在阿里云平台https://www.aliyun.com/product/cas 可直接下单购买WoSign SSL证书,快捷部署到阿里云产品中。
1850 6
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
|
10天前
|
Web App开发 算法 安全
什么是阿里云WoSign SSL证书?_沃通SSL技术文档
WoSign品牌SSL证书由阿里云平台SSL证书合作伙伴沃通CA提供,上线阿里云平台以来,成为阿里云平台热销的国产品牌证书产品。
1789 2
|
19天前
|
编解码 Java 程序员
写代码还有专业的编程显示器?
写代码已经十个年头了, 一直都是习惯直接用一台Mac电脑写代码 偶尔接一个显示器, 但是可能因为公司配的显示器不怎么样, 还要接转接头 搞得桌面杂乱无章,分辨率也低,感觉屏幕还是Mac自带的看着舒服
|
26天前
|
存储 人工智能 缓存
AI助理直击要害,从繁复中提炼精华——使用CDN加速访问OSS存储的图片
本案例介绍如何利用AI助理快速实现OSS存储的图片接入CDN,以加速图片访问。通过AI助理提炼关键操作步骤,避免在复杂文档中寻找解决方案。主要步骤包括开通CDN、添加加速域名、配置CNAME等。实测显示,接入CDN后图片加载时间显著缩短,验证了加速效果。此方法大幅提高了操作效率,降低了学习成本。
5386 15
|
13天前
|
人工智能 关系型数据库 Serverless
1024,致开发者们——希望和你一起用技术人独有的方式,庆祝你的主场
阿里云开发者社区推出“1024·云上见”程序员节专题活动,包括云上实操、开发者测评和征文三个分会场,提供14个实操活动、3个解决方案、3 个产品方案的测评及征文比赛,旨在帮助开发者提升技能、分享经验,共筑技术梦想。
1139 152
|
21天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1585 14