可观测性:监控与日志|学习笔记

本文涉及的产品
应用实时监控服务-应用监控,每月50GB免费额度
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
可观测监控 Prometheus 版,每月50GB免费额度
简介: 快速学习可观测性:监控与日志

开发者学堂课程【Kubernetes 入门 可观测性:监控与日志】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/51/detail/1018


可观测性:监控与日志


内容介绍:

一、背景

二、监控

三、日志

四、总结

 

一、背景

监控和日志是大型分布式系统的重要基础设施,监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。

在 Kubernetes 中,监控和日志属于生态的一部分,并不是核心组件,因此大部分的能力依赖上层的云厂商的适配。Kubernetes 定义了接入的接口标准和规范,任何符合接口标准的组件都可以快速集成。

 

二、监控

1、监控的类型

l 资源监控

CPU、内存、网络等资源类的指怀,吊以效值、日刀比平 LL13P,n0n 方式。

l 性能监控

应用的内部监控,通常是通过 Hook 的机制在虚拟机层、字节码执行层隐式回调,或者在应用层显示注入,获取更深层次的监控指标,常用来应用诊断与调优。

l 安全监控

针对安全进行的一系列监控策略,例如越权管理、安全漏洞扫描等等

l 事件监控

Kubernetes 中一种另类的监控方式,紧密贴合 Kubernetes 的设计理念,

l 补充常规监控方案的缺欠与弊端。

2、Kubernetes 的监控接口标准

通过 APIServer Aggregated API 注册了三种不同的 metrics 接口,将监控的消费能力进行标准化和解耦,从而实现了与社区的融合。

image.png

3、Prometheus-开源社区的监控“标准”

l 简洁强大的接入标准

l 多种数据采集、离线方式

l Kubernetes 的兼容

l 丰富的插件机制与生态

l Prometheus Operator 的助力

 

三、日志

1、日志的场景

l 主机内核的日志:

主机内核日志可以协助开发者诊断例如︰网络栈异常,驱动异常,文件系统异常,影响节点(内核)稳定的异常。

l Runtime 的日志:

最常见的运行时是 Docker,可以通过 Docker 的日志排查例如删除 Pod Hang 等问题。

l 核心组件的日志:

APIServer 日志可以用来审计,Scheduler 日志可以诊断调度,etcd 日志可以查看存储状态,Ingress 日志可以分析接入层流量。

l 部署应用的日志:

可以通过应用日志分析查看业务层的状态,诊断异常

2、日志的采集

从采集位置上划分,需要支持如下三种:

1、宿主机文件

2、容器内文件

3、容器标准/错误输出

3、Fluentd 日志采集方案

l Data Collection

l Data Aggregation& Processing

l lndexing &storage

l Analysis &visualization

 

四、总结

image.png

在 Kubernetes 中,监控和日志属于生态的一部分,并不是核心组件 Kubernetes 定义了接入的接口标准和规范,任何符合接口标准的组件都可以快速集成。

与监控日志紧密相关的四个产品:

l SLS(Log):日志服务

l ARMS(APM):应用的性能监控

l AHAS(Architecture Awareness):架构感知监控

l Cloud Monitor:云监控

metrics-server 把功能做了很多裁剪,会很不方便,会跟及自己的节奏进行发布

npd 增加了很多监控和检测项

在采集层提供了优化的 node-exporter,场景化的 other-exporters

以及针对 GPU 的 GPU-exporter

阿里云容器服务日志体系

image.png

我们可以采集 pod、Kemel、etcdCore 、Components、Docker 的日志,都收集到 SLS 中,通过 数据离线,离线到 ossMax 、Compute 中,在 Opensearch、 E-MapRreduce、 Flink 中实施日志的搜索和消费,可以对接 Grafana 和 DataV 进行数据的采集和消费

l 监控

四种容器场景下常见的监控方式

Kubernetes 监控的演进与接口标准

两种常用的开源监控方案

l 日志

Kubernetes 日志的四种不同场景

Fluentd 日志采集方案

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
507 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
2月前
|
存储 监控 固态存储
如何监控和优化 WAL 日志文件的存储空间使用?
如何监控和优化 WAL 日志文件的存储空间使用?
|
2月前
|
存储 关系型数据库 数据库
数据库启用慢速查询日志如何增强 Postgres 可观测性
数据库启用慢速查询日志如何增强 Postgres 可观测性
42 1
|
4月前
|
jenkins 持续交付
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
jenkins学习笔记之三:使用jenkins共享库实现日志格式化输出
|
2月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
279 0
|
2月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
3月前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
408 0
|
4月前
|
SQL 数据库 Java
Hibernate 日志记录竟藏着这些秘密?快来一探究竟,解锁调试与监控最佳实践
【8月更文挑战第31天】在软件开发中,日志记录对调试和监控至关重要。使用持久化框架 Hibernate 时,合理配置日志可帮助理解其内部机制并优化性能。首先,需选择合适的日志框架,如 Log4j 或 Logback,并配置日志级别;理解 Hibernate 的多级日志,如 DEBUG 和 ERROR,以适应不同开发阶段需求;利用 Hibernate 统计功能监测数据库交互情况;记录自定义日志以跟踪业务逻辑;定期审查和清理日志避免占用过多磁盘空间。综上,有效日志记录能显著提升 Hibernate 应用的性能和稳定性。
55 0
|
4月前
|
开发者 前端开发 编解码
Vaadin解锁移动适配新境界:一招制胜,让你的应用征服所有屏幕!
【8月更文挑战第31天】在移动互联网时代,跨平台应用开发备受青睐。作为一款基于Java的Web应用框架,Vaadin凭借其组件化设计和强大的服务器端渲染能力,助力开发者轻松构建多设备适应的Web应用。本文探讨Vaadin与移动设备的适配策略,包括响应式布局、CSS媒体查询、TouchKit插件及服务器端优化,帮助开发者打造美观且实用的移动端体验。通过这些工具和策略的应用,可有效应对屏幕尺寸、分辨率及操作系统的多样性挑战,满足广大移动用户的使用需求。
71 0
|
4月前
|
存储 运维 监控
Entity Framework Core 实现审计日志记录超棒!多种方法助你跟踪数据变化、监控操作,超实用!
【8月更文挑战第31天】在软件开发中,审计日志记录对于跟踪数据变化、监控用户操作及故障排查至关重要。Entity Framework Core (EF Core) 作为强大的对象关系映射框架,提供了多种实现审计日志记录的方法。例如,可以使用 EF Core 的拦截器在数据库操作前后执行自定义逻辑,记录操作类型、时间和执行用户等信息。此外,也可通过在实体类中添加审计属性(如 `CreatedBy`、`CreatedDate` 等),并在保存实体时更新这些属性来记录审计信息。这两种方法都能有效帮助我们追踪数据变更并满足合规性和安全性需求。
116 0