如何评估IT领域中的可观测性技术?

本文涉及的产品
可观测链路 OpenTelemetry 版,每月50GB免费额度
可观测可视化 Grafana 版,10个用户账号 1个月
可观测监控 Prometheus 版,每月50GB免费额度
简介: 在IT领域中,简单而言,可观测性就是为复杂IT系统寻求白盒监控能力。随着业务系统不断上云,容器、微服务、持续发布等云原生技术被广泛采用,从而为IT系统的可控性带来了全新挑战。为保障云原生应用的稳定性(控制的目的就是稳定),可观测技术被越来越多的企业所采用。可观测技术的本质,是通过系统的外部数据,分析系统的内部状态,从而做出控制指令。

IT领域的可观测性,源自自动控制领域。

控制领域中,研究可观测性的目的是提供基于系统内部状态(白盒),而非系统外部输出(黑盒)进行控制的理论依据。

在IT领域中,简单而言,可观测性就是为复杂IT系统寻求白盒监控能力。

随着业务系统不断上云,容器、微服务、持续发布等云原生技术被广泛采用,从而为IT系统的可控性带来了全新挑战。为保障云原生应用的稳定性(控制的目的就是稳定),可观测技术被越来越多的企业所采用。

可观测技术的本质,是通过系统的外部数据,分析系统的内部状态,从而做出控制指令。针对于IT系统,尤其是面相云原生应用,可观测技术应包含如下需求:

1)零侵扰:传统APM/NPM等工具,要么需要应用程序中打桩插码,要么需要基础设施中分光镜像,均会对IT系统进行侵扰。可观测技术使用外部数据做分析,因此采用零侵扰的方式获取监控数据,无需打桩插码、分光镜像,而是通过开放系统架构直接获取监控数据。零侵扰的另一方面是要求低功耗,不能因为采集数据而影响应用或基础设施性能,通常采集点功耗不能超过业务功耗的1%。

2)多维度:要保障云原生应用稳定运行,可观测技术必须包含多维度数据分析能力。具体来说,要将应用的API、容器、主机、网络等监控数据进行全栈关联分析。传统的APM工具,可以定位代码层问题,却无法追踪容器或主机网络服务引起的故障。而传统的NPM工具,又不能关联应用的TraceID从而追踪穿越NAT、LB等网元的流量。因此,多维度的全栈数据分析,是可观测平台的第二个需求。

3)实时性:自动控制中,过大的传感器反馈时延,会导致系统震荡而不可控。与之类似,云原生应用的动态性要求可观测平台必须具备实时性。如果应用的升级/扩容在分钟级完成,那么监控系统就必须提供秒级的反馈能力。注意,这里的反馈需要对海量指标/追踪/日志数据进行查找分析,因此对可观测平台的海量数据实时处理能力提出了极高要求。

那么,如何简单评一个可观测平台在上述三点需求中有效性呢?这里提供三个简单判据,供诸位参考:

1)零侵扰判据:是否无需应用休改代码、重启,是否无需网络分光镜像,是否消耗不超过云主机1%的CPU;

2)多维度判据:是否同时提供应用层数据、网络层数据,基础设施层数据的全景视图(Single Pane of Glass);

3)实时性判据:是否提供对PB及指标、追踪、日志数据的秒级检索。

除此之外,可观测平台的技术架构,也是评判其先进性的重要方面。领先的可观测平台,包括云杉网络DeepFlow、Datadog、阿里云ARMS等,均采用了基于eBPF的数据采集技术以及基于OLAP的实时数仓技术

相关文章
|
人工智能 自然语言处理 监控
AI模型评估的指标
模型评估的指标
473 0
|
测试技术 Docker 容器
自动化质量评估维度
上篇文章讲了下关于终端自动化的一个探索《终端自动化测试探索之路》,今天来聊聊关于自动化质量评估的维度,包括UI和接口。
732 0
|
4月前
|
机器学习/深度学习 人工智能 算法
超强,必会的机器学习评估指标
```markdown # 机器学习模型评估指标概览 机器学习模型评估涉及多种指标,用于量化模型在分类和回归任务中的表现。关键指标包括: - **分类**: - **准确率**: 简单易懂,但在类别不平衡时可能误导。 - **精确率**: 衡量正类预测的准确性,适用于误报代价高的场景。 - **召回率**: 评估正类识别的完整性,适用于漏报代价高的场景。 - **F1分数**: 精确率和召回率的调和平均,平衡两者。 - **AUC**: 衡量模型区分正负类的能力,适用于不平衡数据。 - **混淆矩阵**: 提供详细分类结果,用于分析模型错误。
44 0
超强,必会的机器学习评估指标
|
5月前
|
测试技术
研发效能度量指标的陷阱思考
研发效能度量指标的陷阱思考
82 0
|
5月前
|
自然语言处理
什么是衡量大语言模型能力的 MMLU 参数指标
什么是衡量大语言模型能力的 MMLU 参数指标
|
5月前
|
监控 小程序 数据挖掘
九大数据分析方法-单指标分析方法与多指标分析方法
九大数据分析方法-单指标分析方法与多指标分析方法
|
机器学习/深度学习 算法
评估系统或算法质量的重要指标
准确性(Accuracy):衡量系统或算法输出结果与真实结果之间的接近程度。通常使用分类准确率、回归误差等指标来评估。 精确率(Precision)和召回率(Recall):主要用于评估分类模型的性能。精确率衡量预测为正例的样本中实际为正例的比例,召回率衡量实际为正例的样本中被正确预测为正例的比例。
268 4
|
监控 Cloud Native 数据可视化
为什么更倾向“可观测性”?
Hello folks,我是 Luga,今天我们来聊一下云原生生态核心技术之一-云原生可观测性。
84 0
|
机器学习/深度学习 算法 语音技术
机器学习评估指标
机器学习评估指标
102 0
|
机器学习/深度学习 JSON 自然语言处理
可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了
可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了
573 0
下一篇
无影云桌面