可观测性-Elastic Stack 实战手册

本文涉及的产品
应用实时监控服务-用户体验监控,每月100OCU免费额度
可观测监控 Prometheus 版,每月50GB免费额度
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 业界对可观测性的定义由Logging(日志),Metrics (指标)和 Tracing(跟踪)组成。其中大多数软件都仅在一个领域内发力,这导致了实施可观测性时的高昂成本。需要建设多个技术栈的软件,才能实现完整的可观测性。大多数企业基本都使用了 5个+ 的技术栈,有的甚至能达到10个技术栈。

970X90.png

· 更多精彩内容,请下载阅读全本《Elastic Stack实战手册》

· 加入创作人行列,一起交流碰撞,参与技术圈年度盛事吧

创作人:亢伟楠
审稿人:曾红

在开发技术越来越成熟便捷的今天,我们可以很轻松写出来一个程序,用来进行各种各样的业务流程。你能想象如果我们运营一个银行系统,但是不知道每天转账的成功率、取现的效率吗?

和银行系统一样,我们日常中的软件系统,都需要尽量良好的观测和测量,才能保证系统的健康。

正如管理大师彼得德鲁克的名言,”If you can’t measure it, you can’t manage it.” 我们必须对我们的计算系统进行测量和观测,才能进一步管理它。

业界对可观测性的定义由Logging(日志),Metrics (指标)和 Tracing(跟踪)组成。其中大多数软件都仅在一个领域内发力,这导致了实施可观测性时的高昂成本。需要建设多个技术栈的软件,才能实现完整的可观测性。大多数企业基本都使用了 5个+ 的技术栈,有的甚至能达到10个技术栈。

那有没有什么低成本便捷的方案能帮助我们在企业中实施可观测性?

Elastic 可观测性 :一站式低成本解决方案

Elastic Stack 的可观测性 (Observability) 产品是一个让人满意的答案。相较于市面上其他的可观测性系统,Elastic Stack 能提供一站式全栈的可观测性解决方案,而其他系统基本只能提供一个方法的功能,实际落地中,需要搭配多套不同技术栈的系统实现,繁琐且复杂。

Elastic Stack 提供开源的可观测性能力,并且在云原生计算基金会(CNCF)的2020年9月的可观测性技术雷达评测中,获得了“采纳(ADOPT)”评级。

1.png

图1 可观测性技术雷达

Elastic Stack 的可观测性由 Logs 、APM(application performance monitor)、Uptime、Metrics 四个模块组成,他们分别由四个组件提供支持。

组件对应情况如下:

  • Logs -- Filebeat
  • APM -- APM Server & APM agent
  • Uptime -- Heartbeat
  • Metrics -- Metricbeat

Logs

Kibana 中的 Logs 应用实现任何数据源日志的中心化,搜索。Elastic Stack 是天然的日志处理的集大成者。最新的 Logs 模块更是能实现在 web 的实时 tail、搜索、分类和异常检测功能。我们可以通过 Filebeat 或者 Logstash 把日志导入到 Elasticsearch 中。

2.png

图2 Logs 页面

APM(Application Performance Monitor)

Kibana 中的 APM 应用可以实现分布式链路跟踪、事务监控、依赖分析和基于真实用户体验的监控。该功能通过 APM Server 和 APM Agent 组件提供支持。

3.png

图3 APM 页面

Uptime

为了帮助您在可用性问题,从而影响用户之前快速做出相应。Uptime 模块提供了对主机,网络设备以及第三方服务的整体可用性快照报告。根据其监控数据,可以查看出目前的总监控点和分别处于 up\down 状态的监控点。该功能通过 Heartbeat 组件提供支持。

4.png

图4 Uptime 页面

Metrics

Metricbeats 支持读取多大 50 种系统/数据源的 Metrics 采集,包括:数据库,消息队列,操作系统,文件系统和网关等系统。将 Metrics 数据采集完毕后,在 Metrics 应用中可实现一站式的统一查看、管理,甚至是基于机器学习的异常检测。

5.png

图5 Metrics 页面

以上四个模块均支持告警功能。

Fleet:更方便的数据收集

Fleet Agent 提供了更简单方便的统一的 Logs 数据、Metrics 数据和主机的其他数据。不在需要安装多个 Beat 来实现对数据的收集。

Fleet 目前处于 Beta 阶段。

参考链接:

  1. CNCF End User Technology Radar https://radar.cncf.io/2020-09-observability
创作人简介:
亢伟楠,目前就职于 58 同城信息安全部,任架构师。 在 Elastic 社区任日报编辑,曾
获得中文社区杰出贡献者奖项。平时对高并发、高可用等方向有较多关注,目前主要推
动可观测性落地。
博客: https://cyberdak.github.io/
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
存储 机器学习/深度学习 缓存
APM-Elastic Stack 实战手册
应用程序性能管理(Application Performance Management)简称 APM。主要功能为监视和管理软件应用程序性能和可用性。
2699 0
APM-Elastic Stack 实战手册
|
机器学习/深度学习 消息中间件 数据采集
带你读《Elastic Stack 实战手册》之5:——3.2.2.可观测性 (下)
带你读《Elastic Stack 实战手册》之5:——3.2.2.可观测性 (下)
182 0
|
Cloud Native
带你读《Elastic Stack 实战手册》之5:——3.2.2.可观测性 (上)
带你读《Elastic Stack 实战手册》之5:——3.2.2.可观测性 (上)
138 0
|
存储 安全 数据可视化
《Elastic Stack 实战手册》——三、产品能力(下)
《Elastic Stack 实战手册》——三、产品能力(下)
144 0
|
数据采集 数据可视化 搜索推荐
《Elastic Stack 实战手册》——三、产品能力(上)
《Elastic Stack 实战手册》——三、产品能力(上)
145 0
|
存储 前端开发 数据可视化
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(3)
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(3)
145 0
|
存储 算法 数据处理
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(2)
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(2)
141 0
|
存储 Kubernetes 数据可视化
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(4)
带你读《Elastic Stack 实战手册》之6:——3.3.1.Elastic Stack家族(4)
135 0
|
数据挖掘 定位技术
带你读《Elastic Stack 实战手册》之80:——4.2.6.运用Elastic Stack分析COVID-19数据(3)
带你读《Elastic Stack 实战手册》之80:——4.2.6.运用Elastic Stack分析COVID-19数据(3)
122 0
|
弹性计算 文件存储 索引
带你读《Elastic Stack 实战手册》之80:——4.2.6.运用Elastic Stack分析COVID-19数据(2)
带你读《Elastic Stack 实战手册》之80:——4.2.6.运用Elastic Stack分析COVID-19数据(2)