对于容器环境来说 全栈监控究竟意味着什么?

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本文讲的是对于容器环境来说 全栈监控究竟意味着什么?【IT168 评论】对于大多数人来说,“全栈”(Full Stack)的意思很好理解。但是如果我们的话题涉及到监控容器环境呢?整个事情就会开始变得有些模糊了。

本文讲的是对于容器环境来说 全栈监控究竟意味着什么?【IT168 评论】对于大多数人来说,“全栈”(Full Stack)的意思很好理解。但是如果我们的话题涉及到监控容器环境呢?整个事情就会开始变得有些模糊了。在这篇文章中,笔者探索了在这样的一个环境下,获得全栈可见性的不同方面和可能会遇到的一些挑战。

对于容器环境来说 全栈监控意味着什么?

  到底什么全栈?

  “全栈工程师”这个术语在2010年初被提出,表示在整个应用程序堆栈中具有广泛技能的开发人员。包括前端和后端应用程序组件的组合,甚至包括基础设施层的代码体现。使用许多不同的应用程序组件或微服务的容器化应用程序的趋势,增加了现代应用程序堆栈的复杂性。甚至有人批评了“全栈工程师”这个术语。

  虽然对于一个人来说,了解应用程序每个部分的开发细节可能是不现实的(除非非常简单),但是应用程序在生产环境中运行时,通常需要堆栈的所有层都具有可见性。这允许开发人员在应用程序或基础设施的适当部分中快速识别问题并采取相应的行动。所以,在这篇文章中,我们回来探索一个容器化应用程序的“全栈”可见性或监视方式。例如,堆栈通常是什么样子的?栈的不同层的相关度量是什么?收集和分析所有这些度量标准需要什么功能?

  容器堆栈是什么样的?

  在笔者的演示中,经常会使用下面的图片来说明容器化应用程序中最重要的层是什么,并讨论传统的单片应用程序之间的一些重要区别。实际上,随着容器的使用和一些编排平台的使用,还引入了额外的抽象层。现在,从所有这些层收集度量并将它们绑定在一起是非常重要的,能方便我们完全理解一个容器化的应用程序是如何工作的。

对于容器环境来说 全栈监控意味着什么?

  要收集哪些指标?

  根据上面的图片,为了获得我们的应用程序的全栈可见性,我们需要从下面的层中收集性能指标:

  ·在基础设施中,我们希望收集不同的资源指标,比如CPU内存、磁盘、网络等等,可能来自物理服务器或虚拟服务器,也可能是云实例。在后一种情况下,这些指标通常可以通过某种API(如Amazon Cloudwatch)来访问,同样包括我们在云平台上使用的服务的其他指标。

  ·通常,一个协调器用于帮助基础设施上的容器的部署、扩展和管理。Kubernetes(或者是Red Hat OpenShift之类的产品)和Docker Swarm是最受欢迎的技术。在这一层,我们希望了解容器计数和容器动态,例如缩放事件。从协调器中,我们还可以收集关于容器如何与服务绑定的服务定义和关系。这允许我们在服务级别进行报告,例如特定服务的容器数量或其他相关指标。

  ·对于容器本身,我们还希望了解每个容器和每个服务的资源度量,以及容器生命周期事件。此外,我们希望了解容器内的应用程序是如何运行的。这种所谓的容器监控为我们提供了针对容器内运行的不同服务的应用程序特定的度量标准。

  ·最后,我们希望看到对最终用户的影响,并理解作为应用程序的消费者所获得的性能。这通常包括页面加载时间、错误等前端指标,有时甚至可以添加业务指标来“监视真正重要的事情”。

对于容器环境来说 全栈监控意味着什么?

  其他的考虑

  从这些层收集不同的度量标准本身已经是一个挑战。大多数监控工具只关注其中的一个子集,因为它们是为传统的单片应用程序开发的。现代容器监控工具应该与上面提到的所有层进行集成,以提供完整的图像以及防止出现盲点。

  但这并不仅仅局限于度量收集。还有一些其他重要的考虑事项,与度量指标和事件的收集方式有关。

  ·自动仪表:考虑到容器的短暂特性,新容器在启动时自动监控是至关重要的。这包括认识到已经启动了一个新的容器,以及在内部运行的服务,以及如何监视这些服务。例如,在CoScale中,我们使用一个丰富的插件库来监控来自已知服务的应用程序特定指标,如NGINX、Redis、MongoDB和许多其他服务。

  ·另外,当将新节点添加到集群时,重要的是这些节点配置,而且配置了正确的监视代理和设置,这样你的监视就可以与环境进行伸缩。这可以通过在Kubernetes中使用“DaemonSets”的概念或Docker Swarm的全球服务来完成。

  ·另一个主要的考虑因素是监视代理运行的位置和它们生成的开销。这是特别相关的,因为容器是轻量级且不可变的结构,应该尽可能少地受到影响。一些监控工具需要将代理添加到容器映像中,或者作为sidecar容器,这通常会增加大量的开销。其他工具,例如CoScale,只需要每个节点上的一个代理(通常是运行它自己的容器),开销增加最小。

  ·收集数据是一回事,但理解它则是另一回事。为了获得正确的见解,需要对容器环境进行正确的可视化。一个挤满了所有容器的所有资源指标的图表的仪表盘,并不是很有洞察力。你通常希望从高层次的服务和集群的视图开始,然后在出现问题时能够进行深入的研究。

  ·同时,对问题本身的检测也具有挑战性。容器和服务的数量以及它们生成的度量指标的数量已经导致了数据的泛滥。将其与容器的动态方面相结合,你就可以明白为什么经典的报警技术常常会失败。因此,在这样的环境中,更多的自我学习分析技术,例如动态的基底和异常检测,是非常有价值的,并且有助于对问题的主动检测。

  ·最后,在发现问题的同时,还应该对它们进行修复。为此,需要收集适当数量的上下文信息来进行故障排除。这包括在问题发生时发生的其他事件的相关性。是否所有的特定服务的容器都受到了影响,或者仅仅是一个?在哪里也有下游服务的问题?更详细的日志数据或跟踪信息可以帮助解决问题服务的故障。

  结论

  容器环境的完整堆栈监控与单片应用程序监控是不同的。典型的监控工具通常不能提供所有不同层次的正确见解,并且很难处理容器环境的规模和动态。无论您计划使用开源解决方案还是商业产品,上面的不同考虑都可以帮助您选择正确的工具,以确保您的环境完全可见。

原文发布时间为:2017-07-21

本文作者:谢涛

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168

原文标题:对于容器环境来说 全栈监控究竟意味着什么?

目录
相关文章
|
2月前
|
存储 消息中间件 容器
当一个 Pod 中包含多个容器时,容器间共享一些重要的资源和环境,这使得它们能够更有效地协同工作和交互。
当一个 Pod 中包含多个容器时,容器间共享一些重要的资源和环境,这使得它们能够更有效地协同工作和交互。
|
1月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
25天前
|
Prometheus 监控 Cloud Native
docker安装prometheus+Granfan并监控容器
【9月更文挑战第14天】本文介绍了在Docker中安装Prometheus与Grafana并监控容器的步骤,包括创建配置文件、运行Prometheus与Grafana容器,以及在Grafana中配置数据源和创建监控仪表盘,展示了如何通过Prometheus抓取数据并利用Grafana展示容器的CPU使用率等关键指标。
|
5月前
|
Prometheus 监控 Cloud Native
构建高效稳定的Docker容器监控体系
【5月更文挑战第20天】 在微服务架构日益普及的今天,Docker作为其重要的实现技术之一,承载着大量应用的运行。然而,随之而来的是对于容器健康状态、资源使用情况以及性能指标的监控需求急剧增加。本文旨在探讨构建一个高效且稳定的Docker容器监控体系,不仅涵盖了监控工具的选择与配置,还详细阐述了监控数据的分析与处理流程。通过精心设计的监控策略和实时响应机制,我们能够确保系统的稳定性,并及时发现及处理潜在的问题。
|
2月前
|
Kubernetes 监控 Shell
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?
|
2月前
|
人工智能 Kubernetes 持续交付
Kubernetes环境下基于微服务架构的容器化AI应用部署与管理最佳实践
【8月更文第19天】随着AI技术的快速发展,越来越多的企业开始将AI应用部署到生产环境。然而,AI应用往往包含大量的组件和服务,这使得其部署和管理变得非常复杂。微服务架构和容器化技术(如Docker)结合Kubernetes集群管理,为解决这些问题提供了强大的工具。本文将介绍如何在Kubernetes环境中部署和管理基于微服务架构的容器化AI应用。
81 0
|
5月前
|
监控 Java 网络性能优化
容器内存可观测性新视角:WorkingSet 与 PageCache 监控
本文介绍了 Kubernetes 中的容器工作内存(WorkingSet)概念,它用于表示容器内存的实时使用量,尤其是活跃内存。
56208 18
容器内存可观测性新视角:WorkingSet 与 PageCache 监控
|
4月前
|
Prometheus 监控 Cloud Native
容器化技术的性能调优与监控
【6月更文挑战第29天】本文探讨了容器(如Docker)的性能优化与监控,强调了其在云和微服务中的重要性。调优涉及资源限制设定、代码优化,通过性能测试、瓶颈分析进行迭代优化。监控目标是确保稳定性和可用性,使用工具如Portainer、CAdvisor、Prometheus来跟踪状态、性能指标和日志。监控内容涵盖容器状态、资源使用、日志和限制,策略包括设定阈值和告警机制。调优监控的优化有助于提升应用性能和企业价值。
|
4月前
|
监控 Java 数据安全/隐私保护
性能监控之 JMX 监控 Docker 容器中的 Java 应用
【6月更文挑战9天】性能监控之 JMX 监控 Docker 容器中的 Java 应用
577 1
|
5月前
|
Prometheus 监控 Cloud Native
构建高效稳定的Docker容器监控体系
【5月更文挑战第14天】 在现代微服务架构中,Docker容器作为应用部署的基本单元,其运行状态的监控对于保障系统稳定性和性能至关重要。本文将探讨如何构建一个高效且稳定的Docker容器监控体系,涵盖监控工具的选择、关键指标的采集、数据可视化以及告警机制的设计。通过对Prometheus和Grafana的整合使用,实现对容器资源利用率、网络IO以及应用健康状态的全方位监控,确保系统的高可用性和故障快速响应。