容器监控与分析实践(一)| 学习笔记

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 快速学习容器监控与分析实践。

开发者学堂课程【DevOps 日志分析实战 :容器监控与分析实践(一)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/736/detail/13101


容器监控与分析实践(一)

 

内容介绍:
一、构建全方位 Kuberneters 监控。

二、基础指标监控-Prometheus的前世今生

三、基础事件监控-Kubernetes事件中心

四、部署Prometheus 监控操作与演示

 

本节主要内容是容器监控与分析实践,涉及到容器部分可以想到容器编排领域的实时的标准 Kuberneters 。在本节中主要是学习如何构建全方位 Kuberneters 监控。

 

一、构建全方位 Kuberneters 监控。

1.Kuberneters 的好处

比如容器编排、弹性伸缩、负载均衡、快速发布、负载均衡、高可靠、无人值守、异常自动恢复、高效运维等等。

对于运维人员来说,Kuberneters 能够帮助快速构建监控、做高效的运维,例如异常自动恢复等等。

在真实的场景下,Kuberneters 也会遇到问题,Kuberneters 并不是帮助将所有的监控、运维、各种异常恢复等等完成,更多是提供一个平台,该平台能够帮助更快速发布,更快的完成弹性伸缩、更容易的完成其观察。所以 Kuberneters 会遇到各种各样的问题,对于操作者要做的是构建一个全方位的监控、知道应用哪个位置挂了、为什么挂了,挂了后如何去恢复。

2.Kuberneters 监控架构

image.png

在开发 S 上分为多个层次,包括基础设施、ServiceMesh 层(如果有 ServiceMesh)、网关接入层、业务层(内部指标)。

基础设施主要包括 CPU 、内存等一些机器级指标和容器级指标(包括 CPU 内存消耗、容器是否重启、容器的网络磁盘 io等等 ),还有一部分是 Events 信息,该部分K8s Events 是 K8s API Server,相当于目前 K8s 发生哪些重要的事件。该部分主要依赖于 Metrics,也就是监控指标,比如 cpu 曲线、内存曲线等等,Metrics 主要依赖 Prometheus 进行监控。ServiceMesh 的一部分和 Metrics 相关,包含链路式追踪的一些数据(该部分数据可以用 Metrics 来做)。接入层该部分主要用 K8s 的 Ingress,K8s 的 Ingress作为整个 K8s 的流量路口,该部分的监控也非常重要,Ingress 一般情况下采用 Nginx 的 Ingress controller,所以更多是基于 Nginx 的访问日志去做各种各样的监控、各种各样的站点、后端的响应延时等等。业务层更多依赖于业务日志监控,包括业务日志中的存储信息以及从业务日志中提取关键性的指标去做异常的检测和判断。

所有这些都是通过 SLS (也就是日志服务)都可以轻松实现。

从业务价值上说,对业务监控是最有效的;从覆盖面来说,基础设施的覆盖面相对来说更广。搭建应该是从下到上。

3.DevOps 数据中台架构

从 DevOps 的角度来说,SLS 扮演一个数据中台的架构,数据中台支持从各种各样的地方把各种类型的 DevOps 要用到的数据(包括日志、链路追踪的数据、指标数据),能够从各种数据源(例如容器、移动端、ROT)将数据采集,采集后支持数据分析(数据分析的方式包括 circle92的语法等等)和智能的算法(智能的聚类、智能的预测等等),向上提供一些可视化的组件帮助将这些数据展现出来,也提供一些告警通知、Webhook,帮助做一些辅助的角色。

image.png

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
10月前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
410 2
|
2月前
|
Cloud Native 中间件 调度
云原生信息提取系统:容器化流程与CI/CD集成实践
本文介绍如何通过工程化手段解决数据提取任务中的稳定性与部署难题。结合 Scrapy、Docker、代理中间件与 CI/CD 工具,构建可自动运行、持续迭代的云原生信息提取系统,实现结构化数据采集与标准化交付。
云原生信息提取系统:容器化流程与CI/CD集成实践
|
6月前
|
Ubuntu 关系型数据库 MySQL
容器技术实践:在Ubuntu上使用Docker安装MySQL的步骤。
通过以上的操作,你已经步入了Docker和MySQL的世界,享受了容器技术给你带来的便利。这个旅程中你可能会遇到各种挑战,但是只要你沿着我们划定的路线行进,你就一定可以达到目的地。这就是Ubuntu、Docker和MySQL的灵魂所在,它们为你开辟了一条通往新探索的道路,带你亲身感受到了技术的力量。欢迎在Ubuntu的广阔大海中探索,用Docker技术引领你的航行,随时准备感受新技术带来的震撼和乐趣。
279 16
|
7月前
|
人工智能 Prometheus 监控
容器化AI模型的监控与治理:确保模型持续稳定运行
在前几篇文章中,我们探讨了AI模型的容器化部署及构建容器化机器学习流水线。然而,将模型部署到生产环境只是第一步,更重要的是确保其持续稳定运行并保持性能。为此,必须关注容器化AI模型的监控与治理。 监控和治理至关重要,因为AI模型在生产环境中面临数据漂移、概念漂移、模型退化和安全风险等挑战。全面的监控涵盖模型性能、数据质量、解释性、安全性和版本管理等方面。使用Prometheus和Grafana可有效监控性能指标,而遵循模型治理最佳实践(如建立治理框架、定期评估、持续改进和加强安全)则能进一步提升模型的可信度和可靠性。总之,容器化AI模型的监控与治理是确保其长期稳定运行的关键。
|
7月前
|
监控 Kubernetes Cloud Native
基于阿里云容器服务Kubernetes版(ACK)的微服务架构设计与实践
本文介绍了如何基于阿里云容器服务Kubernetes版(ACK)设计和实现微服务架构。首先概述了微服务架构的优势与挑战,如模块化、可扩展性及技术多样性。接着详细描述了ACK的核心功能,包括集群管理、应用管理、网络与安全、监控与日志等。在设计基于ACK的微服务架构时,需考虑服务拆分、通信、发现与负载均衡、配置管理、监控与日志以及CI/CD等方面。通过一个电商应用案例,展示了用户服务、商品服务、订单服务和支付服务的具体部署步骤。最后总结了ACK为微服务架构提供的强大支持,帮助应对各种挑战,构建高效可靠的云原生应用。
|
7月前
|
监控 Cloud Native Java
基于阿里云容器服务(ACK)的微服务架构设计与实践
本文介绍如何利用阿里云容器服务Kubernetes版(ACK)构建高可用、可扩展的微服务架构。通过电商平台案例,展示基于Java(Spring Boot)、Docker、Nacos等技术的开发、容器化、部署流程,涵盖服务注册、API网关、监控日志及性能优化实践,帮助企业实现云原生转型。
|
9月前
|
人工智能 运维 监控
阿里云ACK容器服务生产级可观测体系建设实践
本文整理自2024云栖大会冯诗淳(花名:行疾)的演讲,介绍了阿里云容器服务团队在生产级可观测体系建设方面的实践。冯诗淳详细阐述了容器化架构带来的挑战及解决方案,强调了可观测性对于构建稳健运维体系的重要性。文中提到,阿里云作为亚洲唯一蝉联全球领导者的容器管理平台,其可观测能力在多项关键评测中表现优异,支持AI、容器网络、存储等多个场景的高级容器可观测能力。此外,还介绍了阿里云容器服务在多云管理、成本优化等方面的最新进展,以及即将推出的ACK AI助手2.0,旨在通过智能引擎和专家诊断经验,简化异常数据查找,缩短故障响应时间。
阿里云ACK容器服务生产级可观测体系建设实践
|
9月前
|
存储 人工智能 调度
容器服务:智算时代云原生操作系统及月之暗面Kimi、深势科技实践分享
容器技术已经发展成为云计算操作系统的关键组成部分,向下高效调度多样化异构算力,向上提供统一编程接口,支持多样化工作负载。阿里云容器服务在2024年巴黎奥运会中提供了稳定高效的云上支持,实现了子弹时间特效等创新应用。此外,容器技术还带来了弹性、普惠的计算能力升级,如每分钟创建1万Pod和秒级CPU资源热变配,以及针对大数据与AI应用的弹性临时盘和跨可用区云盘等高性能存储解决方案。智能运维方面,推出了即时弹性节点池、智能应用弹性策略和可信赖集群托管运维等功能,进一步简化了集群管理和优化了资源利用率。
|
9月前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
阿里云容器服务ACK提供强大的产品能力,支持弹性、调度、可观测、成本治理和安全合规。针对拥有IDC或三方资源的企业,ACK One分布式云容器平台能够有效解决资源管理、多云多集群管理及边缘计算等挑战,实现云上云下统一管理,提升业务效率与稳定性。
|
9月前
|
人工智能 Cloud Native 调度
阿里云容器服务在AI智算场景的创新与实践
本文源自张凯在2024云栖大会的演讲,介绍了阿里云容器服务在AI智算领域的创新与实践。从2018年推出首个开源GPU容器共享调度方案至今,阿里云容器服务不断推进云原生AI的发展,包括增强GPU可观测性、实现多集群跨地域统一调度、优化大模型推理引擎部署、提供灵活的弹性伸缩策略等,旨在为客户提供高效、低成本的云原生AI解决方案。