开箱即用:多集群下K8s日志集中审计升级

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文主要介绍用户在多个地域下拥有多个ack集群如何开箱即用地对k8s日志进行集中审计、中心化查询。

背景

通过日志服务采集Kubernetes容器日志已经被许多用户广泛应用,用户可在创建集群时启用日志服务,快速采集Kubernetes集群的容器日志,包括容器的标准输出以及容器内的文本文件等。

限制

但是对于一个用户在多个地域下拥有多个ack集群的场景,如果用户希望将每个地域下多个ACK集群的k8s日志进行集中审计、中心化查询,就需要用户进行一定的额外操作。

原始模式

例如用户可以通过手动创建数据加工作业的方式,将每个logstore下的日志的投递到相同的目标库中,但是这种操作方式具有以下限制:

限制1:  操作繁琐,对于每个地域的每个ACK集群下每一种日志类型,例如事件日志、审计日志、Ingress日志都需要专门的建立对应作业;

限制2:  无法实现自动化更新,当有新的ACK集群创建还需要重复以上操作,无法做到实时、自动化

日志审计(升级前)

针对以上问题,日志审计很早就推出了K8s日志集中审计的功能,即日志审计会自动地对符合自动化条件的K8s事件日志、审计日志和Ingress日志进行集中审计、中心化查询。

但是,使用日志审计(升级前)(即使中心账号已经升级服务关联角色AliyunServiceRoleForSLSAudit)进行K8s日志集中审计仍需要比较复杂的单独鉴权操作,需要经过以下三步操作,日志审计下k8s日志集中审计、中心化查询才能正确使用。

操作1:  用户首先需要对中心账号创建一个sls-audit-service-monitor的角色;

操作2:  并且对sls-audit-service-monitor角色授权AliyunLogAuditServiceMonitorAccess策略外

操作3:  此外,用户还需要对该角色额外授权对ACK下k8s project的操作权限(参考如下)

{

   "Version": "1",

   "Statement": [

       {

           "Action": "log:*",

           "Resource": [

               "acs:log:*:*:project/k8s-log-*"

           ],

           "Effect": "Allow"

       }

   ]

}

日志审计(升级前)虽然解决了限制1限制2的问题,但是由于其单独自定义鉴权操作的复杂性,也给用户带来了一些不便,用户无法做到真正的开箱即用,集中审计,中心化查询,且自定义角色容易被用户误删、篡改,将会影响用户的使用体验。

真正开箱即用

日志审计升级后

随着日志审计中心账号鉴权从用户需要自定义角色sls-audit-service-monitor到用户一键式授权服务关联角色AliyunServiceRoleForSLSAudit的升级,日志审计下K8s日志采集单独鉴权升级也提上日程。

日志审计通过和SLS数据加工 深度合作后,现已支持通过服务关联角色AliyunServiceRoleForSLSAudit 进行自动化创建数据加工作业,自动运行数据加工Job,基于该角色进行日志消费和写入,从而做到了真正的开箱即用式多集群下k8s日志集中审计、中心化查询和存储,此时用户仅需中心账号首次点击授权授权服务关联角色AliyunServiceRoleForSLSAudit即可使用

K8s日志集中审计

原始模式

日志审计开启K8s(升级前)

日志审计开启K8s(升级后)

手动创建相关作业

必须

无需

无需

实时自动化更新

不能

可以

可以

复杂自定义鉴权

无需

必须

无需

示例

通过在日志审计开启多ACK集群下k8s日志集中审计操作示例如下,具体事项可以参见云产品资源覆盖

多集群k8s日志集中化审计示例


多地域下k8s日志中心化查询示例

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
3天前
|
存储 运维 Kubernetes
Kubernetes 集群的监控与维护策略
【4月更文挑战第23天】 在微服务架构日益盛行的当下,容器编排工具如 Kubernetes 成为了运维工作的重要环节。然而,随着集群规模的增长和复杂性的提升,如何确保 Kubernetes 集群的高效稳定运行成为了一大挑战。本文将深入探讨 Kubernetes 集群的监控要点、常见问题及解决方案,并提出一系列切实可行的维护策略,旨在帮助运维人员有效管理和维护 Kubernetes 环境,保障服务的持续可用性和性能优化。
|
5天前
|
存储 运维 Kubernetes
Kubernetes 集群的持续性能优化实践
【4月更文挑战第22天】在动态且复杂的微服务架构中,确保 Kubernetes 集群的高性能运行是至关重要的。本文将深入探讨针对 Kubernetes 集群性能优化的策略与实践,从节点资源配置、网络优化到应用部署模式等多个维度展开,旨在为运维工程师提供一套系统的性能调优方法论。通过实际案例分析与经验总结,读者可以掌握持续优化 Kubernetes 集群性能的有效手段,以适应不断变化的业务需求和技术挑战。
17 4
|
25天前
|
Kubernetes 网络协议 网络安全
提升你的云技能:深入了解CKA认证之k8s升级秘籍!
提升你的云技能:深入了解CKA认证之k8s升级秘籍!
19 0
|
1月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群监控与日志管理实践
【2月更文挑战第29天】 在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。然而,随着集群规模的扩大和业务复杂度的提升,有效的监控和日志管理变得至关重要。本文将探讨构建高效 Kubernetes 集群监控系统的策略,以及实施日志聚合和分析的最佳实践。通过引入如 Prometheus 和 Fluentd 等开源工具,我们旨在为运维专家提供一套完整的解决方案,以保障系统的稳定性和可靠性。
|
23天前
|
数据库 存储 监控
什么是 SAP HANA 内存数据库 的 Delta Storage
什么是 SAP HANA 内存数据库 的 Delta Storage
17 0
什么是 SAP HANA 内存数据库 的 Delta Storage
|
12天前
|
Kubernetes 搜索推荐 Docker
使用 kubeadm 部署 Kubernetes 集群(二)k8s环境安装
使用 kubeadm 部署 Kubernetes 集群(二)k8s环境安装
58 17
|
25天前
|
消息中间件 Kubernetes Kafka
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
18 0
|
25天前
|
Kubernetes 安全 网络安全
搭建k8s集群kubeadm搭建Kubernetes二进制搭建Kubernetes集群
搭建k8s集群kubeadm搭建Kubernetes二进制搭建Kubernetes集群
108 0
|
1月前
|
Kubernetes Cloud Native Docker
【云原生】kubeadm快速搭建K8s集群Kubernetes1.19.0
Kubernetes 是一个开源平台,用于管理容器化工作负载和服务,提供声明式配置和自动化。源自 Google 的大规模运维经验,它拥有广泛的生态支持。本文档详细介绍了 Kubernetes 集群的搭建过程,包括服务器配置、Docker 和 Kubernetes 组件的安装,以及 Master 和 Node 的部署。此外,还提到了使用 Calico 作为 CNI 网络插件,并提供了集群功能的测试步骤。
219 0
|
1月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群的监控与日志管理实践
【2月更文挑战第31天】 在微服务架构日益普及的今天,容器编排工具如Kubernetes已成为部署、管理和扩展容器化应用的关键平台。然而,随着集群规模的扩大和业务复杂性的增加,如何有效监控集群状态、及时响应系统异常,以及管理海量日志信息成为了运维人员面临的重要挑战。本文将深入探讨 Kubernetes 集群监控的最佳实践和日志管理的高效策略,旨在为运维团队提供一套系统的解决思路和操作指南。
27 0

相关产品

  • 日志服务
  • 推荐镜像

    更多