云原生|kubernetes|搭建部署一个稳定高效的EFK日志系统(三)

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
日志服务 SLS,月写入数据量 50GB 1个月
简介: 云原生|kubernetes|搭建部署一个稳定高效的EFK日志系统

OK,现在的efk基本就是搭建好了,浏览器登录kibana:

登录前先查询一哈kibana的service暴露的端口,30180是目前的端口:

[root@k8s-master ~]# k get svc -n kube-logging
NAME            TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)             AGE
elasticsearch   ClusterIP   None          <none>        9200/TCP,9300/TCP   12h
kibana          NodePort    10.0.132.94   <none>        5601:30180/TCP      12h

不使用测试数据,我们用自己的数据 

ba3abe427a434229b9a0ff2fcefbf3d5.png

默认页面是这样的哈 

b38901e9c69a432fa147a7fcc393742f.png

选择上面那个菜单的kibana下面的Discover,进入新建索引页面,输入logstash-*: 

f0b19581ccd44b8993637a523e0967cc.png

 这里选择自带的时间戳,下拉框可以选择到的

f0b19581ccd44b8993637a523e0967cc.png

可以看一下索引是否正常,绿色表示正常的啦:


2cb4928b32ac4554b090a278133426bd.png

kibana下的Discover,可以看到详细的数据了 

bf7ed4605ebf4c5f97996952fa6badb9.png

528e67fb61c04b8fbba19d719d247e3e.png

测试日志是否正确的收集:

现有这么多个pod,一哈随机挑选个pod的日志查看

[root@k8s-master ~]# kk
NAMESPACE       NAME                                     READY   STATUS      RESTARTS   AGE     IP               NODE         NOMINATED NODE   READINESS GATES
ingress-nginx   ingress-nginx-admission-create-7bg96     0/1     Completed   0          44h     10.244.0.27      k8s-master   <none>           <none>
ingress-nginx   ingress-nginx-admission-patch-rpbnw      0/1     Completed   0          44h     10.244.1.15      k8s-node1    <none>           <none>
ingress-nginx   ingress-nginx-controller-75sqz           1/1     Running     3          44h     192.168.217.16   k8s-master   <none>           <none>
ingress-nginx   ingress-nginx-controller-lkc24           1/1     Running     4          44h     192.168.217.17   k8s-node1    <none>           <none>
ingress-nginx   ingress-nginx-controller-xjg6s           1/1     Running     3          44h     192.168.217.18   k8s-node2    <none>           <none>
kube-logging    es-cluster-0                             1/1     Running     2          41h     10.244.1.33      k8s-node1    <none>           <none>
kube-logging    es-cluster-1                             1/1     Running     0          6h1m    10.244.2.29      k8s-node2    <none>           <none>
kube-logging    es-cluster-2                             1/1     Running     2          41h     10.244.1.34      k8s-node1    <none>           <none>
kube-logging    fluentd-d58br                            1/1     Running     1          29h     10.244.1.32      k8s-node1    <none>           <none>
kube-logging    fluentd-lrpgc                            1/1     Running     1          29h     10.244.0.43      k8s-master   <none>           <none>
kube-logging    fluentd-mvpsq                            1/1     Running     1          29h     10.244.2.27      k8s-node2    <none>           <none>
kube-logging    kibana-588d597485-wljbr                  1/1     Running     2          41h     10.244.0.45      k8s-master   <none>           <none>
kube-system     coredns-59864d888b-bpzj6                 1/1     Running     3          46h     10.244.0.44      k8s-master   <none>           <none>
kube-system     kube-flannel-ds-4bxpd                    1/1     Running     6          3d17h   192.168.217.16   k8s-master   <none>           <none>
kube-system     kube-flannel-ds-5stwc                    1/1     Running     8          3d17h   192.168.217.18   k8s-node2    <none>           <none>
kube-system     kube-flannel-ds-pg6kq                    1/1     Running     7          3d17h   192.168.217.17   k8s-node1    <none>           <none>
kube-system     nfs-client-provisioner-9c9f9bd86-tz9lk   1/1     Running     5          3d5h    10.244.2.28      k8s-node2    <none>           <none>

 查看kibana这个pod的日志,查询前时间改大一些

image.png

查看elasticsearch集群的日志:

a4280533a9074c28b7207a9b53510458.png

查看etcd相关的日志: 

46978ecf1b694c7299e9dc91af6189c3.png

OK,kubernetes搭建EFK日志系统圆满完成。 

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
5天前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
23 2
|
5天前
|
Windows Python
如何反向读取Windows系统日志EVTX文件?
以下是如何反向读取Windows系统日志EVTX文件
15 2
|
5天前
|
Kubernetes 监控 负载均衡
深入云原生:Kubernetes 集群部署与管理实践
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其弹性、可扩展性成为企业IT架构的首选。本文将引导你了解如何部署和管理一个Kubernetes集群,包括环境准备、安装步骤和日常维护技巧。我们将通过实际代码示例,探索云原生世界的秘密,并分享如何高效运用这一技术以适应快速变化的业务需求。
23 1
|
9天前
|
运维 Kubernetes Cloud Native
Kubernetes云原生架构深度解析与实践指南####
本文深入探讨了Kubernetes作为领先的云原生应用编排平台,其设计理念、核心组件及高级特性。通过剖析Kubernetes的工作原理,结合具体案例分析,为读者呈现如何在实际项目中高效部署、管理和扩展容器化应用的策略与技巧。文章还涵盖了服务发现、负载均衡、配置管理、自动化伸缩等关键议题,旨在帮助开发者和运维人员掌握利用Kubernetes构建健壮、可伸缩的云原生生态系统的能力。 ####
|
10天前
|
存储 运维 Kubernetes
云原生之旅:Kubernetes的弹性与可扩展性探索
【10月更文挑战第32天】在云计算的浪潮中,云原生技术以其独特的魅力成为开发者的新宠。本文将深入探讨Kubernetes如何通过其弹性和可扩展性,助力应用在复杂环境中稳健运行。我们将从基础架构出发,逐步揭示Kubernetes集群管理、服务发现、存储机制及自动扩缩容等核心功能,旨在为读者呈现一个全景式的云原生平台视图。
23 1
|
11天前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
12 2
|
3天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
5天前
|
运维 Kubernetes Cloud Native
云原生技术:容器化与微服务架构的完美结合
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其灵活性和高效性成为企业的新宠。本文将深入探讨云原生的核心概念,包括容器化技术和微服务架构,以及它们如何共同推动现代应用的发展。我们将通过实际代码示例,展示如何在Kubernetes集群上部署一个简单的微服务,揭示云原生技术的强大能力和未来潜力。
|
14天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
6天前
|
消息中间件 存储 Cloud Native
云原生架构下的数据一致性挑战与应对策略####
本文探讨了在云原生环境中,面对微服务架构的广泛应用,数据一致性问题成为系统设计的核心挑战之一。通过分析云原生环境的特点,阐述了数据不一致性的常见场景及其对业务的影响,并深入讨论了解决这些问题的策略,包括采用分布式事务、事件驱动架构、补偿机制以及利用云平台提供的托管服务等。文章旨在为开发者提供一套系统性的解决方案框架,以应对在动态、分布式的云原生应用中保持数据一致性的复杂性。 ####