日志管理演进:从基础到创新

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志代理记录开发人员的所有活动,包括记录的数据和发送到日志服务器的数据。因此,日志审计现在简单而流畅,为我们节省了宝贵的时间和资源。

什么是日志?

日志是您的IT环境中发生事件的数字记录,实时提供正在发生的情况的全面概述。对计算机系统中发生事件进行记录,比如软件或硬件错误、系统事件、安全事件、用户活动和网络活动等等。可以轻松解析和分析的文件格式存储。日志可以由各种来源生成,如应用程序、操作系统、数据库、网络设备和安全设备。

日志是各种规模企业的重要组成部分。它们用于跟踪IT系统的性能和健康状况、解决问题、遵守法规以及提高安全性。在我们介绍日志管理的基础知识时,我们将提供IT日志管理的概述,包括日志的定义、日志类型、管理日志的挑战、日志管理的好处以及用于管理日志的工具。

此外,基于特定事件会生成自定义日志,例如垃圾收集日志。此外,开发人员可以创建全新的自定义日志,并定义日志类型和字段。

为什么需要日志管理?

想象一下,您是一家快速发展的IT组织的首席技术官。您必须确保支持公司运营的关键应用程序无缝运行,以为客户提供最佳体验。但是,您还必须了解幕后复杂的技术事件,以便能够快速识别和解决问题。这就是日志管理的作用所在。

一个成熟的日志管理系统提供了有价值的洞察,了解您的系统如何运作,并帮助您的IT团队解决问题。您的IT环境中发生的每个活动都会生成日志,这些日志允许您深入了解过程的细微差别。

不断增长的日志数据消耗了更多的存储空间,导致内存不断过载和应用程序性能不佳。我们通过配置在达到内存阈值时发出警报,然后删除或清除日志文件来处理内存过载。这种方法既耗时又低效。

访问日志时缺乏安全性。开发人员必须直接访问服务器以检索日志,增加了我们的IT环境的安全风险。尽管对所有开发人员进行了彻底的背景检查,但由于他们频繁访问生产服务器,总有可能会有一名不满意的开发人员滥用敏感信息的风险。

第三个挑战是日志的可靠性,在IT审核期间,由于开发人员可以直接访问服务器并可能篡改日志,日志的可靠性受到质疑。

为了解决这些挑战并建立一个更有效的系统,我们重新评估了我们的日志管理策略。

2010年,我们迈出了重要的一步,引入了集中式日志记录系统。有了这个新系统,我们不再将日志存储在单个应用程序服务器上。相反,我们从所有来源收集日志,并将其存储在一个单独的专用服务器中。这种方法帮助我们解决了许多我们在分散记录日志方面面临的问题,包括安全性和可靠性方面的担忧。

微信截图_20241014151108.png

日志管理

ManageEngine引入的集中日志记录

中央日志服务器为开发人员提供了一个安全且简化的方式来访问日志,而无需直接访问各个应用程序服务器。负责监视和审计对安全服务器的访问的中央安全团队现在有了一个更可靠的系统,用于监视日志服务器上的所有活动。

然而,随着我们用户群的扩大,我们遇到了新的挑战。登录到中央服务器的用户数量增加导致内存使用量增加,随后导致内存过载。尽管中央日志记录降低了篡改的风险,但我们在日志管理系统的安全性和可伸缩性方面仍有改进的空间。

微信截图_20241014151139.png

卓豪日志管理系统

半自动化日志管理引擎

我们的IT领导人决心找到一个解决方案,以解决内存过载、安全风险和繁琐的日志审计问题。因此,2012年,我们建立了一个增强的日志管理系统——这是多年努力、创新和持续改进的结果。

让我们深入了解我们的系统的细节,以及它是如何解决我们曾经面临的挑战的。

正如前面所述,当日志直接存储在应用程序服务器上时,我们经常遇到内存过载问题。后来,当我们集中存储日志时,我们面临了另一个挑战:中央服务器中的用户活动增加导致内存使用量激增,进而导致系统崩溃和不可用。

在我们当前的系统中,我们为后端存储实现了一个分布式文件系统和一个单独的控制台用于用户活动,以解决这个挑战。这个系统使开发人员可以安全地从浏览器访问控制台并搜索日志(类似于在计算机上搜索其他文件),而不会出现内存过载的风险。这个解决方案已被证明是可伸缩、可靠和安全的,为我们的开发人员提供了无缝的体验。

微信截图_20241014151204.png

自动化日志管理引擎

应对安全风险的挑战

我们早期的日志记录系统存在固有的安全风险,因为开发人员必须登录到应用程序服务器或中央服务器以访问日志。这导致了日志篡改的可能性,并使我们的系统容易受到潜在的安全漏洞的影响。

我们当前的半自动化日志管理系统通过通过浏览器安全地访问日志来解决这些问题。我们的开发人员现在可以使用他们现有的登录凭据轻松地搜索和获取日志,系统设计为安全地存储、索引和检索日志,无需单独的登录凭据。

解决繁琐的日志审计挑战

我们早期的系统允许开发人员通过登录到应用程序服务器或集中控制来修改日志审计跟踪,使日志审计过程变得耗时且复杂。我们当前的系统集成了一个日志代理,与开发人员创建的构建并行运行,以解决这个挑战。

日志代理记录开发人员的所有活动,包括记录的数据和发送到日志服务器的数据。因此,日志审计现在简单而流畅,为我们节省了宝贵的时间和资源。

我们是如何开发一个能够克服这些挑战的系统的?以及,这个系统如何运作,帮助我们改善我们的IT环境?如果您感兴趣,可以关注我们ManageEngine的SIEM的日志管理系统。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
194 3
|
3月前
|
消息中间件 运维 Cloud Native
核心系统转型问题之快速集成不同技术体系构建的应用系统如何解决
核心系统转型问题之快速集成不同技术体系构建的应用系统如何解决
|
3月前
|
运维 Cloud Native 持续交付
运维之道:从传统到云原生的演变
本文通过探索运维(Operations)的历史脉络,从早期的手工操作到自动化脚本,再到现代的云原生技术,揭示运维工作的演进如何与技术创新相互促进。文章将重点讨论云原生环境下的运维实践,包括容器化、持续集成/持续部署(CI/CD)、微服务架构以及自动化测试等概念,并探讨这些变革如何影响运维团队的日常工作。
|
6月前
|
人工智能 Prometheus 监控
面向智算服务,构建可观测体系最佳实践
面向智算服务,构建可观测体系最佳实践
138200 196
|
6月前
|
运维 Cloud Native 持续交付
云原生架构的未来演进:打造更加动态和自动化的基础设施
【5月更文挑战第25天】 随着企业数字化转型的深入,云原生技术以其独特的弹性、敏捷性和自动化能力成为支撑现代应用的关键。本文将探讨云原生架构的最新发展趋势,重点分析其在提高运维效率、促进资源优化配置以及支持复杂业务场景中的作用。文章还将讨论如何通过持续集成、持续部署(CI/CD)流程,微服务架构和容器化技术,实现基础设施的自愈能力,从而推动企业向完全自动化的云原生未来迈进。
|
6月前
|
Cloud Native 持续交付 云计算
构建未来:云原生架构在现代业务中的应用与挑战
【5月更文挑战第29天】 随着数字化转型的不断深化,企业对于敏捷性、可扩展性和成本效益的需求日益增长。云原生架构作为一种新兴的技术范式,以其独特的设计理念和运作模式,正成为推动业务创新和实现技术优势的关键力量。本文将深入探讨云原生技术的基本原理,分析其在各行各业中的实际应用案例,并讨论在采纳云原生过程中可能遇到的挑战及解决策略,旨在为读者提供一个全面而深入的视角,以理解和利用云原生架构的潜力。
|
6月前
|
Cloud Native Devops 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【5月更文挑战第27天】 随着数字化转型的深入,企业对信息技术基础设施的要求不断提高。云原生架构作为一种新兴的技术范式,以其灵活性、可扩展性和敏捷性成为推动企业技术革新的关键力量。本文旨在探讨云原生架构的核心组件、实施策略以及面临的主要挑战,为企业采纳云原生技术提供参考。
|
6月前
|
Cloud Native Devops 持续交付
构建未来应用:云原生架构在现代企业中的实践与挑战
【4月更文挑战第29天】 随着数字化转型的加速,企业正迅速转向云计算以支撑其业务敏捷性和创新。云原生技术,作为推动这一转型的关键因素,正在重新定义软件开发和运维模式。本文将深入探讨云原生架构的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)以及DevOps文化,并分析这些技术如何帮助企业实现弹性、可扩展和高效的应用部署。同时,我们将讨论在采纳云原生实践中所面临的挑战,包括安全性、治理和人才缺口等问题。
|
6月前
|
运维 供应链 安全
从方法论到最佳实践,深度解析企业云原生 DevSecOps 体系构建
本文主要介绍了云原生安全的现状以及企业应用在云原生化转型中面临的主要安全挑战以及相对成熟的一部分安全体系方法论,深度解析企业云原生 DevSecOps 体系构建。
|
Cloud Native
带你读《云原生架构白皮书2022新版》——架构持续演进闭环
带你读《云原生架构白皮书2022新版》——架构持续演进闭环
85 4