Log360 的可扩展架构(三):数据流管道

简介: 上一章节我们详细剖析了 Log360 可扩展架构的核心组件,阐述各组件的定义、功能及其对系统可扩展性的直接作用。

上一章节我们详细剖析了 Log360 可扩展架构的核心组件,阐述各组件的定义、功能及其对系统可扩展性的直接作用。

本节将结合前文讨论的所有架构组件,逐步说明日志从源设备传输到Log360控制台、直至可供分析的完整流程。

示例场景:企业部署及假设条件

中心位置/总部(HQ)

•部署3个Log360日志处理器节点(Log Processor Node)。

•处理器1(Processor 1)为主要处理器(Primary Processor)。

•每个处理器节点均启用了处理引擎(Processing Engine)、日志队列引擎(Log Queue Engine)、搜索引擎(Search Engine)和关联引擎(Correlation Engine)。默认情况下,告警(Alerts)、日志转发(Log Forwarding)和归档(Archiving)功能均由处理引擎负责。

•所有3个节点均配置了共享存储(通过NFS挂载),用于通信和文件处理。

•每个处理器均已配置为可与公共数据库(common database)通信。

•总部处理的日志事件总量(EPS):8000条/秒。

远程站点A

•100台设备,日志生成量为1000条/秒(EPS)。

•已配置轻量级日志代理(lightweight log agent),用于解析日志并上传至总部的处理器集群。

远程站点B

•150台设备,日志生成量为1500条/秒(EPS)。

•采用与站点A类似的代理配置。

数据流管道概述

远程站点的日志收集

远程站点的代理会先解析日志格式,对日志进行压缩,再通过HTTPS协议将其上传至总部集群中可用的处理器节点。

处理器节点的接收与角色分配

接收日志的处理器节点会先对传入的日志进行 enrichment(增强处理,如补充元数据、标准化格式等),再将其写入队列集群(queue cluster)。之后,日志会被搜索、关联、告警、日志转发等各个独立模块获取并处理。

队列处理(Queuing)

主题(Topics)会临时缓存日志,为后续处理做准备。此过程基于“发布-订阅”(Publish-Subscription)模型实现。

索引与搜索引擎(Indexing and Search Engine)

•已处理的日志会在Elasticsearch中建立索引(所有节点共享该Elasticsearch实例)。

•搜索请求会在各处理器节点间进行负载均衡,但数据均从公共索引(common index)中获取。

存储处理(Storage Handling)

•热数据(Hot data):存储在Elasticsearch中,以支持快速搜索(默认保留30天)。

•冷数据(Cold data):以文件格式归档(已压缩且加密),用于审计场景。

•PostgreSQL数据库负责存储元数据(metadata)、告警配置(alert configs)和事件摘要(incident summaries)。

控制台与分析人员访问(Dashboard and Analyst Access)

用户可通过Web控制台执行实时搜索、查看告警、调查事件,以及配置关联规则(correlation rules)。基于角色的访问控制(Role-based access)可确保不同部门和远程分支机构之间的数据可见性相互隔离。

总结

所有处理流程均集中在总部,远程站点仅需保持轻量级部署即可。队列系统(queuing system)确保日志摄入具备高吞吐量,处理器节点则实现了工作负载与存储的高效分配。Elasticsearch支持实时搜索与关联分析,而PostgreSQL和共享文件系统则保障了元数据管理、归档操作和报表生成的连续性。

image.gif

该部署方案可处理约10000条/秒(EPS)的日志事件,且具备高可用性;支持通过远程代理进行日志转发与索引建立,能够实现高效的日志管理。在下一节中我们将进一步分析架构实现的常见场景和实用案例。

相关文章
|
消息中间件 数据库 RocketMQ
分布式事务常见解决方案
分布式事务常见解决方案
2854 0
|
3月前
|
存储 运维 监控
日志服务SLS:日志采集与分析
日志服务SLS是阿里云提供的一站式日志解决方案,支持采集、存储、分析、投递全链路管理。通过Logtail、SDK、API实现多场景日志接入,结合查询语法、可视化图表与机器学习,助力运维监控、安全审计与成本优化,广泛应用于Nginx分析、错误排查及智能异常检测,提升企业数字化运营效率。(238字)
357 0
|
3月前
|
监控 安全 Cloud Native
2025年十款多因素认证(MFA)解决方案对比
选择合适的多因素认证(MFA)服务,对于保护企业抵御日益增长的网络威胁至关重要。目前市场上MFA解决方案种类繁多,如何为企业挑选最适配的产品成为一大难题。本文将通过对比主流服务商、梳理核心选择要素,助您轻松应对MFA选型的复杂挑战。
234 1
|
6月前
|
运维 监控 安全
EventLog Analyzer:高效的Web服务器日志监控与审计解决方案
ManageEngine EventLog Analyzer是一款企业级Web服务器日志监控与审计工具,支持Apache、IIS、Nginx等主流服务器,实现日志集中管理、实时威胁检测、合规报表生成及可视化分析,助力企业应对安全攻击与合规挑战,提升运维效率。
342 0
|
7月前
|
BI Windows 容器
AD域组策略管理
ADManager Plus是一款基于Web的Active Directory组策略管理工具,支持多域GPO管理,提供GPO创建、编辑、启用、禁用、删除、链接、继承控制等功能,支持批量操作,提升管理效率。内置丰富报表,如GPO清单、阻止继承容器等,便于快速获取GPO信息,优化AD策略管理。
199 6
|
存储 安全 物联网
什么是安全密钥,它是如何工作的
安全密钥是一种物理设备,常用于双因素或多因素身份验证(2FA/MFA),以提升在线账户安全性。它通过公钥加密协议(如FIDO U2F/FIDO2)实现强大的防网络钓鱼和凭证盗窃功能。常见的类型包括USB-A、USB-C、NFC和蓝牙密钥,支持一键登录且兼容多种服务。即使凭据泄露,安全密钥也能有效保护账户。若丢失密钥,可通过备用验证码或替代验证方法恢复访问,并重新注册新密钥。工具如ADSelfService Plus可与安全密钥无缝集成,提供自适应MFA及密码管理功能,增强整体安全性。
929 0
什么是安全密钥,它是如何工作的
|
12月前
|
存储 运维 监控
提升Windows Server环境安全性:ADAudit Plus的五大关键优势
在Windows Server环境中,内置的安全审计工具虽有用,但存在专业门槛高、耗时及功能缺失等问题。第三方工具ADAudit Plus应运而生,其五大优势包括:日志聚合、关键活动检测、定制化报告、灵活安全配置和长期日志保留,有效提升系统监控与合规能力。选择ADAudit Plus,助力企业更高效应对审计挑战,强化安全性。
274 2
|
云安全 监控 安全
AWS 云安全深度剖析:如何有效监测 SSH 暴力攻击
云基础设施多由基于Linux的机器主导,因其开源、低成本、可靠性和灵活性。然而,这些机器易受黑客攻击,尤其是通过SSH通道。SSH(安全外壳协议)用于加密连接,确保远程登录和文件传输的安全性。在AWS中,管理员通过SSH保护Linux实例的远程访问,但暴露SSH服务会增加暴力破解风险。攻击者利用暴力破解程序尝试获取访问权限,进而感染主机或窃取数据。为防御此类攻击,建议使用SIEM解决方案监控日志,检测异常登录行为,并阻止可疑IP地址。此外,避免公开暴露SSH服务,添加双因素身份验证等额外安全层,以增强云安全性。
309 17
|
消息中间件 架构师 数据库
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
45岁资深架构师尼恩分享了一篇关于分布式事务的文章,详细解析了如何在10Wqps高并发场景下实现分布式事务。文章从传统单体架构到微服务架构下分布式事务的需求背景出发,介绍了Seata这一开源分布式事务解决方案及其AT和TCC两种模式。随后,文章深入探讨了经典ebay本地消息表方案,以及如何使用RocketMQ消息队列替代数据库表来提高性能和可靠性。尼恩还分享了如何结合延迟消息进行事务数据的定时对账,确保最终一致性。最后,尼恩强调了高端面试中需要准备“高大上”的答案,并提供了多个技术领域的深度学习资料,帮助读者提升技术水平,顺利通过面试。
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
|
存储 监控 安全
5款 Syslog集中系统日志常用工具对比推荐
集中管理Syslog有助于持续监控网络中的恶意活动,确保日志的搜索和分析更为便捷。常用工具包括Rsyslog、Syslog-ng、Logstash和Fluentd,它们各有优劣。Rsyslog通过多种协议确保日志传输的安全性;Syslog-ng支持高效收集和转发日志;Logstash能解析多源日志并索引;Fluentd将日志转换为JSON格式。卓豪EventLog Analyzer则提供一体化的日志管理,支持日志分析、报表生成、用户行为分析及实时告警,是全面的日志管理解决方案。
337 0