启明星辰泰合发布新一代日志分析系统

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介:
发布时间:2016-01-12   作者:启明星辰

伴随着大数据时代的到来,启明星辰于2015年12月25日正式对外发布了面向企业级客户、融合大数据技术的新一代日志分析与审计平台(以下简称TSOC-SA3),以满足需要分析天量安全日志的政企客户的需求。该平台结合当前主流的大数据技术,并采用具有自主知识产权的分布式非关系型数据库(CupidDB)技术,有效处理日志大数据问题,开启安全管理的SOC3.0时代。


TSOC-SA3基于分布式节点计算机制,使用自主知识产权的非关系型数据库CupidDB,具有高可靠性的分布式、全文索引、实时格式化数据搜索和原始数据关键字搜索等功能。系统融合多种信息安全技术和管理理念,充分实现组织、管理、技术三个体系的合理调配,帮助用户进行基于日志的综合审计和日志全生命周期管理,从而最大化地保障网络、主机和应用系统安全机制的有效性。


TSOC-SA3具备以下五大特点:


融合大数据技术的日志管理技术架构
系统采用了国内领先的高性能日志采集范式化技术、大数据分布式存储与索引、流式集中事件及情境关联分析,从产品技术架构的层面,进行了系统性的设计,真正使得系统成为一款能够支撑持续海量日志管理的系统。

 


1)日志采集层面使用了异步通讯、高速缓存、日志范式化流水线和消息中间件技术,对海量异构日志进行持续不断地高速采集,使用户能够采集并预处理网络中大规模审计对象的日志。
2)日志存储方面,针对大数据日志,系统采用了具有自主知识产权的分布式非关系型数据库CupidDB从根本上解决了使用传统关系型数据库的日志审计系统的性能瓶颈,包括数据存储、数据索引、数据搜索和数据备份的不足,使日志审计系统真正迈向了大数据时代。对数据进行分片和副本,将分片和副本保存在不同的分布式节点上,同时对数据进行全文索引,通过分布式节点的增加实现对TB/PB级日志数据的保存,并可将数据以文件系统方式保存在各节点上,实现了存储和分析的水平弹性扩展,满足用户存储长期日志数据的要求。
3)日志分析层面包括实时流式分析、交互式分析、全文检索、历史数据回放、批处理分析等多种先进技术。
4)流式分析采用内存实时计算、复杂事件处理(Complex Event Process,CEP)技术结合日志相关的各类情境数据进行实时监控和关联分析,帮助用户及时发现安全异常,快速关联出安全隐患; 
5)历史数据回放提供了历史数据检测的功能,方便安全审计员对保存在系统中的海量数据进行回放,通过高速回放技术为用户重现历史安全场景。
6)批处理分析使用了数据抽取、数据聚合等技术,能够对TB级日志快速生成报表,满足安全审计员生成各类安全日报、周报和月报等需求。


灵活强大的交互式查询

系统使用了大数据交互式查询技术,满足安全审计员的日常工作需要。安全审计员可以通过自定义的仪表盘同日志审计所存储的所有日志进行交互,实时显示查询到的数据,查询时间缩短到秒级。系统支持任意嵌套查询,并可随意回退,通过仪表板可视化处理数据,真正做到所见即所查。系统可将查询条件保存为策略,支持策略的导入导出,供后期使用,为安全审计员工作提供便利。安全审计员通过仪表板可任意选择需要显示的字段和信息,并可对查询结果随时进行统计分析、可视化分析,包括地理定位、多维分析、TopN分析,支持关键字和正则表达式的全文检索。系统的交互式分析功能为安全审计和分析人员在进行安全事件调查和威胁分析时提供了一个强有力的武器。


混合式检索技术
系统提供混合检索技术,其特点就是不仅提供了基于范式化后的格式数据内容的实时关联分析和统计报表,同时还提供强大的全文搜索功能。混合式检索技术包括通过对范化后的字段值进行全部日志记录的搜索,其功能基本等同于传统关系库中的SQL查询,查询出包含搜索值的所有的日志记录,并分行显示。同时,系统支持全文检索技术,它不局限于几种或几十种固定的字段,不需要指定数据的格式,可以结合时间与关键词进行搜索,实时展现搜索结果,并对关键字进行高亮显示。全文检索在使用上就和Google一样直观易用,用户可以输入关键词或正则表达式进行任意搜索,提供即时的在线查询,立即产生长时期结果。混合式检索技术使系统在事件检索上正在做到了灵活与高效。

威胁情报采集与利用
随着IT技术的不断发展和应用,攻击变得越来越隐蔽和难以发现,诸如APT之类的攻击很难被发现和防止,层出不穷的数据泄漏事件和攻击对组织的声誉和财产乃至国家安全造成了十分恶劣的影响。大多数组织没有足够的人员、时间、资金、和精力来应对威胁。因此,威胁情报在频繁受到攻击的高风险的重点行业大型企业和政府事业单位中,将会明显提升关联分析的准确性和目标性,帮助组织有效发现隐藏的威胁。
因此,系统集成了威胁情报的功能,可提供通过导入或者主动自动抓取的方式获取内外部相关威胁情报信息并利用于关联分析和实时监测。用户可根据自己的需要和行业特点通过系统从公开的网络威胁情报源从自己的情报来源获取情报并将其保存入系统威胁情报库中针对安全事件进行关联分析,最终帮助安全管理人员有效的弥补传统的安全防护体系架构针对APT等新兴攻击应对乏力的局面。


合规管理与分析
系统不仅是一个检测外部入侵攻击的高级分析工具,还是一个基于日志进行合规审计的强有力工具。考虑国家制定的信息系统等级保护制度对用户网络安全建设的重要性,系统为了帮助用户更好完成等级保护建设,内置等级保护自查功能。该功能包含等保定级、等保备案、等保测评、历史回查、评分归档和完整的等级保护调查模板等,并以可视化方式帮助用户及时了解全网等级保护建设情况。
此外,系统还基于等保、PCI、27001、SOX等合规性要求内置了大量合规分析场景,用户可以通过丰富的合规分析策略对全网的安全事件进行全方位、多视角、大跨度、细粒度的实时监测、分析、查询、调查、追溯,动态了解系统的合规情况,为用户合规性建设提供有效支撑。


关于启明星辰
启明星辰作为中国信息安全行业的领航企业,拥有完整的网络安全技术、产品、解决方案和服务能力,已经成为在政府、电信、金融、能源、交通、军队、军工、制造等国内高端企业级客户青睐的品牌。
启明星辰专门成立了泰合产品本部负责大数据安全分析领域及泰合系列安全管理类、审计类和流安全分析类系统的研发、咨询、项目实施与运维。泰合产品本部分别在北京、上海、广州设有研发中心。

文章来源: http://www.venustech.com.cn/















本文转自张昺华-sky博客园博客,原文链接: http://www.cnblogs.com/bonelee/p/6649950.html ,如需转载请自行联系原作者

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
运维 安全 Linux
【揭秘】如何轻松掌控Linux系统命脉?——一场探索日志文件奥秘的旅程,带你洞悉系统背后的故事!
【8月更文挑战第21天】日志文件对Linux系统至关重要,记录着包括应用行为、组件状态和安全事件在内的系统活动,如同系统的“黑匣子”。掌握日志查看技巧是系统管理的基础技能,有助于快速诊断问题。常用命令包括`cat`、`tail`和`grep`等,可用于查看如`/var/log/messages`和`/var/log/auth.log`等系统日志文件,以及特定应用的日志。`journalctl`则用于查看systemd服务日志。此外,`logrotate`工具可管理日志文件的滚动和归档,确保系统高效运行。
47 4
|
3月前
|
存储 数据采集 数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构,构建强大的日志收集系统!
【8月更文挑战第24天】Apache Flume是一个强大的工具,专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源(Source)、通道(Channel)与接收器(Sink)。Flume支持多样化的拓扑结构以适应不同需求,包括单层、扇入(Fan-in)、扇出(Fan-out)及复杂多层拓扑。单层拓扑简单直观,适用于单一数据流场景;扇入结构集中处理多源头数据;扇出结构则实现数据多目的地分发;复杂多层拓扑提供高度灵活性,适合多层次数据处理。通过灵活配置,Flume能够高效构建各种规模的数据收集系统。
69 0
|
22小时前
|
Windows Python
如何反向读取Windows系统日志EVTX文件?
以下是如何反向读取Windows系统日志EVTX文件
|
7天前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
9 2
|
18天前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
42 1
|
26天前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
40 3
|
1月前
|
监控 应用服务中间件 网络安全
#637481#基于django和neo4j的日志分析系统
#637481#基于django和neo4j的日志分析系统
32 4
|
3月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
1月前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控总结
Linux系统命令与网络,磁盘和日志监控总结
52 0
|
1月前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控三
Linux系统命令与网络,磁盘和日志监控三
37 0