启明星辰泰合发布新一代日志分析系统

本文涉及的产品
云数据库 PolarDB MySQL 版,列存表分析加速 8核16GB
PolarSearch,搜索节点 4核8GB
PolarDB Agent Flow,2核4GB
简介:
发布时间:2016-01-12   作者:启明星辰

伴随着大数据时代的到来,启明星辰于2015年12月25日正式对外发布了面向企业级客户、融合大数据技术的新一代日志分析与审计平台(以下简称TSOC-SA3),以满足需要分析天量安全日志的政企客户的需求。该平台结合当前主流的大数据技术,并采用具有自主知识产权的分布式非关系型数据库(CupidDB)技术,有效处理日志大数据问题,开启安全管理的SOC3.0时代。


TSOC-SA3基于分布式节点计算机制,使用自主知识产权的非关系型数据库CupidDB,具有高可靠性的分布式、全文索引、实时格式化数据搜索和原始数据关键字搜索等功能。系统融合多种信息安全技术和管理理念,充分实现组织、管理、技术三个体系的合理调配,帮助用户进行基于日志的综合审计和日志全生命周期管理,从而最大化地保障网络、主机和应用系统安全机制的有效性。


TSOC-SA3具备以下五大特点:


融合大数据技术的日志管理技术架构
系统采用了国内领先的高性能日志采集范式化技术、大数据分布式存储与索引、流式集中事件及情境关联分析,从产品技术架构的层面,进行了系统性的设计,真正使得系统成为一款能够支撑持续海量日志管理的系统。

 


1)日志采集层面使用了异步通讯、高速缓存、日志范式化流水线和消息中间件技术,对海量异构日志进行持续不断地高速采集,使用户能够采集并预处理网络中大规模审计对象的日志。
2)日志存储方面,针对大数据日志,系统采用了具有自主知识产权的分布式非关系型数据库CupidDB从根本上解决了使用传统关系型数据库的日志审计系统的性能瓶颈,包括数据存储、数据索引、数据搜索和数据备份的不足,使日志审计系统真正迈向了大数据时代。对数据进行分片和副本,将分片和副本保存在不同的分布式节点上,同时对数据进行全文索引,通过分布式节点的增加实现对TB/PB级日志数据的保存,并可将数据以文件系统方式保存在各节点上,实现了存储和分析的水平弹性扩展,满足用户存储长期日志数据的要求。
3)日志分析层面包括实时流式分析、交互式分析、全文检索、历史数据回放、批处理分析等多种先进技术。
4)流式分析采用内存实时计算、复杂事件处理(Complex Event Process,CEP)技术结合日志相关的各类情境数据进行实时监控和关联分析,帮助用户及时发现安全异常,快速关联出安全隐患; 
5)历史数据回放提供了历史数据检测的功能,方便安全审计员对保存在系统中的海量数据进行回放,通过高速回放技术为用户重现历史安全场景。
6)批处理分析使用了数据抽取、数据聚合等技术,能够对TB级日志快速生成报表,满足安全审计员生成各类安全日报、周报和月报等需求。


灵活强大的交互式查询

系统使用了大数据交互式查询技术,满足安全审计员的日常工作需要。安全审计员可以通过自定义的仪表盘同日志审计所存储的所有日志进行交互,实时显示查询到的数据,查询时间缩短到秒级。系统支持任意嵌套查询,并可随意回退,通过仪表板可视化处理数据,真正做到所见即所查。系统可将查询条件保存为策略,支持策略的导入导出,供后期使用,为安全审计员工作提供便利。安全审计员通过仪表板可任意选择需要显示的字段和信息,并可对查询结果随时进行统计分析、可视化分析,包括地理定位、多维分析、TopN分析,支持关键字和正则表达式的全文检索。系统的交互式分析功能为安全审计和分析人员在进行安全事件调查和威胁分析时提供了一个强有力的武器。


混合式检索技术
系统提供混合检索技术,其特点就是不仅提供了基于范式化后的格式数据内容的实时关联分析和统计报表,同时还提供强大的全文搜索功能。混合式检索技术包括通过对范化后的字段值进行全部日志记录的搜索,其功能基本等同于传统关系库中的SQL查询,查询出包含搜索值的所有的日志记录,并分行显示。同时,系统支持全文检索技术,它不局限于几种或几十种固定的字段,不需要指定数据的格式,可以结合时间与关键词进行搜索,实时展现搜索结果,并对关键字进行高亮显示。全文检索在使用上就和Google一样直观易用,用户可以输入关键词或正则表达式进行任意搜索,提供即时的在线查询,立即产生长时期结果。混合式检索技术使系统在事件检索上正在做到了灵活与高效。

威胁情报采集与利用
随着IT技术的不断发展和应用,攻击变得越来越隐蔽和难以发现,诸如APT之类的攻击很难被发现和防止,层出不穷的数据泄漏事件和攻击对组织的声誉和财产乃至国家安全造成了十分恶劣的影响。大多数组织没有足够的人员、时间、资金、和精力来应对威胁。因此,威胁情报在频繁受到攻击的高风险的重点行业大型企业和政府事业单位中,将会明显提升关联分析的准确性和目标性,帮助组织有效发现隐藏的威胁。
因此,系统集成了威胁情报的功能,可提供通过导入或者主动自动抓取的方式获取内外部相关威胁情报信息并利用于关联分析和实时监测。用户可根据自己的需要和行业特点通过系统从公开的网络威胁情报源从自己的情报来源获取情报并将其保存入系统威胁情报库中针对安全事件进行关联分析,最终帮助安全管理人员有效的弥补传统的安全防护体系架构针对APT等新兴攻击应对乏力的局面。


合规管理与分析
系统不仅是一个检测外部入侵攻击的高级分析工具,还是一个基于日志进行合规审计的强有力工具。考虑国家制定的信息系统等级保护制度对用户网络安全建设的重要性,系统为了帮助用户更好完成等级保护建设,内置等级保护自查功能。该功能包含等保定级、等保备案、等保测评、历史回查、评分归档和完整的等级保护调查模板等,并以可视化方式帮助用户及时了解全网等级保护建设情况。
此外,系统还基于等保、PCI、27001、SOX等合规性要求内置了大量合规分析场景,用户可以通过丰富的合规分析策略对全网的安全事件进行全方位、多视角、大跨度、细粒度的实时监测、分析、查询、调查、追溯,动态了解系统的合规情况,为用户合规性建设提供有效支撑。


关于启明星辰
启明星辰作为中国信息安全行业的领航企业,拥有完整的网络安全技术、产品、解决方案和服务能力,已经成为在政府、电信、金融、能源、交通、军队、军工、制造等国内高端企业级客户青睐的品牌。
启明星辰专门成立了泰合产品本部负责大数据安全分析领域及泰合系列安全管理类、审计类和流安全分析类系统的研发、咨询、项目实施与运维。泰合产品本部分别在北京、上海、广州设有研发中心。

文章来源: http://www.venustech.com.cn/















本文转自张昺华-sky博客园博客,原文链接: http://www.cnblogs.com/bonelee/p/6649950.html ,如需转载请自行联系原作者

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
9月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
806 122
基于docker搭建监控系统&日志收集
|
12月前
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
|
9月前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
1084 2
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
5789 70
Grafana Loki,轻量级日志系统
|
11月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
659 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
存储 JSON Go
PHP 日志系统的最佳搭档:一个 Go 写的远程日志收集服务
为了不再 SSH 上去翻日志,我写了个 Go 小脚本,用来接收远程日志。PHP 负责记录日志,Go 负责存储和展示,按天存储、支持 API 访问、可远程管理,终于能第一时间知道项目炸了。
350 10
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
1248 8
|
存储 监控 安全
5款 Syslog集中系统日志常用工具对比推荐
集中管理Syslog有助于持续监控网络中的恶意活动,确保日志的搜索和分析更为便捷。常用工具包括Rsyslog、Syslog-ng、Logstash和Fluentd,它们各有优劣。Rsyslog通过多种协议确保日志传输的安全性;Syslog-ng支持高效收集和转发日志;Logstash能解析多源日志并索引;Fluentd将日志转换为JSON格式。卓豪EventLog Analyzer则提供一体化的日志管理,支持日志分析、报表生成、用户行为分析及实时告警,是全面的日志管理解决方案。
503 0