大厂案例 - 实时分析引擎

简介: 大厂案例 - 实时分析引擎

概述


网络安全态势越来越复杂,传统的基于单点的防护和攻击检测系统在应对现代网络攻击方面有着很大的局限性。


基于大数据平台,通过流式实时分析技术可以对全局网络空间进行实时的分析和异常检测,解决单点很难发现和处理的安全问题。


相比与互联网公司常见的大数据实时分析场景,面向企业用户的网络安全分析场景存在很多特殊需求和挑战,本次分享将介绍网络安全领域对实时分析系统的需求,并从这些需求出发,讲解如何设计适合网络安全领域的实时分析引擎,希望为业界解决类似问题提供参考和借鉴。



内容


  • 网络安全领域对实时监测系统的需求
  • 如何选择一个适合网络安全场景的实时计算框架
  • 如何设计网络安全领域的实时分析引擎


收获

  • 了解如何基于 Flink 构造网络安全领域的实时分析引擎
  • 了解实时网络安全分析引擎的架构和设计
  • 了解构建实时网络安全分析引擎遇到的问题和解决方案



思路


2cc4e6361d94419abd37be382fb7b7cd.jpeg


0009cb5f8e62438285f98b36a2e7461e.jpeg


a9bfad9b05074bb2802426827f524c07.jpeg

3904395e19c64ae4a2f684bd5ab48554.jpeg

321e428244e743f08ca4768b7b147f63.jpeg


16f8e4cc655c470089bcfa6ce6ceb146.jpeg

780cd7d966e04b0590d3c453f1857615.jpeg


75a5a62f61f84ba09a8761f63a3be76d.jpeg


c16f09c42eb64c82aa9ed7f8825802f6.jpeg

328a4c00402a4c59b7ec495af2a9a970.jpeg

4d6eba7be57e43068a9739a226ad6963.jpeg

fa895bc8a0b64c2c9f66296335b2e2ad.jpeg


027c9b44078c4438b8964525905cad93.jpeg

1f8acc8749d0411e9fcdc6dfe80f7e11.jpeg

c1cf55888dab4363a077d5b3f0a497fa.jpeg

70b58b4ddd684e6c84217b448064dc4b.jpeg


075780a6596e4f18b7ddba97f3a5d62c.jpeg

ca87f350cfbc464f9c0ec7be2a23b0ed.jpeg


d126d09adb6a484c9f6a8aa8539745e3.jpeg


ce2190a701f748e19d16c708ee8ba6f6.jpeg


b7339809602048d79470a2ffc399b203.jpeg

f542278319144dfdae391d4f8e4178b9.jpeg


2a40ce7d69aa440aa878807943998f33.jpeg


3a940b05e9bd473ab931a4feb1798904.jpeg

05bd0be6b4b0474e8e6faba7edff1e8b.jpeg

2a4a6b9422c847a68913ad6dfdb2a73b.jpeg


4721b54c278045069e242dfbfcbd3080.jpeg


204b1898fea24da594c08de043241e78.jpeg

7a1e8ac2dd1348cdbd6ab63153e95589.jpeg

6994ff1d24174e2c92c24edb7467f595.jpeg

d9ff17a6806a4844bdd68af42f957416.jpeg

57e473c424cc4783988fccf9758d14cb.jpeg

1f310269a1f84c4c89942c63ec89dfa8.jpeg

5baf8966534d4801815dad97224d6bb8.jpeg

63390cf80e0f40d78a70564bbeb81a46.jpeg



建议


  • 不要马上进行架构设计和编码,要先想清楚业务场景 , 场景归类
  • 归类以后参考下开源实现或者业内的主流做法,站在巨人的肩膀上
  • 工程化的时候要充分考虑大数据技术栈的复杂性,避免过度客观
相关文章
|
存储 容灾 安全
云上架构和传统IT架构有什么区别及优势?
在云计算走向成熟之前,我们更应该关注系统云计算架构的细节,从传统的架构到云上大数据,实现了很多的转变。
4094 0
云上架构和传统IT架构有什么区别及优势?
|
SQL 分布式计算 Hadoop
|
12月前
|
缓存 监控 数据挖掘
亿级数据如何实现秒级响应?
本文详细介绍了瓴羊Quick BI的性能架构、性能工具和性能保障,旨在帮助企业更好地理解和使用这一商业智能工具。文章首先概述了BI产品在企业中的重要性,随后深入探讨了Quick BI的性能架构,包括应用架构、分析引擎和渲染引擎,以及其优势和测试效果。接着,文章介绍了性能工具,包括性能分析和性能诊断,帮助用户精准诊断和优化性能瓶颈。最后,文章阐述了性能保障措施,如线上监控、版本巡检和定期报告,确保系统的稳定性和高效运行。通过这些设计,Quick BI能够满足企业在不同场景下的性能需求,提升数据分析效率和决策能力。
366 3
|
12月前
|
数据可视化 数据挖掘 BI
QuickBI全新高亮联动功能,引爆数据交互新体验!
本文介绍了高亮联动在BI系统中的应用,包括其定义、用途及实现方案。高亮联动通过用户在某个组件上的操作,自动在其他组件中高亮显示相关数据,帮助用户快速识别数据间的关联性。文中详细解释了筛选联动与高亮联动的区别,并展示了具体的实现步骤和图表结构。通过技术创新和用户体验优化,高亮联动功能将为用户提供更高效、直观的数据分析工具。
460 0
|
供应链 数据挖掘 大数据
【客户案例】洋河股份:一块屏管理8000+ 经销商
江苏洋河酒厂股份有限公司(苏酒集团)是中国白酒行业领军企业。洋河积极进行数字化转型,通过构建数据驱动的管理体系,大幅提升运营效率和精准度,特别是在组织架构、费用管理和经销商评估等方面取得了显著成效。
429 3
|
SQL 数据采集 BI
Quick 引擎-抽取性能提升
本文介绍了一种通过并发抽取方案提升 Quick BI 数据抽取性能的方法,利用 DataX 进行二次开发,实现数据同步至高性能 OLAP 引擎。通过指定分区键或配置多条 SQL 实现任务拆分,显著减少了数据抽取时间,优化效果得到客户认可。
400 0
Quick 引擎-抽取性能提升
基于最小二乘递推算法的系统参数辨识matlab仿真
该程序基于最小二乘递推(RLS)算法实现系统参数辨识,对参数a1、b1、a2、b2进行估计并计算误差及收敛曲线,对比不同信噪比下的估计误差。在MATLAB 2022a环境下运行,结果显示了四组误差曲线。RLS算法适用于实时、连续数据流中的动态参数辨识,通过递推方式快速调整参数估计,保持较低计算复杂度。
|
SQL 分布式计算 API
轻松驾驭Hive数仓,数据分析从未如此简单!
轻松驾驭Hive数仓,数据分析从未如此简单!
470 1
|
存储 运维 监控
实时计算Flink版最佳实践测评
实时计算Flink版最佳实践测评
292 1