大厂案例 - 实时分析引擎

简介: 大厂案例 - 实时分析引擎

概述


网络安全态势越来越复杂,传统的基于单点的防护和攻击检测系统在应对现代网络攻击方面有着很大的局限性。


基于大数据平台,通过流式实时分析技术可以对全局网络空间进行实时的分析和异常检测,解决单点很难发现和处理的安全问题。


相比与互联网公司常见的大数据实时分析场景,面向企业用户的网络安全分析场景存在很多特殊需求和挑战,本次分享将介绍网络安全领域对实时分析系统的需求,并从这些需求出发,讲解如何设计适合网络安全领域的实时分析引擎,希望为业界解决类似问题提供参考和借鉴。



内容


  • 网络安全领域对实时监测系统的需求
  • 如何选择一个适合网络安全场景的实时计算框架
  • 如何设计网络安全领域的实时分析引擎


收获

  • 了解如何基于 Flink 构造网络安全领域的实时分析引擎
  • 了解实时网络安全分析引擎的架构和设计
  • 了解构建实时网络安全分析引擎遇到的问题和解决方案



思路


2cc4e6361d94419abd37be382fb7b7cd.jpeg


0009cb5f8e62438285f98b36a2e7461e.jpeg


a9bfad9b05074bb2802426827f524c07.jpeg

3904395e19c64ae4a2f684bd5ab48554.jpeg

321e428244e743f08ca4768b7b147f63.jpeg


16f8e4cc655c470089bcfa6ce6ceb146.jpeg

780cd7d966e04b0590d3c453f1857615.jpeg


75a5a62f61f84ba09a8761f63a3be76d.jpeg


c16f09c42eb64c82aa9ed7f8825802f6.jpeg

328a4c00402a4c59b7ec495af2a9a970.jpeg

4d6eba7be57e43068a9739a226ad6963.jpeg

fa895bc8a0b64c2c9f66296335b2e2ad.jpeg


027c9b44078c4438b8964525905cad93.jpeg

1f8acc8749d0411e9fcdc6dfe80f7e11.jpeg

c1cf55888dab4363a077d5b3f0a497fa.jpeg

70b58b4ddd684e6c84217b448064dc4b.jpeg


075780a6596e4f18b7ddba97f3a5d62c.jpeg

ca87f350cfbc464f9c0ec7be2a23b0ed.jpeg


d126d09adb6a484c9f6a8aa8539745e3.jpeg


ce2190a701f748e19d16c708ee8ba6f6.jpeg


b7339809602048d79470a2ffc399b203.jpeg

f542278319144dfdae391d4f8e4178b9.jpeg


2a40ce7d69aa440aa878807943998f33.jpeg


3a940b05e9bd473ab931a4feb1798904.jpeg

05bd0be6b4b0474e8e6faba7edff1e8b.jpeg

2a4a6b9422c847a68913ad6dfdb2a73b.jpeg


4721b54c278045069e242dfbfcbd3080.jpeg


204b1898fea24da594c08de043241e78.jpeg

7a1e8ac2dd1348cdbd6ab63153e95589.jpeg

6994ff1d24174e2c92c24edb7467f595.jpeg

d9ff17a6806a4844bdd68af42f957416.jpeg

57e473c424cc4783988fccf9758d14cb.jpeg

1f310269a1f84c4c89942c63ec89dfa8.jpeg

5baf8966534d4801815dad97224d6bb8.jpeg

63390cf80e0f40d78a70564bbeb81a46.jpeg



建议


  • 不要马上进行架构设计和编码,要先想清楚业务场景 , 场景归类
  • 归类以后参考下开源实现或者业内的主流做法,站在巨人的肩膀上
  • 工程化的时候要充分考虑大数据技术栈的复杂性,避免过度客观
相关文章
|
4月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
55 0
|
5月前
|
jstorm 大数据 分布式数据库
大数据下的实时热点功能实现讨论(实时流的TopN)
我司内部有个基于jstorm的实时流编程框架,文档里有提到实时Topn,但是还没有实现。。。。这是一个挺常见挺重要的功能,但仔细想想实现起来确实有难度。实时流的TopN其实离大家很近,比如下图百度和微博的实时热搜榜,还有各种资讯类的实时热点,他们具体实现方式不清楚,甚至有可能是半小时离线跑出来的。今天不管他们怎么实现的,我们讨论下实时该怎么实现(基于storm)。
118 0
|
6月前
|
消息中间件 数据挖掘 Kafka
实时数据分析演示
实时数据分析演示
|
7月前
|
分布式计算 DataWorks 数据可视化
DataWorks增强分析发布,一站式数据查询分析与可视化
8月31日阿里云郑州峰会,阿里云行业解决方案研发部总经理曾震宇在主论坛飞天发布时刻重磅发布DataWorks与DataV-Card合作推出的AI增强分析产品,一站式完成从数据查询、分析、可视化、共享的完整链路,1分钟即可形成数据报告,帮助互联网、金融、政务等各个行业客户表达数据观点,讲好数据故事。
1031 1
|
存储 分布式计算 Hadoop
OushuDB 小课堂丨实时分析:示例和优势
OushuDB 小课堂丨实时分析:示例和优势
43 0
|
存储 关系型数据库 MySQL
引擎的原理以及应用场景分析|学习笔记
快速学习引擎的原理以及应用场景分析
67 0
|
数据采集 NoSQL 前端开发
数据处理-链路统计-数据库到前端展现|学习笔记
快速学习数据处理-链路统计-数据库到前端展现
151 0
数据处理-链路统计-数据库到前端展现|学习笔记
|
缓存 自然语言处理 NoSQL
实时引擎平台化总结
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。
175 0
|
存储 SQL 消息中间件
PB级日志数据实时加工原理与实践
本文是参加2021 K+全球软件研发行业创新峰会专题分享后的一些总结。同时也学习了其他多个专题分享,总体感觉是整个大会的分享专题覆盖面特别广,专业度都很高。此次专题分享我希望带给听众对于整个日志数据处理场景的现状、常规解决方案,以及带大家深入了解我们团队自研的数据加工服务的技术架构、核心技术难点等。另外就是数据加工的场景实践,以及对未来发展的简述。
460 0
PB级日志数据实时加工原理与实践
|
数据采集
数据采集(案例)
爬虫系列文章
164 0