Python 大数据开源生态在网络安全防御中的探索与实践(一)

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
Elasticsearch Serverless检索通用型,资源抵扣包 100CU*H
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 本文主要介绍了由阿里构建的 Python 大数据生态(包括 Alink,Mars,Pygrape 等)有效改善了目前大数据处理与 AI 模型训练不能使用一门编程语言进行高效开发的现状,并介绍了部分开源框架在网络安全防御中的初步探索与实践。

1、背景

当前有关网络黑客的书籍和工具呈现指数级的增长,已经进入了一个号称“全民黑客”的时代。相应的,许多企业和政府部门为了自身业务和数据的安全,部署了大量的由不同安全厂商提供的网络安全检测及防御设备,也同时积累了大量的网络安全数据,形成了数目可观的数据孤岛。如何把各个安全设备的数据孤岛汇总到一个统一的平台,使用人工智能的方式建立模型和网络,充分利用批量和实时的安全数据,检测出正在发生的网络攻击事件或潜在的网络威胁事件,进行及时准确的告警或预警,是目前许多企业和政府部门的迫切需求。

与此同时,在大数据和人工智能技术持续升温的今天,Python 已经是人工智能领域中事实上的第一编程语言,但是在大数据计算领域中主流的计算框架,如Spark 和 Flink,第一编程语言却是 Scala 和 Java,这就造成了大数据处理(包括批式数据与流式数据的处理)与模型训练不能统一使用一门编程语言进行高效开发的尴尬现状。

自从今年4月份的 Spark + AI Summit 2019 大会以来,Spark 和 Flink 框架都开始加大了对 Python 语言的支持力度。Spark 开源了 Koalas 项目,使其与 Python 的 Pandas 无缝兼容;Flink 重构了 PyFlink,极大地提升了 Flink 中 Python API 的性能。但这些都还只是在数据读写和数据处理的层面,要深入到特征工程、模型训练及预测的层面,目前 Koalas 和 PyFlink 尚无法很好的满足这样的需要。虽然 Spark 和 Flink 都有各自的机器学习组件,SparkML 和 FlinkML,但是 SparkML 所能支持的算法十分有限,FlinkML 更是大约有两年左右都没有更新了。所以,如何在分布式集群上,打通数据前向(包括数据读取、数据处理等)与数据后向(包括特征工程、模型训练、模型预测、模型部署等),并兼容现有的主流深度学习框架,如 TensorFlow, PyTorch 和 MXNet 等,不仅是 Spark 和 Flink 社区目前的一个发展方向,也是各个大厂的一个发力方向,包括阿里、因特尔、戴尔等。就我个人来看,其中阿里开源的许多框架,包括 Alink、Mars、Pygrape、GraphT、Euler 等,极大的加快了构建 Python 大数据开源生态的步伐。真可谓是良心之举!

2、Alink

先来说说最近才开源的 Alink,这款由“豪门战队”,阿里云 MaxCompute PAI 团队研发开源出来的框架,聚集了诸多的亮点,批流一体、在线学习、Link 方式等,真的是让我这样的做数据挖掘的码农有种欲罢不能的感觉。不过为什么我要说 PAI 团队是“豪门战队”呢?原因除了 PAI 平台的功能强大和使用方便以外,就是 PAI 平台的收费真心好贵呀!完全就像是给豪门公司准备的……我也只是在2017年 PAI 平台上线公测的时候,有幸在上面做了几个公司数据挖掘的任务,自从它开始收费之后,我就只能远远的注视着她了……一不小心,吐了个小槽,继续哈。虽说现在大多数像我这样不在豪门公司的数据挖掘工程师或者算法工程师用不起 PAI 平台,但是在我个人看来,Alink 也着实继承了 PAI 平台一些优秀的特性,比如 Pipeline 的方式,就可以轻松的将批数据与流数据统一在一个模型中使用,使用 linkFrom,linkTo 等 link 语句就可以轻松的实现基于批数据或流数据的模型训练,以及模型预测功能,从而构建在线学习的模型。

在网络安全防御的平台中,汇集了各个不同厂商安全设备的告警及安全信息数据,如果能利用近一段时间的历史数据,比如最近一个月的数据,挖掘已经发生的攻击事件或潜在的威胁事件,提取相关的特征建立模型或网络,再根据线上的实时数据,针对目前攻击行为发生的演变,以及新增的潜在威胁等状况,实时地优化利用批数据训练好的模型,从而提高模型的自适应能力以及预测的准确性,是目前我们项目在安全防御平台上一个重要的探索方向,如图一所示。

soc.png

图一 安全防御平台中在线学习模型的方案

当然,在线学习只是 Alink 的一个亮点,她还支持其他很多的算法,如图二所示。
Alink.png

图二 Alink框架算法

不过 Alink 也并不是十全十美的,就我的实际项目经历来说,我们项目中的数据源是 Elasticsearch,目前 Alink 还没有对接 Elasticsearch 的 Connector,无法直接与 Elasticsearch 进行数据交换。而且读取 Kafka 的 Connector 也只有对 Kafka 0.11.X 版本的,可惜我项目中使用的 Kafka 不是这个版本。可见,Alink 要快速应用在不同的项目中,除了更多、更可靠的算法库,与不同数据源对接的 Connector 也是十分重要的。

3、Mars

再来说说 Mars,在我看来,Mars 跟一门小众编程语言 Ocaml 有点像,本身的特性都很优秀,但是不太注重市场营销,这一点从 Github 上 Start 的数量就可以反映出一二,Mars 是在2018年12月开源的,目前的 Start 数量是1.7k,而 Alink 是在2019年11底刚刚开源的,目前的 Start 数量就已经是1.6k了。Mars 其中的一个亮点就是她的大规模分布式计算不依赖 Spark 和 Flink 等计算框架,直接在 K8S 的集群上运行 pip install 'pymars[distributed]' 命令就可以安装分布式的 Mars 框架了,非常方便。而且在代码上,不仅做到了与 Numpy,Pandas,Sklearn 库的完美兼容,如图三所示,而且 Mars 中的数据抽象是 tensor,与 TensorFlow 和 PyTorch 框架可以做到无缝对接,目前 Mars 正在加大对 PyTorch 和 Scipy 技术栈的支持,进一步加强数据前向与数据后向任务的整合。不过 Mars 也同样缺少对 Elasticsearch 等数据源的 Connector,而且她目前只支持在 K8S 集群上执行分布式计算,不支持在 Yarn 集群上的分布式计算,所以在我们部署在 Yarn 集群的实际项目中,并没能用上 Mars 分布式计算的能力。但是在 Mars 中,数据格式np.ndarray、pd.dataframe 与 mt.tensor 之间的相互转化十分方便,比起在 PySpark 中进行类似数据格式的转化,用户体验要好很多;而且性能开销也不大,比起 PySpark 中 DataFrame 转换成 Pd.dataframe 的 toPandas() 方法的性能开销要小很多。

Mars.png

图三 Mars与Numpy、Pandas、Sklearn的对比

4、Pygrape & graphT

在以上两个性能优越的框架中,数据无论是以 ndarray、dataframe,还是以 tensor 的形式参与建模,模型都是在处理关系型数据的业务。而在今年的云栖大会上,针对图像、语音、文本等建立的深度学习模型已经被称为传统深度学习,GNN(图神经网络)算法被称为深度学习 2.0 版本。Gartner 发布的 2019 年跟数据相关产品魔力象限的分析报告也预测在未来的 2 到 5 年内,在企业层面和实际的需求落地层面,图相关的项目和需求都会有很大的发展,说明企业在业务中应用图计算的需求也在不断的涌现。所以今年的云栖大会开设了图神经网络的专场,还发布了 GraphCompute 平台,同时还介绍了即将开源的 Pygrape 和 graphT 框架(有关我对今年云栖大会中图计算理解的文章,请出门左转看这里 )。本文着重要说的就是 Pygrape 和 graphT 这两个即将开源的框架。在网络安全防御领域,少量的高危攻击事件隐藏在海量的普通访问和低危试探攻击中,具体到实际的项目中,需要在大约平均每天几百万条的攻击日志中,快速锁定隐藏在其中的高危攻击事件,通过构建关系型数据的模型是比较难满足需求的,尤其是在攻击者经过多级跳板,最终攻击目标服务器的攻击事件中,如图四所示。

attack.png

图四 多跳网络攻击示意图

在这种攻击日志超过几百万条,IP节点数达到数十万甚至过百万的业务数据中,很难在单台服务器上使用 Networkx 库构建网络拓扑去发现真正的攻击者,这时 Pygrape 框架就可以大显身手了。而且就云栖大会上公布的 PPT 来看,Pygrape 至少有两个吸引人的亮点。第一个就是在代码上,Pygrape 提供了一个 Networkx 兼容的API层,这大大减低了 Pygrape 的学习成本,如图五所示;第二个亮点就是 Pygrape 在数据处理任务中与 Mars 无缝对接,极大的提升了在网络拓扑中对点和边的属性做数据处理的性能。

python_graph_16.png

图五 Pygrape代码示例

当然,Spark 框架中的 GraphX 和 Flink 框架中的 Gelly 也都可以实现图中节点和边的计算,但是对计算结果图的可视化,目前都不能很好的支持,而且这两个框架都不支持 Python API。而 graphT 的开源,无疑将在 Python 大数据生态中,扭转计算图无法可视化的尴尬局面,而且代码依旧十分简洁,如图六所示。

python_graph_27.png

图六 graphT代码示例

Mars、Pygrape 和 graphT 的有效结合,未来势必将极大的提升 Python 大数据生态对图计算的处理能力。期待 Pyprape 和 graphT 的早日开源。

5、Euler

在图深度学习方面,阿里在今年1月份开源了 Euler,一个工业级的图深度学习框架。这个库中包括了比较多的GNN 算法,如 LsHNE、LasGNN、ScalableGCN 等,而且还列出了相关的论文,作为 GNN 算法的学习是比较好的。不过这个库目前只支持 Pyton2,而我们项目的所有模型今年刚好全都升级到 Python3 的版本,所以这个库在我们的项目中并没有做进一步的探索。

6、综述

综上,阿里的 Alink、Mars、Pygrape、graphT 以及 Euler 等性能卓越的开源框架,正在或即将为构建 Python 大数据生态绽放自己的光彩,而作为在项目中以 Python 为主要编程语言的数据挖掘工程师,我很荣幸、也很乐意把这些开源框架逐步应用在我的实际项目中,用心体会她们的卓越,及时发现她们的不足,反馈给社区,为构建 Python 大数据生态,践行自己的一份力量。

此为开篇,后续我会持续更新在实际项目中实践这些优秀开源框架的一些感受和心得,也会把相关数据和代码脱敏后分享出来,兴许会对无意中看到这篇文章的你有点借鉴作用,也许你会开始对 Python 大数据生态感兴趣,谁知道呢……因为未知,所以期待。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
78981
分享
相关文章
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。
中国联通网络资源湖仓一体应用实践
Python 原生爬虫教程:网络爬虫的基本概念和认知
网络爬虫是一种自动抓取互联网信息的程序,广泛应用于搜索引擎、数据采集、新闻聚合和价格监控等领域。其工作流程包括 URL 调度、HTTP 请求、页面下载、解析、数据存储及新 URL 发现。Python 因其丰富的库(如 requests、BeautifulSoup、Scrapy)和简洁语法成为爬虫开发的首选语言。然而,在使用爬虫时需注意法律与道德问题,例如遵守 robots.txt 规则、控制请求频率以及合法使用数据,以确保爬虫技术健康有序发展。
208 31
GPT-4o测评准确率竟不到1%!BrowseComp:OpenAI开源AI代理评测新基准,1266道高难度网络检索问题
OpenAI最新开源的BrowseComp基准包含1266个高难度网络检索问题,覆盖影视、科技、艺术等九大领域,其最新Deep Research模型以51.5%准确率展现复杂信息整合能力,为AI代理的浏览能力评估建立新标准。
101 4
GPT-4o测评准确率竟不到1%!BrowseComp:OpenAI开源AI代理评测新基准,1266道高难度网络检索问题
基于 Python 哈希表算法的局域网网络监控工具:实现高效数据管理的核心技术
在当下数字化办公的环境中,局域网网络监控工具已成为保障企业网络安全、确保其高效运行的核心手段。此类工具通过对网络数据的收集、分析与管理,赋予企业实时洞察网络活动的能力。而在其运行机制背后,数据结构与算法发挥着关键作用。本文聚焦于 PHP 语言中的哈希表算法,深入探究其在局域网网络监控工具中的应用方式及所具备的优势。
75 7
利用Python获取网络数据的技巧
抓起你的Python魔杖,我们一起进入了网络之海,捕捉那些悠游在网络中的数据鱼,想一想不同的网络资源,是不是都像数不尽的海洋生物,我们要做的,就是像一个优秀的渔民一样,找到他们,把它们捕获,然后用他们制作出种种美味。 **1. 打开魔法之门:请求包** 要抓鱼,首先需要一个鱼网。在Python的世界里,我们就是通过所谓的“请求包”来发送“抓鱼”的请求。requests是Python中常用的发送HTTP请求的库,用它可以方便地与网络上的资源进行交互。所谓的GET,POST,DELETE,还有PUT,这些听起来像偶像歌曲一样的单词,其实就是我们鱼网的不同方式。 简单用法如下: ``` im
64 14
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
害虫识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了12种常见的害虫种类数据集【"蚂蚁(ants)", "蜜蜂(bees)", "甲虫(beetle)", "毛虫(catterpillar)", "蚯蚓(earthworms)", "蜚蠊(earwig)", "蚱蜢(grasshopper)", "飞蛾(moth)", "鼻涕虫(slug)", "蜗牛(snail)", "黄蜂(wasp)", "象鼻虫(weevil)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Djan
173 1
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了9种常见的蘑菇种类数据集【"香菇(Agaricus)", "毒鹅膏菌(Amanita)", "牛肝菌(Boletus)", "网状菌(Cortinarius)", "毒镰孢(Entoloma)", "湿孢菌(Hygrocybe)", "乳菇(Lactarius)", "红菇(Russula)", "松茸(Suillus)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,
211 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
领先AI企业经验谈:探究AI分布式推理网络架构实践
当前,AI行业正处于快速发展的关键时期。继DeepSeek大放异彩之后,又一款备受瞩目的AI智能体产品Manus横空出世。Manus具备独立思考、规划和执行复杂任务的能力,其多智能体架构能够自主调用工具。在GAIA基准测试中,Manus的性能超越了OpenAI同层次的大模型,展现出卓越的技术实力。
阿里云CDN:全球加速网络的实践创新与价值解析
在数字化浪潮下,用户体验成为企业竞争力的核心。阿里云CDN凭借技术创新与全球化布局,提供高效稳定的加速解决方案。其三层优化体系(智能调度、缓存策略、安全防护)确保低延迟和高命中率,覆盖2800+全球节点,支持电商、教育、游戏等行业,帮助企业节省带宽成本,提升加载速度和安全性。未来,阿里云CDN将继续引领内容分发的行业标准。
180 7
Python 高级编程与实战:深入理解网络编程与异步IO
在前几篇文章中,我们探讨了 Python 的基础语法、面向对象编程、函数式编程、元编程、性能优化、调试技巧、数据科学、机器学习、Web 开发和 API 设计。本文将深入探讨 Python 在网络编程和异步IO中的应用,并通过实战项目帮助你掌握这些技术。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等