阿里云的云主机智能纵深防御体系已经在网络入侵检测领域落地,通过对海量网络攻防数据的深度解析与过滤,结合中心化决策系统,实现了高检测率和低误报率,攻击水位下降90%。
面对海量攻击以及不断进化的攻击方式和威胁类型,阿里云如何借助原生的安全优势在主机侧优美的解题,保障千万级云上用户安全?
如何通过智能化设计,将第一轮复杂的威胁分析、检测和处置交给被训练过的机器,将安全自动化效能发挥到极致?
首次揭秘阿里云·云主机智能纵深防御体系的实现逻辑:漏斗型链路,百万台主机应对数十亿级别的海量攻击。
# 1. 传统防御手段在云上常常失效
使用传统防御手段进行云上主机安全防护时,如人工分析网络包和文件并编写规则、封禁IP、行为权限限制等方法,在云上常常失效。
主要原因如下:
- 云上主机数量庞大,人工分析网络包和文件成本过高,很难做到实时监控和分析;
- 云主机覆盖网络、系统、存储多方面能力点,导致攻击维度广、攻击方式多变,单一角度无法构建理想防护方案;
- 云主机业务场景复杂,服务客户众多,安全运营人力有限,造成安全问题响应不及时,时效性差;
- 云上主机运行环境多变,传统防御手段无法满足针对不同环境的安全防护需求;
2. 内生于云基座的原生安全,基因维度的质变
所谓大道至简。云原生安全无法比拟的差异化优势源于云计算核心三大件的能力优势:超强计算、超强存储、弹性网络。安全与云基础设施的内生关系,使得云的技术红利直接塑造了云原生安全技术的本质差异,安全基因突变。
2.1 超强计算力X安全=?
基于阿里云的实时计算、离线计算、图计算平台,人工智能安全算法可以大规模落地,在云上可以做到:
更快的发现风险。毫秒级实时全链路计算,从攻击者发起入侵到企业收到告警最快至3S以内,最大程度缩短攻击发现时间;
更复杂的关联分析风险。传统基于单条规则的日志审计很难发现潜在风险,而在云上超大规模的图计算,可以综合分析不同数据源,进行丰富的上下文关联,从而发现更复杂风险。
更精准的呈现风险。全局视角下的综合分析,可以过滤大量无效告警,精准的抓出最具价值的风险,极大提高安全运维效率。
2.2 超强存储力X安全=?
云上海量主机的网络、文件、行为日志实时全量存储,解决了传统安全数据采集覆盖不足、存储能力有限,只能采集小范围主机日志且仅保留攻击日志进而导致透过攻击无法排查、未知攻击无法防御的难题。在云上可以做到:
更快发现0day漏洞。通过对云上海量日志的实时过滤、关联分析,结合丰富的威胁情报,快速发现0day漏洞及新型利用方式,尤其在大型攻防演练期间,全局分析可以对单点攻防实现降维打击;
更易捕获高级持续性攻击。APT攻击从踩点到扫描,再到资产盘点往往潜伏几个月,通过全量日志分析,更易发现攻击者的活动轨迹,找出异常;
更易还原完整攻击链路。企业每天来源于各类网络侧例如CEN、高速通道、VPC内、NAT、SLB、PublicIP等设备产生了大量的日志,完整覆盖云上各个盲点。
2.3 超弹云网络X安全=?
安全与云网络“本身同根生”的原生关系,使得安全人员可以俯瞰整体网络拓扑,从每天PB级流量中发现异常。
云主机级别的微隔离——最小化攻击单元。
通过云主机防火墙、VPC防火墙实现微隔离,基于Netstat可以看到同一个VPC内主机间的完整链路,一旦发生横向入侵或主动外联可立即采取处置措施。
主机+流量双重视角——最大化发现威胁
流量侧的攻击命令最终会落地到主机侧执行,基于污点传播理论,综合分析主机和流量日志,可以发现主机侧的风险来源于哪条流量,最大化发现威胁并溯源。
3. 风险挖掘“四大能力模块”
基于上述云原生安全能力优势,阿里云·云主机智能纵深防御体系经过多年实践打磨,沉淀四大核心能力模块:
漏斗型智能防御模块
做到多维度流量管控,实现4-7层网络流量智能化判别和恶意加密流量实时防御;分层治理,做到逐级递进的层次检测方法,逐步收敛网络流量、文件攻击的漏误报风险;
多模感知与智能联合决策
对恶意文件攻击通过多模式识别,丰富感知面,并使用联合决策互补提升检测能力;
上下文行为图检测引擎
智能化构建行为威胁图谱,并使用可解释性强化学习生产新型威胁策略,丰富策略库,提升运营效能同时增强风险识别与防护能力;
风险情报库
自动学习异常行为,挖掘高精准恶意指标及其关联的上下文信息和相关指标的攻击者信息,极大提升安全运营分析人员判断风险的能效性。
4. “一纵三横”防护架构
基于上述四大能力模块,构建出网络入侵防御层、恶意文件检测层、行为关联决策层等三层防护架构,并结合风险情报库这一纵深能力,实现主机风险的漏斗型防御。
4.1 网络入侵防御层:“漏斗型”+“千人千面”智能防御
结合网络7层模型,构建IP维度、协议维度、应用维度的多维度防御系统,实现对4-7层网络流量多层次递进式的智能化判决和防御。
- 基于历史流量生成IP+端口+协议维度的智能策略,在IP维度缩小主机在公网的暴露面,拦截阻断海量无效、探测、扫描等第一层面的攻击,实现4-7网络层最小化暴露面。
- 协议交互层,基于海量主机应用和加密流量指纹,构建加密流量指纹库,通过入侵防御系统(IPS)实时对恶意加密流量进行实时化非解密的拦截。
- 应用层,基于站点历史正常访问模式和精细化应用层级结构化数据解析,构建协议、应用级别的白基线,保障应用层级攻击低误报高检出。
4.2 恶意文件检测层:“文件分层治理+多引擎联合决策”
根据黑、白、灰三层文件特性使用多种算法引擎,基于动静结合方式构建攻击感知能力,同时使用多引擎联合决策智能化扩充感知面提升检测精度。模型持续在线沉淀黑白样本,并辅助自动化生产轻量级引擎、图谱相似度聚类实现防御体系不断增强。
通过样本智能化生成轻量级策略引擎,精准检测:基于云上智能算法的强大计算推理能力,分析模型沉淀样本库自动抽取知识蒸馏生成轻量级引擎。轻量级引擎具备检测可解释、检测能力可移植优势。轻量级策略引擎保留云上海量样本知识结构用于检测,使结果可运营可解释,同时萃取云端大规模算力下多引擎联合决策信息,使引擎无需大规模算力支持,可将云上能力快速移植到多环境中,并对大量普式型样本进行精准检测。
云上多引擎联合智能决策,跨维识别:使用机器智能算法对多引擎感知结果融合决策,对单一引擎的感知结果关联决策识别黑、白、灰文件。在轻量级引擎过滤后的文件中进一步识别风险文件,提升风险捕获能力,解决传统单引擎防控面割裂问题,互补提升检测能力。
通过知识图谱深度挖掘,发现高级样本:基于上述两个环境检测识别到的黑白样本,抽取本体构建风险文件知识图谱,对图谱向量化并构建高级样本相似度发现模型,用于进一步识别灰样本中的高级形式恶意文件,此模型可发现更多变形,对抗高级恶意文件(例如为大型攻防演练或挑战赛而生的特殊样本),最大化降低漏报率。
云沙箱行为分析,针对免杀场景:云沙箱依托阿里云神龙架构,在具备高性能仿真的同时,对恶意样本使用的反虚拟化技术具备天然的对抗能力。配合定制的二进制检测探针,可在安全高效的隔离环境中对二进制文件深度分析,识别静态免杀的高级对抗样本。
同时,将发现的高级样本基于智能模型蒸馏算法,抽取知识结构反馈给第一层的轻量级检测引擎,实现强化云上检测能力的闭环链路,目前阿里云安全可以在毫秒级响应风险,运营能效极大提升。
4.3 行为关联决策层:“统一一张图模型”建模理念
对多源异构数据构建上下文行为关联决策体系,在不增加误报的前题下发现未知风险,为云主机提供高级威胁检测、告警溯源、事件聚合能力。
- 构建一张全域而非单点视角下的图模型。图谱检测需要利用图计算连接更多数据,连接的数据越多,意味着特征维度越丰富,分类边界越清晰。阿里云云主机智能纵深防御体系的原生属性可以实现,a.对所有安全攻防数据进行全流程、全链路、全量归集;b.借助云上批计算、流计算、图计算等平台进行统一存储、规范化、计算与治理,从而得出高质量数据;c.通过文本相似性、链路预测等智能算法对关键实体和关系进行抽取,形成一张全域视角下的知识图谱。解决了传统情况下,由于网络拓扑不完整而导致的断链、关联爆炸等问题。目前阿里云安全实时全链路计算小于3s,具备资产图谱、行为图谱、威胁图谱三大类。
- 统一一张图模型赋能安全产品。统一一张图模型已经应用在主机安全产品如云安全中心的实际应用。一个单点异常发生时,会放到整张图中结合上下文进行综合判断分析,从而得出更精准的预测。此外统一一张图模型可以支持单点检测无法覆盖的文件植入过程分析、上下文行为追踪、跨产品多源日志融合分析等场景,支持告警自动化溯源还原入侵链路和告警聚汇事件。目前,阿里云云安全中心告警分析效率提升75%,全链路溯源自动追踪,可视化呈现,相比人工溯源提升90%。
4.4 风险情报库:多源融合,统一建模
依托于阿里云海量攻防数据与计算能力,基于真实攻击源数据实时计算恶意文件、域名、IP、URL,通过主动和被动网络探测能力,站在攻击者视角实时发现对外暴露风险资产。目前阿里云安全威胁图谱具备亿级IP、域名、URL,超8000+威胁标签,准确率高达99%。
多源融合:威胁情报融合来自阿里云安全事件、威胁告警、异常行为和Whois、证书、OSINT等外部数据源,利用大数据分析方法、知识图谱和机器学习的能力从海量数据中提炼威胁指标,同时基于多源数据构建历史行为集合,实施将行为融合到安全知识图谱中,对单个实体构建意图智能分析模型,利用图谱的深度遍历能力实时判定单个实体是否为恶意。
** 统一建模:
**根据威胁情报的内容层次进行分类分级对情报数据模型设计,分为:画像库、风险库、信誉库、拦截库。千亿级日志数据中提取十亿级画像库刻画威胁情报实体行为画像;进一步挖掘亿级信誉库,描述了恶意行为;最终提炼百万级拦截库,用于拦截处置。
云上攻击者发现模型:基于图谱的聚类方法,利用图表示和图聚类多种聚类算法对攻击者行为和组织聚类,发现具有相同攻击手法和组织背景攻击者,实时有效监控云上攻击者活动情况。
5. 云上多场景落地实践,攻击水位下降90%
目前,阿里云的云主机智能纵深防御体系已经在网络入侵检测领域落地,通过对海量网络流量数据的深度解析与过滤,结合中心化决策系统,实现了高检测率和低误报率,攻击水位下降90%。在Gartner发布的2021《Magic Quadrant for Network Firewalls》报告中获得客户high scores评价。
5.1 恶意文件攻击防护场景方面
使用多模感知结合多引擎智能决策对Webshell、脚本、二进制等文件保护,实现了恶意文件攻击的多维度、智能化识别和多端部署精准检出。应用于阿里云安全中心等多款产品中,防护百万级云主机安全,日均检测亿级别文件,发现百万级别可疑文件。
5.2 行为关联决策场景方面
落地云安全中心,为万级用户的百万级线上机器提供高级威胁检测能力,大幅改善之前基于简单行为关联容易产生漏报和误报的风险。在《IDC Market Scape:中国终端安全检测与响应市场2020》中,被评测为终端安全检测与响应(EDR)能力位列第一,居于领导者地位;
5.3 风险情报库方面
为云上产品提供风险资产暴露识别,提升隐匿资产发现能力以及实时自适应资产发现能力;为安全检测、防御、分析溯源和联动分析提供数据能力支撑,能够大幅提升检出率和溯源分析人效。
云主机智能纵深防御体经过阿里云安全场景的打磨和锤炼,已经形成有效稳定的解决方案。未来将在更多主机安全对抗场景,以及不同产品形态如公共云、专有云、混合云等落地应用。