1.引言
广播电视作为党的喉舌,是国家意识形态和思想文化传播的主阵地。安全是广播电视的生命线,需深入实施“安全播出”工程,守住底线、筑牢防线,确保万无一失。《广播电视技术迭代实施方案(2020—2022年)》[1]中要求,推进智慧广电“安全大脑”建设,“利用网络安全威胁情报、安全大数据、人工智能、知识图谱等技术,实现智慧广电网络安全威胁情报分析与汇聚,充分利用国家级的网络安全情报信息,针对广播电视高新视听的技术特点,研制基于安全威胁情报和大数据智能分析的安全技术解决方案,并逐步构建适用于媒体融合发展和智慧广电网络多应用场景的智慧广电安全大脑服务平台”。因此,开展基于智慧广电“安全大脑”的广播电视网络安全防护体系建设研究与应用具有重要意义。
2.智慧广电“安全大脑”架构
2.1总体架构
智慧广电“安全大脑”致力于为智慧广电建设提供智能化安全保障服务。智慧广电“安全大脑”平台主要基于大数据技术,实现对多源异构各类安全数据的综合分析,并结合来自多方的安全威胁情报及安全算法模型,实现对安全事件的事前预测预警、事中协同防控、事后评估改进。同时,通过智能化应急响应、事件处置、重保期防护的弹性增强能力提升智慧广电系统工程的自动化安全运营能力,以实现低成本、高效率的安全保障效果。行业单位可借助智慧广电“安全大脑”实现安全能力提升,实现满足等保2.0标准的安全保障建设。“安全大脑”的核心能力是基于安全大数据分析技术进行安全赋能,具体包括安全大数据收集、安全大数据分析及安全决策。智慧广电“安全大脑”总体架构如图1所示。
图1智慧广电“安全大脑”总体架构
2.2功能架构
智慧广电“安全大脑”功能架构如图2所示,由云端安全大脑平台和本地安全大脑组成。
安全大脑在云端提供查杀、沙箱、分析、知识库、漏洞众包、威胁情报、认证专家、实战靶场、安全培训等多类云端服务,实现本地安全大脑到云端服务的交互。本地“安全大脑”平台支持集成一系列神经元,全视化检测和响应各类威胁,发现各类已知和未知的高级威胁。面对海量信息和数据,大数据计算处理是“安全大脑”进行分析处置的基础。本地“安全大脑”采用先进的大数据处理技术,提供安全全量数据的集中采集、处理、存储、查询、分析等功能。检测分析中心能力是本地“安全大脑”核心能力的重要体现,通过各类特色检测分析引擎,可以从多维度对威胁攻击进行全方位的检测和分析。安全运营工作涉及安全的方方面面,既包括安全状态的监控预警、威胁攻击的分析溯源和响应处置,也包括资产风险评估、仪表盘安全数据监控、自动化报告,以及知识库的管理维护、安全体系的评估和加固,只有将这些方面进行统一结合,才能真正提高安全运营能力。在“安全大脑”赋能下建立安全运营体系,实现评估、改进,监测、分析,响应、止损,恢复、复盘全过程。
图2智慧广电“安全大脑”功能架构
3.智慧广电“安全大脑”关键技术研究
《基于广电安全运营大脑的县级融媒体中心网络安全等保2.0合规建设研究》[2]一文,已对“安全大脑”的大数据分析及威胁算法模型、数据收集与状态分析、机器学习模型与威胁检测、融合安全情报与共享安全信息、安全闭环能力及安全运营能力关键技术开展了研究,本文将继续对以下关键技术开展研究。
3.1多源异构海量安全大数据处理技术
安全运营分析的基础是大数据存储和计算能力,为了满足面向跨中心、跨层级的多源数据整合分析,需要强大的大数据底座提供存储和计算能力。采集器负责数据接入,包括异构数据源对接、范式化、数据清洗、字段映射、字段脱敏、加密、数据转发、异构存储对接等。分布式采集器使用SEDA架构,以充分利用机器的Network IO、CPU、Disk IO等资源。数据存储方面为了长期海量数据分析需要,设计热、温数据分层存储技术路线,用尽可能低成本的设备提供更高的查询性能。数据采集和处理过程如图3所示。
图3数据采集和处理过程
3.2本地和全局关联分析优化技术
关联分析与检测是安全运营平台的核心功能,要实时处理运营商级别的数据量(千亿条/天),并做超千种安全分析场景的检测,同时要兼容投入产出比,对关联分析引擎选择了基于流式和批式一体化分析的CEP+自研引擎技术的研究。检测规则转译为CEP分析语句,通过语法解析步骤拆分为语法树。分析语句在进入物理状态机执行前进行两种优化以提高性能。
3.2.1逻辑计划和优化
(1)使用类似SQL的优化流程,依赖大量启发式规则来重新安排逻辑计划,以提升效率。
(2)条件前置,将CEP分析过滤语句前置,筛除不符合条件的数据。
(3)多CEP语句的条件合并,将有相似条件的CEP语句合并后作为过滤项单次筛选较大范围数据,减少过滤语句执行次数。
(4)字段裁剪,CEP语句不使用的字段就不进引擎。
3.2.2物理计划和优化
(1)对重复统计(每分钟N次)只存ID,不存原始数据。
(2)支持概率数据结构做近似统计,大幅度提升速度降低内存需求。
(3)高速JSON解析。
(4)TI信息匹配用内存缓存。
(5)高速无锁化Ring Buffer事件缓存队列。
(6)低开销调整乱序事件。通过两类不同阶段的优化技术,大幅度减少进物理执行的日志数量,也能让状态机状态数变小(减小内存消耗,提升状态机的速度),进而保障告警在高吞吐情况下的及时性。
检测规则转译为CEP分析语句,通过语法解析步骤拆分为语法树。与本地关联分析不同的是在全局关联分析场景下,逻辑计划和优化组件会根据关联规则的属性进行判断。如果关联规则是本地的,走本地关联分析场景流程;如果关联规则是全局的,该组件会把CEP语句分发到上级和下级中心分别执行。上级和下级的物理计划和优化组件会统计本地符合规则检测条件的数据并各自生成告警候选,然后所有节点的告警候选会统一汇总到上级的候选合并模块。候选合并模块会根据全局规则的条件进行数据的重新计算以便生成全局视角下的告警。
通过特殊优化设计的全局关联分析机制,如图4所示,从功能上把原本单机支持的实时分析无缝跃升为跨中心实时分析;性能上把分析逻辑下推至分中心执行,减少上推数据量,降低总部处理压力进而提高性能,使海量数据下全局关联的落地性成为可能。
图 4 全局关联分析场景
3.3多级告警收敛聚合技术
采用多种告警聚合的手段来达到有效降低告警数量,同时可以实现跨设备、跨攻击阶段、跨攻击链的告警聚合效果,将告警聚合成为安全事件。安全运营平台通过多阶段把控告警生成的全过程,通过自循环逐步提高告警精准度。
3.3.1数据源可信度评估
数据源质量是精准分析的基础,大数据平台通过数据清洗把多源告警数据进行收集和预处理,同时对数据源做评价。如有深层检测能力的IPS产生的告警比状态检测防火墙产生告警的可置信度高,断点检测对用户行为的数据比流量检测输出对应网络行为的可置信度高。对数据源的置信度进行评估,从底层解决输入可靠性问题就可大幅提高告警有效性。
3.3.2场景化聚合指标
对于不同的安全场景需要不同的聚合指标维度,在进行安全模型配置时,系统可以指定不同的聚合指标来满足场景需要。例如,对于由外向内的攻击(扫描探测、DDoS攻击等),可以使用根据基于目的IP和告警标题进行告警聚合,这样可以把大量不同源地址攻击相同目的地址并且攻击类型相同的告警聚合成为一个告警;由内向外和由内向内的攻击(病毒扩散、横向移动等),可以使用根据基于源IP和告警内容进行告警聚合,这样可以把大量同一个源地址不同目的地址攻击并且攻击内容相同的告警聚合成为一个告警。
3.3.3多维关联提高告警有效性
一次深入攻击行为往往会覆盖攻击链条的多个阶段,同时也会在对应的防御和检测设备上触发对应的安全告警,关联分析是在大规模数据集中寻找隐含关系的任务。这些关系可以有2种形式:频繁项集、关联规则。频繁项集是经常出现在一起的物品的集合,关联规则暗示两种物品之间可能存在很强的关系。关联分析提供基于特征匹配、统计分析、时序关联、非时序关联、互斥关联,基于攻击链关联,基于情报、资产上下文关联、基线计算和季节性环比等手段来有效关联多种设备、多个安全告警和多个阶段,通过丰富且灵活配置的关联分析模型来应对该挑战。
3.3.4自动交叉验证,提高告警准确性
安全关联模型通过对网络流量数据、资产数据、告警数据等原始数据的采集与范式化解析成为基础流式事件,运用分布式高性能流式分析引擎,与日志、安全上下文进行基于流量异常行为的安全场景模型的流式检测匹配,准确发现流量异常事件,快速生成告警。实现统一收集、集中存储,消除各安全系统孤立情况,从海量汇总信息中屏蔽大量无用信息,生成高置信的有效告警。
安全聚合模型则高于安全关联模型生成的有效告警,它以有效告警为数据源,通过规则引擎方式进行数据分析建模。不同于一般的模型以某种规则为判断条件,安全场景模型提供了基于逻辑判断的脚本语言来模拟安全分析人员的日常分析过程,达到多源数据自动交叉验证的目的,进而将告警的数量实现数量级的聚合和降噪。通过安全场景模型可实现对于安全事件的误报排除、事件源推论、安全事件级别重新定义等效能,做到安全事件的横向关联和纵向关联分析。安全聚合模型的实现逻辑如图5所示。
图 5 安全聚合模型
通过关联分析来覆盖多种复杂安全分析情况实现第一次告警降噪;通过事件聚合自动化验证告警的上下文,并将多个告警根据杀伤链聚合还原攻击过程,进一步减少告警数量并聚合成为少量的安全事件,实现第二次告警降噪。2次告警降噪后与原始告警数量相比可以减少2~3个数量级。
3.4自动化无损安全防御有效性验证技术
(1)模拟从互联网侧发起对Web应用的南北向攻击,需要包含边界常见的安全场景,如网站模拟攻击、网络远程漏洞模拟攻击、黑客工具模拟等,基于不同攻击方法与攻击级别,评估边界网络安全设备的安全能力。
(2)模拟内网中主机之间的东西向网络攻击行为,需要包含横向移动攻击模拟、常用中间件漏洞利用、内网黑客工具等,通过模拟网络攻击,检测评估内网网络安全设备的安全能力。
(3)模拟在终端上执行各种恶意行为,需要包含恶意执行、驻留、提权、对抗、横向移动和命令控制等一系列用例的检测,从而评估终端安全设备的安全能力。
(4)对于邮件网关的测试,由平台本地服务下发邮件网关检测任务,平台客户端发送通知,平台云端邮件服务器发送钓鱼邮件给工作人员,若目标人员未接收到邮件,则表明邮件网关拦截成功。
上述安全场景皆可通过平台任务调度实现周期性、自动化的评估,同时会自动生成评估报告并与ATT&CK技战术进行映射和分析,为安全分析人员提供详尽的评估结果和差距分析报告。报告中包含如下内容:整体防护率、检测率、阻断率,被评估安全设备检测情况,技战术画像图,改进建议,评估结果详情。
以上四大类场景,不仅可以检测企业不同层面防御有效性,也可以检测同类型安全设备的防御有效性差异。另外,可以通过7×24小时持续化评估,常态化监测安全设备的工作情况,一旦发生异常,会立即在评估结果中体现。
3.5攻防知识驱动的主动检测和靶向验证技术
3.5.1主动检测方面
平台内含并在线或离线动态更新攻防知识,在安全分析时可以对攻击技术、攻击步骤、关联关系进行攻击画像、受害者画像和上下文拓线分析。
攻防知识从态势感知和规则运营两个维度主动提升检测能力。
(1)态势感知层面。不仅对每种攻击所使用的技术进行标注和解读,从宏观的视角绘制图谱,将安全告警与攻击技术进行映射关联,定位攻击阶段和所用技术;对某种技术关联到的具体攻击事件进行分析和研究,辅助安全分析人员理解和洞察该攻击事件所处的攻击进展及从技术角度度量威胁程度。在分析研判过程中实现自动化联动协助分析,同时给出了知识热力图让安全分析人员和安全管理人员全面了解当前攻击状态和画像安全态势,从技战术角度审视全网受攻击态势。
(2)运营层面。安全人员参考知识框架,根据热点攻击技术或重点攻击技术结合实际情况主动构建检测模型,指导下一步防御的重点的同时给出该控制点的数据需求、字段要求,摆脱传统分析平台只能被动等待攻击发生时才能发现告警准确性的困境。
3.5.2靶向验证方面
攻防知识体系结合自动化无损安全防御有效性验证技术,可以针对防范弱点、重点技术、定向场景等在真实攻击未产生前对安全防御体系的数据采集种类、字段正确性、安全产品定向防御有效性、安全运营平台策略配置正确性、响应流程完整性等开展靶向性的验证。根据技战术知识中存在的杀伤链场景(APT攻击、恶意软件攻击、渗透攻击)和单点的攻击过程进行高仿真度模拟,在有效性验证模拟系统中运行,以实战化模拟攻击来进行安全能力的衡量。
4.应用与总结
智慧广电“安全大脑”方案针对广播电视行业特点,研制了基于安全威胁情报和大数据智能分析的安全防护和体系方案,并在广东广播电视台进行了试点应用,有效保障了其在中国共产党成立100周年重大活动中的网络安全,并在2021年国家广播电视总局组织的实网攻防演习中通过了考验。通过智慧广电“安全大脑”的技术赋能,进一步提升了广东广播电视台业务系统的网络安全防护能力。 智慧广电“安全大脑”建立安全信息资源共享机制,建立集“监测发现、情报侦察、快速处置、追踪溯源、安全防范、精确打击”为一体的智慧广电安全保障体系,能实质性推进实现政府部门、科研机构、运营单位、厂商和安全企业等各方之间的网络安全信息共享;行业运营单位可借助智慧广电“安全大脑”实现安全能力提升,预防发生危及社会稳定和公共利益的网络安全事件。智慧广电“安全大脑”基于安全大数据分析技术进行安全赋能,可为推动社会主义文化繁荣兴盛的新时代广播电视行业的关键信息基础设施安全可控提供重要保障。