写在最前面
目前计划在网络安全领域的开源威胁情报挖掘展开进一步实验和论文写作，欢迎交流。
本文基于2022年1月《信息安全学报》崔琳等老师的论文 基于开源信息平台的威胁情报挖掘综述 进行梳理了解。
该论文为我们提供了一个全面的开源威胁情报挖掘框架，涵盖了该领域的关键方向、技术应用及未来趋势。
注意：这篇论文发布时间稍早，最前沿的视角需要之后再去补充阅读其他相关论文。
关键词：开源威胁情报;识别提取;融合评价;关联分析
这篇综述的内容相当扎实，所以预期分几次完成阅读。
前文：
【开源威胁情报挖掘1】引言 + 开源威胁情报挖掘框架 + 开源威胁情报采集与识别提取
本文为综述的第五、六章节，将梳理开源威胁情报挖掘技术的开源威胁情报融合评价。
详细论述开源威胁情报关联分析的三个核心应用场景，为网络安全专业人士和研究者提供了全面的理解和参考。这些分析方法在提高威胁检测和响应能力方面具有重要价值。
有助于新入领域的研究者全面理解开源威胁情报挖掘，并为细分方向的研究者提供参考，以突破现有研究的局限性。
5. 开源威胁情报关联分析
开源威胁情报关联分析是网络安全领域的一个关键方向，综合运用 Kill Chain、钻石或异构信息网络等模型, 结合开源威胁情报信息, 对实时攻击流量数据进行深度关联、碰撞、分析等操作, 以期发现一些潜在的攻击行为, 进而推理挖掘揭示出隐含的攻击链条等高价值威胁信息，以发现、分析并揭示潜在的攻击行为和高价值威胁信息。
专注于开源威胁情报关联分析的三个核心应用场景：网络狩猎、态势感知、恶意检测。
- 网络狩猎：网络狩猎通常采用威胁情报驱动的检测方法，主动搜索网络流量数据，以便检测可能逃避现有安全防御措施的威胁。该领域涉及图计算、模式匹配、领域特定语言等技术理论，旨在通过主动搜索和分析网络流量，提前发现并阻止潜在威胁。
- 态势感知：态势感知基于大数据视角，依托威胁情报，从全局角度提升对安全威胁的识别、理解、响应和处置能力。该领域的研究近期开始引入博弈理论，以分析安全态势的发展和变化，从而更有效地预测和应对恶意攻击行为。
- 恶意检测：恶意检测利用开源威胁情报辅助检测目标系统内的恶意代码或程序。常见的方法包括从开源威胁情报中提取检测知识，结合恶意软件的静态和动态特征数据，构建网络安全知识图谱（Cybersecurity Knowledge Graph, CKG），用于深入分析和挖掘恶意软件行为。
5.1 开源威胁情报网络狩猎：技术、方法和最新研究
网络狩猎是一种主动和反复搜索网络和数据的方法，用于筛选可能逃避现有安全防御措施的威胁攻击。这一领域的研究成果显示，开源威胁情报可以有效支持威胁行为的狩猎。
威胁狩猎[75]一般是采用人工分析和机器辅助的方法, 针对网络和数据进行主动和反复的搜索, 从而筛选出可能逃避现有安全防御措施的威胁攻击。
与传统检测方式相比, 网络狩猎拓展了威胁检测方式, 可充分利用第三方威胁情报信息来提升对新型威胁的检测能力, 具有明确的目的性, 包括：
1、缩减威胁目标的狩猎范围,
2、显著减少威胁检测时间,
3、搜索发现未知威胁等。
以下是一些代表性的研究成果：
- EFFHUNTER (文献76): 提出了一个使用OSCTI搜索网络威胁的系统，它通过无监督、轻量级和精确的NLP管道从非结构化OSCTI文本中提取结构化威胁行为。
- 自动化黑客论坛分析 (文献15): 提出了一种自动识别黑客论坛、IRC频道和Cardingshop内潜在威胁的方法，通过机器学习和信息检索技术相结合识别潜在网络威胁。
- 多暗网数据源OSCTI识别提取 (文献77): 设计实现了针对多暗网数据源的OSCTI识别提取工具，以实现快速集成、跨数据集目标分析和威胁关联检测。
- MANTIS (文献78): 开发了新威胁情报平台，使用基于属性图的相似性算法，将不同的威胁数据形式统一表示，方便安全分析师识别潜在威胁。
- 网络威胁狩猎系统Poirot (文献79): 依托图挖掘关联技术，将威胁情报和各类日志进行关联分析，从攻击者和被控主机视角呈现威胁全貌。
应用实例和未来方向
开源威胁情报网络狩猎的应用实例包括但不限于实时识别威胁主题(文献81)、OSCTI威胁类型识别(文献82)、黑客社区恶意资产分析(文献83)，以及基于威胁情报知识图谱的主动威胁发现(文献84)。
网络狩猎领域未来的研究方向可能集中在进一步优化威胁情报的自动化提取和分析方法，以及将这些信息更有效地整合到现有的安全防御框架中。
5.2 开源威胁情报态势感知
开源威胁情报态势感知是一种基于大数据分析的安全防御方法，目的是全面掌握和响应系统安全威胁。本文梳理了在此领域的关键技术和最新研究成果。
关键技术和方法
开源威胁情报态势感知技术的核心在于有效利用开源情报信息，以便快速感知网络威胁。以下是一些代表性的研究成果：
- 使用开源情报感知APT攻击 (文献85): Husari等人提出了一种方法，利用非结构化信息（如博客、邮件和社交媒体）构建TTP链，以感知APT攻击。
- 基于DNS流量和开源情报的APT探测 (文献86): 上海大学的李等人提出了一种方法，结合DNS流量和开源威胁情报测算系统DNS域名的风险值。
- 探测和预测APT攻击 (文献87): 温等人综合运用情报收集、网络安全监控、基于知识的推理等手段，有效探测和预测APT攻击。
应用实例和未来方向
态势感知的应用实例包括集成OSCTI的信息安全管理系统 (文献88)、监视工业4.0网络威胁 (文献89)、基于博弈论的态势感知 (文献90-94)。这些应用展示了开源威胁情报在安全态势感知中的多样化使用。
未来方向可能包括进一步优化多语言威胁情报处理，如Ranade等人提出的跨语言翻译系统 (文献95)，以及更精确地集成开源情报信息到现有安全防御框架中。
5.3 开源威胁情报恶意检测
开源威胁情报恶意检测是一种使用开源情报信息来发现和防御网络攻击的方法。本文梳理了在此领域的关键技术和最新研究成果。
关键技术和方法
以下是一些在开源威胁情报恶意检测领域的代表性研究成果：
- 早期预警系统 (文献96): Gandotra等人设计了一个框架，用于分析、识别和预测恶意软件，并生成可供安全机构共享的威胁情报。
- 恶意软件机器学习分类器 (文献97): 胡等人提出了一种基于开源威胁情报的分类器，能够从恶意软件中提取多方面内容特征，如指令序列和字符串。
- 网络安全知识图谱 (文献98): Piplai等人提出了一个方法，将开源威胁情报中的知识与沙箱中捕获的恶意软件行为数据结合起来，构建知识图谱。
- 特征集自动生成 (文献99): 来自马里兰大学的团队提出了FeatureSmith，这是一种从安全会议论文内容中自动提取特征集的方法。
- 恶意URL检测系统 (文献100): 中国科学院大学的汪鑫等人开发了一个基于开源威胁情报平台的系统，用于提取URL的结构特征和敏感词特征。
- XSS攻击检测方法 (文献101): 提出了一种结合贝叶斯网络域内知识和开源威胁情报的方法，用于检测XSS攻击。
应用实例和未来方向
开源威胁情报恶意检测的应用涉及恶意软件和URL检测，数字取证等领域。例如，Serketzis等人(文献102-103)利用开源威胁情报提高数字取证效率。
未来方向可能包括进一步融合机器学习技术与开源威胁情报，提升恶意软件和网络攻击的检测精度，并开发更多自动化工具来加快响应时间和提高效率。
5.4 总结与对比
开源威胁情报关联分析是网络安全领域的一个重要研究方向，涉及网络狩猎、态势感知和恶意检测三个核心应用场景。本文将详细探讨这三个方向的最新研究进展，并进行对比分析。
- 网络狩猎
网络狩猎侧重于搜寻未知、新型或变异的网络攻击威胁。这种方法通常采用机器学习和NLP技术，通过主动搜索来检测可能逃避现有安全防御措施的攻击目标。 - 态势感知
态势感知则更注重提升对全局威胁形势的把握，包括决策支持、威胁分类和攻击预测。这一方向通常应用深度学习技术，以全局视角分析和预测安全威胁。 - 恶意检测
恶意检测专注于识别可能对目标资产造成实质性侵害的恶意实体，如恶意软件、URL和恶意活动。这通常涉及对恶意软件或URL特征的提取和分析。 - 技术对比
- 网络狩猎: 通常结合数据处理技术和特定领域查询语言。
- 态势感知: 频繁使用深度学习技术，以及博弈论等理论模型。
- 恶意检测: 侧重于使用开源情报来提取恶意实体的特征，结合机器学习和知识图谱技术。
开源威胁情报联合分析相关研究分类总结对比
如下表 4 所示, 表中每一行代表一项研究工作：
第 1 列代表相关开源威胁情报联合分析研究被分类的三个主要方向;
第 3 列为每个研究工作的具体技术应用场景;
第 4 列为该项研究为实现任务所应用的具体技术方法, 主要从数据处理, 关系模型构建, 检测方法以及数据存储方向进行归纳分析;
第 5 列为性能评估;
第 6 列为通过总结优缺点对该项研究工作的评价。
未来发展
随着对关键基础设施的网络攻击日趋复杂化，开源威胁情报在关联分析中的作用愈发重要。需要在现有研究的基础上，投入更多资源进行深入开发和应用探索。
6 总结与展望
开源威胁情报（OSCTI）作为网络安全领域的一个重要部分，提供了丰富、多样且快速响应的信息资源，有助于提高网络攻击的检测、识别和响应处理能力。本文深入分析了开源威胁情报挖掘的当前研究现状，挑战和未来趋势。
开源威胁情报挖掘的现状
开源威胁情报挖掘涉及信息采集、质量评价和关联应用等多个关键领域，当前的研究工作表明，从信息源的拓展、数据质量评价到安全防御应用价值等方面，开源威胁情报挖掘正快速发展。然而，存在的局限性也为未来的发展带来了机遇和挑战。
主要挑战与未来展望
- 统一信息模型和框架： 当前研究多局限于特定社区或平台，缺乏全局和共性角度的基础性研究。未来需构建面向学术研究的统一信息模型和框架，促进领域的长期发展。
从已有开源情报挖掘相关工作分析中不难看出，很多开源情报挖掘问题都可通过应用命名实体识别技术或其他人工智能技术，如正则表达式匹配，BiLSTM+CRF等来进行实现，不同的开源情报平台，如社交网络、技术博客或研究报告等都完全可以共享同一个信息模型和基础算法。如何构建形成面向学术研究的统一信息模型和框架是一个重要问题。 - 数据投毒的风险评估： 开源平台的开放性导致信息质量易受干扰。需要研究有效的风险分析与评估模型，特别是在面对数据投毒等问题时。
- 开发支撑工具： 面向大众的开源情报开发支撑工具的研究，对建立友好的威胁情报生态至关重要。这包括对大规模异构数据的快速处理和统一的威胁数据信息模型的建立。
- 时效性提升： 现有技术多聚焦于特定环节的效率提升。未来应从整体上提升威胁情报的时效性，包括对大规模动态数据的高效处理和激励机制的设计。
总结
开源威胁情报挖掘技术能够有效缓解传统威胁情报的局限性，受到学术界和工业界的广泛关注。本文的分析和讨论旨在为威胁情报应用及相关安全领域的研究和实践提供有益的借鉴和启发，促进该领域的健康发展。
