本文讲的是网络流量分析神器：SecBI ，网络流量分析工具早已广为使用，可提升企业网络效率，定位未使用的容量和带宽，消除瓶颈。最近此类工具也被列入了网络安全工具范畴。这很容易理解，因为除了内部人威胁，攻击都是由外部因素发起并最终控制的。内部的恶意软件与其外部控制者之间的通信，可被流量分析工具捕获。
问题在于，虽然网络安全领域使用流量分析的逻辑很坚实，现实中却有点不一样。首先，即便是中小企业，每月产生的流量日志也有30-40亿条。没有计算机辅助的话，谁都筛不了这庞大的数据量，找不出任何有用的东西。其次，捕获所有数据历来需要在各网关处安装流量探针。对有分公司或远程办公的公司来说，需要安装的探针数量很可能过多。而且即便如此，仍会有些流量绕过这些网关。
SecBI旨在消除网络安全领域中使用流量分析的2个问题：获得可行性威胁情报所需的大量数据处理；对网络捕获硬件的依赖。
他们的解决方法是，将分析器作为可运行在企业内部和云端的软件模块部署。
该软件仅查看日志文件，所以无需任何网络流量探针、客户端代理，或除常规日志文件以外的任何东西。然后，软件用精细校准的算法消化日志中的数十亿个事件，查找与正在进行的攻击或高级持续性威胁(APT)相关的模式。该软件可按现收现付模式部署，用户基于每天所需处理的日志文件数据量付款。
为测试SecBI，我们先从本地安装的版本开始，对测试网络持续收集了几个月的系统日志文件数据。各种恶意软件和APT被植入到测试网络中产生可查数据。
主控制台界面显示，SecBI已发现测试网络中包含了2555个事件的一起活跃攻击。你可能会认为，这么多事件，分析师应该很容易就将之标红了吧。然而，仔细审查单个条目就会发现，这是一个移动非常缓慢且在躲避标准检测的隐藏威胁。
恶意软件从测试网络发出的ping命令走向不同URL。这些URL都非常长，明显是机器生成的。但其引用主机被屏蔽掉了。如果只看单个事件，分析师可能会认为是YouTube或雅虎或谷歌把用户带到了长字符串表示的地址——这种情况时有发生。主机名同样是随机的，而且只使用一次，不会被基于前例的威胁情报馈送绊住。
出站流量也是随机散落分布在2个月的时间段上。该恶意软件极少进行文件传输，总共只发出了2MB数据，收取了7MB。只有非常警觉，或者说超级幸运的分析师，才可能多少联系起一些节点，认为出事了。但该少量又缓慢的方法，正是APT得以长期隐身在网络内部的原因，尤其是非常大型的APT，平均潜藏数月乃至整年才被发现。很多APT都只在进行大量数据渗漏的时候才露馅儿，这也是他们整个攻击的最终目标，但到了那个时候，一切都晚了。
不过，SecBI的设计目的，就是为了拼凑这些看起来无害又随机的事件，呈现出网络内真正进行着什么。方法就是，用算法筛查这数十亿条日志事件，查找其中模式。SecBI情报检查很多因素，包括URL中的重复结构、每个外连请求的时间、事件频率、URL是否机器产生、真实或屏幕掉的引用页、进出网络的流量类型。
测试APT那看起来随机的URL字符串，其实也没有那么随机。SecBI确定出了该随机性中的某个模式。该恶意软件作者还用同一个轮转算法屏蔽引用主机。其他诡诈的事也没少做，比如总是间隔3小时发出2个ping命令，然后消停很长一段时间再重复此行为。
有了这个层次上的数据，SecBI程序成功筛查了整个系统日志文件，定位出符合上述任一模式的2000多个其他事件。然后，SecBI将其收集到的数据汇编进一幅图表中，展示随时间进程网络中到底发生了什么，连带所有涉及到的客户也一并呈现。
SecBI软件呈现攻击证据的简洁性令人惊讶。任意单个，甚或几个独立事件，真的看起来特别可疑吗？我们谈论可是日志文件数十亿行记录里混杂的几个URL。这其中的差别，就像面对一堆随机散乱的字词，和直接看一篇完整可读的文章一样。
一旦将所有事件按时序编撰整理好，作为管理员，我们有几个选择。首先，我们可以将报告中所有东西都标注为良性的。或许奇怪URL是公司某些特殊程序的一部分。那么，将之设置成“非威胁”，就可使SecBI取消对它的关注。这些过程仍将被监测，只是不再产生警报——除非模式发生了极大改变，这就有可能是新入侵的指征了。
更可能的情况是，管理员想将报告中的每样东西都标成恶意的。这么做相当于向SecBI软件确认它确实发现了攻击的证据。大多数管理员之后便会开始断开被感染主机的连接，并进行系统清理，根除威胁。SecBI将继续监视，只要理应清洁的网络突然开始按同样的恶意模式发送数据，就会再次报警。这就像是一种确认，要么一切均已修复，要么还需做更多工作。
流量监视可作为对付APT和隐秘恶意软件的绝佳工具，因为最高级的威胁也需要不时联系其主机以获得更多指令。攻击者将这些通信隐身在大多数网络都会有的数十亿其他事件中是相当容易的。SecBI可揭穿这些隐藏威胁，补全网络安全团队视野，从已收集到的庞大混乱的系统日志文件中理出有序通路。
原文发布时间为：八月 15, 2017
本文作者：nana
本文来自云栖社区合作伙伴安全牛，了解相关信息可以关注安全牛。
原文链接：http://www.aqniu.com/tools-tech/27422.html
