网络犯罪和其他恶意活动的增加正在促使企业部署比以往任何时候都更多的安全控制以及收集更多的数据。现在，企业开始将大数据分析技术应用到安全监控中，试图通过范围更广更深入的分析来保护宝贵的公司资源。大数据安全分析技术部分利用了大数据的可扩展性，并结合了高级分析和安全事件与事故管理系统(SIEM)。
大数据安全分析适合很多用例，但并不适合所有用例。例如，我们应该考虑一下检测和阻止高级持续性威胁技术面临的挑战。使用这些技术的攻击者可能会采用慢节奏、低能见度的攻击模式来逃避检测，而传统的日志记录和监控技术可能无法检测到这种攻击，因为这种攻击的各个步骤可能在单独的设备执行，跨越很长的时间周期，并且看起来似乎没有关联。扫描日志和网络流量中的可疑活动有时候可能会错过攻击者杀伤链的关键部分，因为它们可能与正常活动的差别不大。而避免遗漏数据的方法之一是尽可能多地收集数据，而这正是大数据安全分析平台中使用的方法。
顾名思义，这种安全分析方法利用了大数据工具和技术，这些工具和技术可收集、分析和管理高速生成的大量数据。这些相同的技术还被用于提高各种产品的效率，从针对流媒体用户的电影推荐系统，到分析车辆性能特性来优化运输效率等。但应用到信息安全领域时，它们也同样有用。
在评估大数据安全分析平台时，一定要考虑以下五个因素，这五个因素是充分发挥大数据分析优势的关键：
• 统一数据管理平台;
• 支持多种数据类型，包括日志、漏洞和流量;
• 可扩展的数据获取;
• 信息安全专用分析工具;
• 合规性报告
总之，这些功能可提供广泛的功能来收集高速生成的大量数据，并且快速分析这些数据，让信息安全专业人员可有效地响应攻击。
第1个因素：统一数据管理平台
统一数据管理平台是大数据安全分析系统的基础;数据管理平台负责存储和查询企业数据。这听起来像是众所周知的已经解决的问题，而不应该是一个重要的特性，但它确实很重要。由于关系数据库无法像分布式NoSQL数据库(例如Cassandra和Accumulo)那样经济高效地扩展，处理大量数据通常需要分布式数据库。不过，NoSQL数据库的可扩展性也有自己的缺点。例如，我们很难部署数据库某些功能的分布式版本，如ACID事务等。
大数据安全分析产品下的数据管理平台需要平衡数据管理功能与成本及可扩展性。该数据库应该能够实时写入新数据，而不会阻止写入。同时，查询应该快速执行以支持对入站安全数据的实时分析。
统一数据管理平台的另一个重要方面是数据集成。
第2个因素：支持多种数据类型
我们通常会从数量、速度和种类来描述大数据。其中安全事件数据的多样性给数据集成带来了很多挑战。
这些事件数据是按不同的细粒度级别来收集。例如，网络数据包是低级别、细粒度数据，而有关管理员密码变更的日志条目则为粗粒度数据。尽管存在明显区别，它们还是可以关联在一起。例如网络数据包可以捕捉有关攻击者到达目标服务器采用的方法的数据，在攻击者获取目标服务器访问权限后，就可以更改管理员密码。
第3个因素：可扩展的数据获取
服务器、端点、网络和其他基础设施组件处于不断变化的状态。很多这些状态变化记录了有用的信息，这些信息应该发送到大数据安全分析平台。假设网络有足够的带宽，那么，最大的风险就是安全分析平台的数据获取组件无法应对入站数据。如果是这样的话，数据可能会丢失，而大数据安全分析平台则会失去价值。
系统可以通过对消息队列中排队数据维持高写入吞吐量，以适应可扩展的数据获取。同时，有些数据库专门用于支持高容量写入，它们采用仅允许附加的方式来写入，数据被附加在日志数据的后面，而不是写入到磁盘的任意块，这可减少了随机写入到磁盘而带来的延迟。或者，数据管理系统可以维持一个队列作为缓冲器，在数据写入到磁盘时保存数据。如果消息激增或者硬件故障减缓写入操作，数据可积累在队列中，直到数据库可以清除写入的积压。
第4个因素：安全分析工具
Hadoop和Spark等大数据平台是通用工具。虽然它们可以有效构建安全工具，但它们本身并不是安全分析工具。分析工具应该可以扩展来满足企业基础设施中生成的数据，这样来看，Hadoop和Spark等工具满足这个标准。此外，安全分析工具应该考虑不同数据类型之间的关系，例如用户、服务器和网络等。
分析师应该能够在抽象层面查询事件数据。例如，分析师应该能够查询使用特定服务器和应用的用户之间的关联，以及这些设备之间的关联。这种查询需要更多图形分析工具，而不是传统数据库中使用的行和列的查询。
第5个因素：合规性报告
合规报告不再是“最好满足”的要求，而是必须满足的要求。很多因合规目的报告的数据元素都涉及安全最佳做法。即使企业不需要维持合规报告，这些报告也可以为企业提供很好的内部监督。
当企业需要提供合规报告，企业需要审查各种大数据安全平台中的报告制度，以确保满足企业的业务需求。
有效部署大数据安全分析平台
大数据安全分析利用了大数据平台的可扩展性，以及安全分析和SIEM工具等的分析功能。对于企业而言，重要的是认识到这两者的特性，以及有效部署大数据安全分析平台所需的五个因素。简单地使用“安全”来重新命名大数据平台或者坚信SIEM可以处理大数据(尽管它并不是为此目的而构建)并不是真正的大数据安全分析平台。
原文发布时间为：2015-12-07
本文来自云栖社区合作伙伴至顶网，了解相关信息可以关注至顶网。
