pache Hadoop 今年10岁了
这个以处理大量数据的实验做为开端的开源软件框架，已经稳步成长为以前所未有的方式解锁信息价值的成熟企业解决方案。今天，企业运用Hadoop解决各种各样的问题，从改善人类健康，到挖掘最大金融投资潜力，等等等等。10年间，业内见证了一个以Hadoop为中心的庞大生态系统的诞生和快速发展。
现代企业场景里，安全和风险从业者迅速认识到，数据洞见是理解、识别和解决企业威胁的关键。
我们开始意识到，网络安全，从很多方面上讲，就是个数据分析问题。正是由于这个原因，Hadoop，携其对海量数据的吸收、处理和分析能力，被广泛采纳来解决我们面临的各种挑战。
安全方面，Hadoop让用户可以圈住他们企业产出的所有数据。他们对网络、用户、终端乃至物联网(IoT)产生的信息都有完全的访问权——正是生产对可疑行为、异常和其他威胁指标的分析结果所需的那些东西。除此之外，Hadoop还能让企业可以利用机器学习和各种灵活的即插即用程序，无论它们来自专利产品还是开源市场。有了Hadoop，你就有了足以应付当前和新兴挑战的解决方案。
情况并不总是这样的。10年前，安全社区中很多人都觉得安全信息和事件管理(SIEM)，以及其他遗留产品就足够了。我们以为这些就能提供生产必要分析结果所需的全部相关信息，可以应对网络安全问题。但随着云、移动、分布式计算和IoT的飞速发展，我们明白了，这些系统根本不够强大到能处理所有动态数据源，也无法应付膨胀至今的巨大规模。
SIEM和其他遗留解决方案，本就不是为海量数据设计的;分析师想紧跟对手发展速度，确保有效检测能力，用这些遗留系统也肯定是获取不到所需全部分析结果或上下文的。
安全人员受制于此类工具提供的数据和分析时，解决风险的可能做法也同样被限制了。受限的功能，让我们这些负责公司防御的人，只能找到商用、已知和不怎么高级的攻击。随着Hadoop的出现，可用安全用例一下子扩展了许多。
多亏有了更大的数据集和更宽泛的可用分析技术，我们可以解答关于攻击、威胁和风险的问题了。有了Hadoop，企业可以获得用户行为分析以识别和缓解内部人威胁，标定网络中的可疑横向移动，甚至跨部门共享威胁情报。
安全人员职业生涯总是围绕着3个问题：更快的事件检测，加强事件响应，以及理解这些情况对企业的影响。有了Hadoop，所有这三点都成为了可能，因为，从设计上，Hadoop就提供对信息、分析和上下文理解的访问。
安全社区不再受单一应用风险视角的限制。Hadoop的灵活性，让团队可以获取问题的解答，而不是只能看到各安全应用和系统吐出的不同观点。值得指出的是，Hadoop处在集成专利和开源安全技术以产出全面网络安全防御的前沿。比如说，在开源方面，开放网络洞见(ONI)项目，便是采用开放数据模型和大数据分析，向Hadoop平台引入高级威胁检测解决方案的首批项目之一。
以上便是Hadoop何以快速成为网络安全工具不二之选的总体介绍。该平台还有很多实际应用，其开放性也让网络安全人员得以引入可以减少整体风险和暴露面的一系列功能。当然，这些，又是另一个值得探讨的话题了。
作者：nana
来源：51CTO
