IBM Platform Symphony:功能强大的高效大数据分析平台

ZD至顶网软件频道消息（文/邹大斌）：随着大数据的价值得以验证，越来越多人的企业开始在大数据项目上进行投资，这给传统IT基础设施带来相当的挑战。众所周知，传统IT基础设施大多是为特定应用而构建的，在灵活性和可扩展性上都存在明显不足。在此背景下，人们开始寻找一种更适合大数据分析应用的IT基础设施，而IBM Platform Symphony（以下称Platform Symphony）正是一个可以帮助企业构建上述基础设施的平台软件。

作为一个企业级大数据和分析平台，Platform Symphony的一个核心优势是，它能屏蔽底层基础设施的复杂性，在共享底层基础设施环境的基础上，为上层各个不同的大数据应用提供一个多租户的环境。同时，它还能支持Hadoop应用，允许一些基于Hadoop开发的大数据应用和一些并行计算分析应用，在一个集群或者同一个分布式基础设施环境上运行。

以金融领域常见的交叉货币互换期权价值分析应用为例。为了完成这项工作，用户需要模拟未来一段时间内本币利率、外币利率和外汇汇率的发展趋势，并通过用各种不同的利率组合来计算合约在不同情况下的价值。实践中广泛采用蒙特卡罗路径模拟的方式，采用这种分析方法需要模拟大量的蒙特卡罗路径（模拟的路径越多，其精确度越高），计算量非常大，而且耗时。如何管理集群资源，让其并发地完成多个蒙特卡罗路径的模拟，是一个严峻挑战。通过IBM Platform Symphony构建一个分布式网格计算平台，可以帮助客户快速部署、管理、监控资源，并保证计算的并行化，且没有单点故障以提高可靠性，最终快速获得所需要的结果。

图1

如图1所示，这是将交叉货币互换期权价值分析应用提交给系统后的结果。通过这个管理界面，我们可以看到这个应用之下有多个会话（Sessio，每个会话就是一个任务请求）；点击每个会话可以看到这个会话之下有多少个任务已经在运行，有多少个任务在等待资源分配；点击一个具体任务还可以看到这个任务在哪个机器上运行。对于每个会话、每一个任务都可以随时终止、暂停以及重启，或者对优先级别进行调整。不仅如此，系统还提供了很多各种不同的调度策略来帮助用户实现更高的可靠性，以及根据其服务水平要求来实现这些资源的调度，从而很好地满足各个不同的业务部门和应用的服务水平需求。

图2是交叉货币互换期权价值分析应用的整体配置情况图。基于这些系统管理员可以了解分析应用使用的一些特点，同时也可以基于这些数据找到系统的一个瓶颈，并进行未来的规划，比方究竟需要多少CPU资源，是否需要增加系统内存资源或者增加网络带宽等。

图2

实际上，除了非常方便地调度和管理底层资源以支撑上层的这些专业的大数据分析应用之外，Platform Symphony的优势还在于它对很多开源产品的支持，比如对Spark以及Ipython等的支持和兼容能力，其操作非常简单，而且非常高效。

图3是系统管理员通过Platform Symphony的管理控制台为Sarah_BU这个用户组创建一个Spark 应用实例组，从创建实例组、部署应用实例、到为实例配置所需资源都可以在管理控制台完成，非常简单、直观。

图3

图4是以用户（Sarah）身份进入到管理控制台基于管理员分配的资源进行配置管理，提交Spark任务并对任务进行调度和运行监控，比如，运行时使用了多少计算资源、存储资源等。另外，还可以通过Zeppelin Notebook随时对Spark应用的运行结果进行查询和展现，非常方便。

图4

图5是在Platform Symphony的管理控制台中安装IPython Notebook后，用默认配置启动一个Spark的实例组和IPython，然后提交一个Spark应用。其整个操作都在同一个界面下完成，直观明了。

图5

图6是提交一个新的Spark应用，然后用IPython Notebook对应用结果进行查询。在执行过程中，我们还可以根据需要随时添加新的用户进来，让他可以使用IPython Notebook对Spark运行结果进行查询和分析。

图6

综上所述，Platform Symphony为大数据分析不仅提供了强大的管理、调度和监控功能，同时还提供了很强的对开源软件的支持和兼容能力，不

 仅让基于Hadoop、Spark开发的应用可以在Platform Symphony中运行，同时能让用户可以用熟悉的开源工具，如IPython、Zeppelin等，来对运行结果进行分析和展现，极大地方便了数据的处理工作，最大化地提供了处理效率。

另外值得一提的是，与这些Spark、Hadoop等开源软件相比，由于Platform Symphony是采用商业化的软件模式开发的，因而在性能、时延等诸多方面都比开源产品有明显优势。这也反映在一些实际应用性能测试上，相较开源软件，采用Platform Symphony可以有一些大幅度的提高（有些可能达到数十倍），尤其是一些对时间延迟比较敏感的一些应用。