拥抱开源!解析IBM Power8与Hadoop的不解之缘

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

大数据分析不仅改变了企业开展业务的地点和方式,而且还在改变业务决策流程的速度与范围。企业希望通过投资大数据分析技术来增强客户体验、提高客户忠诚度、开创全新的创收机会。他们需要部署经济高效的、高性能的、可靠敏捷的IT基础架构,以便利用特殊的数据资产来产生最佳业务成效。

与x86架构相比,客户能够通过数量更少但却更加可靠的Power8服务器来降低总体拥有成本(TCO)。更重要的是,这些客户还将能够受益于不断发展壮大的IBM合作伙伴开源生态圈(OpenPOWER基金会)及一致性附加处理器接口(CAPI)等颠覆性创新技术所交付的卓越价值。

IBM以开放的态度拥抱开源

IBM一直将开源合作视为创新驱动力,倡导、参与和支持Linux和开源软件,并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来,他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持,也使今天的开发者更容易利用开源技术开发大数据分析应用。

IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道,用以轻松实现云部署,建成新的大数据和移动软件应用,并帮助提升现有云端应用的性能。基于Power 的Ubuntu对已经全线支持红帽和SUSE Linux操作系统的Power Systems产品线提供了良好的补充。

此外,IBM通过OpenPOWER基金会使POWER8用于开放式的开发。OpenPOWER基金会是一个多家业内公司围绕着POWER8平台成立的联合组织,致力于加快数据中心的创新及基于POWER8架构的系统设计变革。OpenPOWER基金会中不仅包括家喻户晓的科技巨头(如Google、Samsung、NVIDIA、Micron及Mellanox),还包括浪潮、中兴等国内企业。OpenPOWER基金会提供Power软硬件用于开放型开发,以及Power知识产权许可。Power8的开放将为大数据分析、移动、社交催生更好的基础架构平台。

Power8让Hadoop应用性能提升3.65倍

Hadoop是一个能够对大数据进行分布式存储和处理的软件框架,它具有高可靠性、高扩展、容错、高效、低成本的特点,一度广受互联网公司青睐,企业级用户也越来越多的接受Hadoop。但凡事都有两面性,佘晖表示,星环科技在做Hadoop应用和技术的时候,发现Hadoop是非常耗费计算资源的,用户希望获得更优秀的性能。

通过测试发现,IBM Power8产品非常适合Hadoop应用。据星环科技提供资料显示,在与IBM合作针对Hadoop的性能优化和调优后,IBM做了很多改进,与x86处理器相比,POWER8实现了3.65倍的运行速度提升。除了性能外,POWER在中国很多的行业、在企业级市场有着深厚的积淀和客户群,产品也非常适合这些客户,这也是星环科技选择POWER的原因。

大数据助力空气质量预测

拥有强大集群能力的POWER服务器在应用方面有何过人之处呢?帮助北京预测空气质量就是其中之一。IBM在去年就与北京市政府签署协议,利用先进的天气预报和云计算技术,协助中国防治大气污染。

据了解,北京市政府是IBM“绿色地平线”计划(Green Horizon)的合作伙伴之一。IBM与北京市相关单位合作并共同研发,利用IBM认知计算、大数据分析以及物联网技术的优势,分析空气监测站和气象卫星传送的实时数据流,凭借自学习能力和超级计算处理能力,提供未来72小时的高精度空气质量预报,实现对北京地区的污染物来源和分布状况的实时监测。

绿色地平线项目IBM实验室会跟环保局、监测站,收取很多的检验数据,通过软件做预计分析。比如原来可以预测3天,现在可能提前到10天。

据IBM大中华区硬件系统部PowerSystems产品总监李红介绍,IBM实验室有一套资产算法,去分析大气污染,提供算法服务和支撑。因为是计算密集型的,需要大量计算,所以用到了刚刚发布的S812LC平台。包括其他产品在内,构成了整个云平台环境,去完成对大数据的分析,对污染环境的预测等等。这个项目目前还在进行中,政府也希望这个项目未来可以推广扩展到其他的城市。

总的来看,IBM Power8依然是高性能、高可靠性的代表,它比较适合计算比较密集的场景,更适合于做数据仓库、做批处理、数据挖掘、模型建模等方面应用。因此,它与Hadoop也就有着不解之缘,未来的各种行业应用还在拓展之中,让我们拭目以待!


本文作者:云中子

来源:51CTO

相关文章
|
20天前
|
监控 数据可视化 搜索推荐
万界星空科技商业开源MES系统全面解析
万界星空MES系统支持对生产现场的实时监控,包括设备运行状态、生产进度、质量数据等关键信息的即时反馈。通过可视化的数据展示,管理者能够直观掌握生产全貌,及时发现问题并采取措施
47 5
|
5月前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
278 2
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【热门开源项目】阿里开源巨擘:Qwen-2 72B深度解析与推荐
在人工智能的浪潮中,开源模型如同璀璨的星辰,指引着开发者们探索未知的领域。而今天,我们将聚焦在阿里云推出的开源模型Qwen-2 72B上,从其项目介绍、技术特点、代码解析等多个角度,深入解析并推荐这一卓越的开源项目。
106 1
|
3月前
|
监控 数据可视化 搜索推荐
万界星空科技商业开源MES系统全面解析
万界星空科技提供商业开源MES系统,基于Java的开源版本,含源码及拖拽式数据大屏,适用于定制开发。系统集成ERP、PDM、QC,实现无缝对接与智能调度,优化资源配置。具备实时监控、质量控制、灵活定制等功能,支持低代码定制,广泛应用于多个制造业领域。欲了解更多,可访问官网或搜索联系。
92 10
|
5月前
|
存储 关系型数据库 分布式数据库
【PolarDB开源】PolarDB高可用架构解析:确保业务连续性的关键设计
【5月更文挑战第22天】阿里云PolarDB是一款高可用、高性能的云原生数据库,采用分布式共享存储架构实现计算与存储分离。通过主从复制保证数据实时同步,当主节点故障时,从节点能快速接管。此外,PolarDB提供自动故障转移和数据备份恢复功能,确保业务连续性和数据安全性。一个简单的Python SDK使用示例展示了查询数据的过程。总之,PolarDB通过多种机制保障了企业在异常情况下的服务稳定和数据完整性。
256 5
|
5月前
|
存储 分布式计算 Hadoop
【专栏】Hadoop,开源大数据处理框架:驭服数据洪流的利器
【4月更文挑战第28天】Hadoop,开源大数据处理框架,由Hadoop Common、HDFS、YARN和MapReduce组成,提供大规模数据存储和并行处理。其优势在于可扩展性、容错性、高性能、灵活性及社区支持。然而,数据安全、处理速度、系统复杂性和技能短缺是挑战。通过加强安全措施、结合Spark、自动化工具和培训,Hadoop在应对大数据问题中保持关键地位。
149 1
|
5月前
|
存储 关系型数据库 分布式数据库
【PolarDB 开源】PolarDB 存储引擎优化:PolarStore 的深度解析与优化
【5月更文挑战第25天】PolarDB的PolarStore存储引擎以其高效索引和优化的压缩算法提升数据存储与访问性能。通过并发控制保证事务正确性,同时支持数据压缩和索引优化。在实际应用中,优化包括调整索引结构、数据分区、事务管理及定期数据库维护。结合业务需求进行深度优化,可最大化PolarStore的性能潜力,推动数据库系统发展。
158 0
|
5月前
|
域名解析 网络协议 应用服务中间件
2024最新彩虹聚合DNS管理系统源码v1.3 全开源
聚合DNS管理系统可以实现在一个网站内管理多个平台的域名解析,目前已支持的域名平台有:阿里云、腾讯云、华为云、西部数码、DNSLA、CloudFlare。 本系统支持多用户,每个用户可分配不同的域名解析权限;支持API接口,支持获取域名独立DNS控制面板登录链接,方便各种IDC系统对接。
174 0
|
5月前
|
分布式计算 网络协议 Hadoop
Hadoop节点扩展配置DNS和主机名解析
【4月更文挑战第19天】
116 1
|
5月前
|
分布式计算 资源调度 监控
Hadoop生态系统深度剖析:面试经验与必备知识点解析
本文深入探讨了Hadoop生态系统的面试重点,涵盖Hadoop架构、HDFS、YARN和MapReduce。了解Hadoop的主从架构、HDFS的读写流程及高级特性,YARN的资源管理与调度,以及MapReduce编程模型。通过代码示例,如HDFS文件操作和WordCount程序,帮助读者巩固理解。此外,文章强调在面试中应结合个人经验、行业动态和技术进展展示技术实力。
77 0

推荐镜像

更多