实现Spark集群部署 这些公司都经历了什么?

简介:

软件公司Intuit和Novantas经过深思熟虑,决定部署他们的第一个Spark集群,限制初始用户访问并寻找坚实的商业用途。

Intuit公司建立了Spark集群,最初用于在网站和进入在线表单的数据用户的财务和会计软件分析点击流记录。但是Intuit的副总裁Bill Loconzolo并不打算使用开源数据处理引擎。

Loconzolo表示,在他的印象中,Spark似乎并不是很灵活。但是尽管Spark集群设置是实验性质的,数据科学家团队也可以使用。Loconzolo说,2016年年底之前,他不打算开放系统。

他想要建立一个基于Cloudera公司Hadoop分布的大数据分析架构,他准备使用Spark等新技术至少六个月,以便判断公司是否做好了准备。

“以前使用大数据技术时,我们有过类似的教训,”他解释说,“有时候,提前做准备是我们避免失败的有效方式。”

Novantas公司的首席技术官和工程主管Kaushik Deka表示,开始使用Hadoop时,他的团队也采取了非常谨慎的战略模式。

“一年前,我们从未使用过大数据平台,”Deka说,“我们完全认同这样的技术,但想要使用这些技术,公司内部文化需要做些真正的努力和转变。”Novantas还必须通过对现有员工进行培训,建立像Spark一样的内部专业工具。

为了避免偏离轨道,该公司非常谨慎地寻找一个坚实的初始业务用于大数据技术。达到搜索高峰时,银行利用其分析服务和软件结合不同的数据集来支持个人客户如何应对市场营销的预测模型。Spark非常适合该应用程序,可以作为一个引擎完成提取、转换和加载数据集成工作。

Gartner分析师Nick Heudecker说,咨询公司获得了客户关于Spark评价的 “实质性”调查。但这项技术尚未成熟,企业用户中关于Spark集群的产品相对较少。他说,“我们对这项技术很感兴趣,Spark是否转化为部署是我们密切关注的事情。”


本文作者:佚名

来源:51CTO

相关文章
|
6月前
|
存储 分布式计算 监控
Spark Standalone模式是一种集群部署方式
【6月更文挑战第17天】Spark Standalone模式是一种集群部署方式
84 7
|
7月前
|
分布式计算 资源调度 Kubernetes
Spark集群部署与架构
Spark集群部署与架构
|
分布式计算 资源调度 运维
Spark集群部署和启动与关闭
Spark集群部署和启动与关闭
Spark集群部署和启动与关闭
|
1月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
124 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
72 0
|
2月前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
44 0
|
2月前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
100 0
|
1月前
|
SQL 机器学习/深度学习 分布式计算
Spark快速上手:揭秘大数据处理的高效秘密,让你轻松应对海量数据
【10月更文挑战第25天】本文全面介绍了大数据处理框架 Spark,涵盖其基本概念、安装配置、编程模型及实际应用。Spark 是一个高效的分布式计算平台,支持批处理、实时流处理、SQL 查询和机器学习等任务。通过详细的技术综述和示例代码,帮助读者快速掌握 Spark 的核心技能。
78 6
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
106 2