开发者社区 问答 正文

平台产品Spark2

Spark2 是什么你们知道不,现在的场景是我咨询了一家供应商,他们提供给一些中间件的版本,我咨询了一下信息部,他们说他们中间件Spark2是买的,我不是很明白,以前我的理解是大数据用的应该是开源的Spark,为什么还要采购?所以就咨询一下,这个东西不能自己搭建吗,必须要采购吗,采购和自己搭建的有什么区别勒?

展开
收起
aliyu.wong 2019-07-23 09:43:55 1367 分享 版权
阿里云 AI 助理回答

Apache Spark 是一个开源的大数据处理框架,它提供了内存计算、分布式处理和优化的数据分析算法等功能,广泛应用于大数据处理、机器学习、图形处理等领域。Spark2通常指的是Apache Spark 2.x系列的版本,这个系列在性能、SQL支持、Structured Streaming等方面进行了诸多改进。

当你说供应商提供Spark2作为中间件,并且你们的信息部提到是“买的”,这可能意味着他们采购的是基于Apache Spark构建的商业发行版或者云服务。这里有几个原因可能会促使企业选择采购而非自行搭建:

  1. 技术支持与维护:商业发行版或云服务通常会提供专业的技术支持、定期更新、安全补丁以及故障排除服务,这对于没有足够技术力量进行自主维护的企业来说非常重要。

  2. 稳定性与安全性:供应商提供的版本经过了严格的测试和优化,确保了系统的稳定性和安全性,减少了因自行搭建可能导致的系统不稳定风险。

  3. 集成与兼容性:商业版本往往提供了更好的与其他企业级软件和服务的集成能力,包括但不限于数据仓库、BI工具、监控系统等,这些集成通常是开箱即用的,降低了企业内部集成的工作量。

  4. 管理与运维便利性:云服务商提供的Spark服务(如阿里云的MaxCompute、EMR等)免去了硬件采购、集群搭建、资源调度等复杂运维工作,用户可以更专注于业务逻辑和数据分析本身,通过界面或API轻松管理资源。

  5. 成本考量:虽然表面上看采购需要直接支付费用,但考虑到自建所需的硬件投资、运维人力成本、时间成本以及潜在的风险成本,对于很多企业而言,采购服务可能是更经济的选择。

当然,是否采购还是自行搭建,最终取决于企业的具体需求、技术实力、预算以及对数据控制的需求。如果企业有强大的技术团队,对开源技术非常熟悉,并且对数据安全和定制化有严格要求,自行搭建Spark集群也是一个可行的选择。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答