Databricks:2015 Spark调查报告(部分译文)-阿里云开发者社区

开发者社区> 大数据> 正文
登录阅读全文

Databricks:2015 Spark调查报告(部分译文)

简介: 译者:摇摆少年梦 原文地址:https://databricks.com/blog/2015/09/24/spark-survey-results-2015-are-now-available.html SAN FRANCISCO, CA–(Marketwired - Sep 24, 2015) - 由Apache Spark创建者所成立的公司——Databricks公司

译者:摇摆少年梦
原文地址:https://databricks.com/blog/2015/09/24/spark-survey-results-2015-are-now-available.html

SAN FRANCISCO, CA–(Marketwired - Sep 24, 2015) - 由Apache Spark创建者所成立的公司——Databricks公司,对外发布了Spark 2015 调查报告,该调查报告以842家公司中的1417个Spark使用者作为调查对象,对各大公司和用户就如何进行数据分析与处理进行了摸底。本报告显示:在受访者当中,利用Spark Stanalone构建集群比例已达48%,已经超过了Spark on Yarn(40%),除此之外还发现大多数的受访者将Spark部署在公有云上,这一比例达到51%。

最近12个月,已经有超过600个Spark源码贡献者,而在此之前的12个月人数只有315个,Spark无可争议地成为大数据领域内最活跃的开源项目(注意:没有之一)。除此之外,已经有超过200个公司为Spark奉献过源代码,使Spark社区成为迄今为止开发人员参与最多的社区。

该调查报告主要包括以下几个要点:

  1. Spark正在超越Hadoop:根据社区反馈过来的Spark常用部署方式,standalone方式占比为48%,Yarn占比为40%,Mesos占比为11%,其它方式为1%。2015年Spark用户中不使用Hadoop组件是2014年的两倍。
  2. 流式计算和高级分析工具的使用正在上升:Spark的应用更加丰富,特别是机器学习、流式计算及图像计算方面的用例日益增多。2015年Spark Streaming的使用人数较2014年增长了56%,高极分析工具如MLlib、Grahpx的使用人数从11%增加到15%,75%的用户表示使用过Spark中的两个及以上的组件(其中51%的用户使用Spark的组件数超过51%)
  3. Spark的用户更加多样化:Spark打破了的技术障碍,让数据科学家与工程师之间能够协同工作以解决数据问题。在受访者当中,41%的人将自己定义为数据工程师(Data Engineers),22%的人将自己定义为数据科学家(Data Scientists)。Spark使用者中使用不同的编程语言展开日常工作,其中71%的人使用Scala,58%的人使用Python,36%的人使用SQL,31%的人使用Java,18%的人使用R语言。
  4. Spark最常用的场景逐渐清晰:52%的使用场景是数据仓库,68%的使用场景为商业智能,40%用于处理应用程序和系统日志,36%用于面向用户的服务,29%用于欺诈检测与安全保障。
  5. Spark非常适用于处理大数据:Spark的使用数量正在快速增长,这归因于Spark部署与使用方便、性能稳定并且能够满足未来实时与高级数据处理需求的增长。91%的受访者认为性能是他们使用Spark的原因,77%的人归因于Saprk易于编程,71%的人归因于Spark易于部署,64%的人归因于Spark的高级分析能力,52%的人归因于Spark的实时处理能力。

“Spark的待续发展令人振奋,因为越来越多的公司使用Spark投入到生产环境并获得实际的商业价值,同时Spark的适用场景已经远超Hadoop集群”,Spark创建者、Databrick首席技术官司Matei Zaharia如是说,“Databricks与我们的团队将全心投入到Spark项目中以致力于Spark的长期发展,基于本次调查数据及后续的社区反馈,我们将对Spark进行持续改进,让Spark成为能够适用于所有商业领域的大数据处理工具”

下面是报告原文:

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

报告下载地址:
http://dbricks.co/sparksurvey2015
http://dbricks.co/spark-primer
http://dbricks.co/db-primer

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章