你的大数据项目使用的工具正确吗?

简介:

工具/产品/解决方案是数据科学家洞察数据的利器。 KDNuggets网站 对此观点进行了年度调查,来分析数据科学家在用哪些类型的工具,并提供了调查的 匿名原始数据 。

通过主成分析(PCA)法进行降维分析

对所有的工具同时进行关系分析,常规来说,PCA通过对大样本数据统计性质(eg, 协方差)的分析,试图用主要特征来解释关系。

分析结果:

当前分析的目标:通过一些主成分来分析95种工具之间的关系。最终决定以PCA的特征值来决定主成分的数目,这里选用了两种规则:一种是以特征值大于1的特征值数量来选择主成分数量;一种是画陡坡图(scree plot),通过95个特征值你会发现一个拐点的特征值。

特征点点陡坡图显示在第13和第14特征点时出现拐点,因此,这里选择的13个主成分来解释它们之间的关系,见下图。

大数据

  工具分类

下面列出根据主成分析得出的13类工具(投票数大于20):

大数据生态(Hadoop、Spark)和开源项目:Hadoop, HBase, Hive, Mahout, MLlib, Other Hadoop/HDFS-based tools, Pig, Scala, Spark, SQL on Hadoop tools

微软数据科学家工具:Microsoft Azure ML, Microsoft Power BI, Microsoft SQL Server, Revolution Analytics

基于Python的机器学习:Dataiku, H2O (0xdata), Python, scikit-learn, Theano, Vowpal Wabbit

SAS公司产品:JMP, SAS Base, SAS Enterprise Miner

MATLAB、R语言等统计工具:Gnu Octave, MATLAB, Orange, R, RapidMiner, Rattle, Weka

IBM公司产品:IBM Cognos, IBM SPSS Modeler, IBM SPSS Statistics, IBM Watson Analytics

Linux工具和SQLang:Actian, C/C++, Perl, SQLang, Unix shell/awk/gawk

深度学习:Caffe, Pylearn2

商务智能软件:Pentaho and QlikView

数据分析平台:Datameer and Zementis

Excel和Word统计工具:XLSTAT for Excel

其它:Other Deep Learning tools, Other free analytics/data mining tools, Other Hadoop/HDF-based tools, Other paid analytics/data mining/data science software, Other programming languages

数据可视化:C4.5/C5.0/See5, Miner3D, Oracle Data Miner

总结

数据科学家在选择大数据、数据挖掘和数据分析工具时,更倾向于有一定生态基础的工具,这样各个工具间可以相互支持。

为了提高在大数据项目中成功的机会,选择正确的工具是非常重要的。没有一个孤立的工具能够做所有的数据分析,职业的数据专家趋向于使用不止一种相关的工具(分析中发现,数据专家平均使用5种数据分析工具)。你可以根据使用相关工具的数据专家来决定自己的选择。

另外一个观点是,要选择大厂的产品,比如,IBM、微软和SAS,大品牌的产品更丰富,可以使得你的产品更容易扩展。



本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
228 4
|
6月前
|
SQL 分布式计算 大数据
别再迷信“上大数据就能飞”了!大数据项目成败的5个真相
别再迷信“上大数据就能飞”了!大数据项目成败的5个真相
159 6
|
6月前
|
JSON 分布式计算 大数据
springboot项目集成大数据第三方dolphinscheduler调度器
springboot项目集成大数据第三方dolphinscheduler调度器
368 3
|
6月前
|
SQL 人工智能 分布式计算
拥抱数据洪流:ODPS,从工具到智能基石的认知跃迁
ODPS正从计算工具进化为智能基石,重塑数据价值链条。它不仅是效率引擎,更是决策资产、信任桥梁与预见系统。其创新架构支持存算分离、AI融合计算与隐私保护,助力企业迎接AI革命。未来,ODPS将推动绿色智能,成为组织数字化转型的核心支撑平台。
192 3
|
分布式计算 大数据 Java
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
133 0
|
11月前
|
分布式计算 大数据 数据处理
从Excel到大数据:别让工具限制你的思维!
从Excel到大数据:别让工具限制你的思维!
439 85
|
存储 分布式计算 数据可视化
大数据常用技术与工具
【10月更文挑战第16天】
788 4
|
8月前
|
人工智能 算法 自动驾驶
AI和大数据:是工具,还是操控人心的“隐形之手”?
AI和大数据:是工具,还是操控人心的“隐形之手”?
205 1
|
9月前
|
数据采集 分布式计算 数据可视化
大数据项目成功的秘诀——不只是技术,更是方法论!
大数据项目成功的秘诀——不只是技术,更是方法论!
254 8
大数据项目成功的秘诀——不只是技术,更是方法论!
|
12月前
|
分布式计算 大数据 流计算
玩转数据:初学者的大数据处理工具指南
玩转数据:初学者的大数据处理工具指南
356 14