《Spark大数据分析实战》——第3章BDAS简介-阿里云开发者社区

开发者社区> 华章计算机> 正文

《Spark大数据分析实战》——第3章BDAS简介

简介:
+关注继续查看

本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章BDAS简介,作者高彦杰 倪亚宇,更多章节内容可以访问云栖社区“华章社区”公众号查看

第3章
BDAS简介
提到Spark不得不说伯克利大学AMPLab开发的BDAS(Berkeley Data Analytics Stack)数据分析的软件栈,如图3-1所示是其中的Spark生态系统。其中用内存分布式大数据计算引擎Spark替代原有的MapReduce,上层通过Spark SQL替代Hive等SQL on Hadoop系统,Spark Streaming替换Storm等流式计算框架,GraphX替换GraphLab等大规模图计算框架,MLlib替换Mahout等机器学习框架等,其整体框架基于内存计算解决了原来Hadoop的性能瓶颈问题。AmpLab提出One Framework to Rule Them All的理念,用户可以利用Spark一站式构建自己的数据分析流水线。
在一些数据分析应用中,用户可以使用Spark SQL预处理结构化数据,GraphX预处理图数据,Spark Streaming实时捕获和处理流数据,最终通过MLlib将数据融合,进行模型训练,底层各个系统通过Spark进行运算。
下面将介绍其中主要的项目。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于Numpy的统计分析实战
标题中的英文首字母大写比较规范,但在python实际使用中均为小写。 2018年7月27日笔记 学习内容: 1.从文件中读取数据 2.将数据写入文件 3.利用数学和统计分析函数完成实际统计分析应用 4.掌握数组相关的常用函数 1.文本文件读写 1.1使用numpy.savetxt方法写入文本文件 numpy.savetxt方法需要2个参数:第1个参数是文件名,数据类型为字符串str; 第2个参数是被写入文件的nda数据,数据类型为ndarray对象。
1020 0
python/pandas数据分析(十五)-聚合与分组运算实例
用特定于分组的值填充缺失值 用平均值去填充nan s=pd.Series(np.random.
882 0
python3爬虫(二)实战- 爬糗事百科
2017-3-09 代码如下. 必须加上head否则无法抓取. # -*- coding:utf-8 -*- import urllib.
905 0
Hadoop实战-part5
Hadoop实战-part5
24 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载