AI 助理
备案控制台
开发者社区 大数据 文章 正文

第 138 章 Spark

2017-12-21 857
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。




原文出处：Netkiller 系列 手札
本文作者：陈景峯
转载请与作者联系，同时请务必标明文章原始出处和作者信息及本声明。

文章标签：
分布式计算
Spark
Hadoop
玄学酱
目录
相关文章
vohelon
|
3月前
|
SQL 机器学习/深度学习 分布式计算
Spark适合处理哪些任务？
【9月更文挑战第1天】Spark适合处理哪些任务？
vohelon
209 3
大数据启示录
|
7月前
|
存储 缓存 分布式计算
spark BlockManager粗讲
spark BlockManager粗讲
大数据启示录
148 0
是Yu欸
|
消息中间件 分布式计算 监控
Spark6：Spark Steaming
Spark6：Spark Steaming
是Yu欸
73 0
云祁
|
SQL 机器学习/深度学习 分布式计算
【Spark】（一）初识 Spark
【Spark】（一）初识 Spark
云祁
170 0
【Spark】（一）初识 Spark
游客wkxim4agoo6le
|
SQL 机器学习/深度学习 分布式计算
浅谈Spark
笔记
游客wkxim4agoo6le
474 0
浅谈Spark
dasein58
|
存储 机器学习/深度学习 缓存
五分钟零基础介绍 spark
相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣？为何大有取代 Hadoop 的势头？Spark 内部又是如何工作的呢？我们会用几篇文章为大家一一介绍。 Hadoop：我不想知道我是怎么来的，我就想知道我是怎么没的？ 还是从 Hadoop 处理海量数据的架构说起，一个 Hadoop job 通常都是这样的： 从 HDFS 读取输入数据； 在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘； 在 Reduce 阶段，从各个处于 Map 阶段的机器中读取 Map 计算的中间结果，使用用户定义的 r
dasein58
140 0
云覆bill
|
分布式计算 Kubernetes Spark
Spark on k8s
前言 Spark 自从2.3版本以来就支持运行在k8s上，本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。 前提条件 1、 已经购买阿里云容器服务-Kubernetes。购买链接：Kubernetes控制台。
云覆bill
3067 0
科技小能手
|
机器学习/深度学习 分布式计算 TensorFlow
TensorFlowOnSpark
科技小能手
1428 0
吞吞吐吐的
|
SQL 分布式计算 测试技术
Spark使用总结与分享
吞吞吐吐的
1072 0
sjf0115
|
分布式计算 Java Apache
[Spark]那些年我们遇到的Spark的坑
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72922155 1.
sjf0115
2671 0