spark
spark
2018-09-12
1116
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
spark
目录
相关文章
|
2月前
|
SQL
机器学习/深度学习
分布式计算
|
6月前
|
存储
缓存
分布式计算
|
SQL
分布式计算
资源调度
|
SQL
机器学习/深度学习
分布式计算
|
SQL
机器学习/深度学习
分布式计算
|
SQL
机器学习/深度学习
分布式计算
|
存储
机器学习/深度学习
缓存
五分钟零基础介绍 spark
相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣？为何大有取代 Hadoop 的势头？Spark 内部又是如何工作的呢？我们会用几篇文章为大家一一介绍。
Hadoop：我不想知道我是怎么来的，我就想知道我是怎么没的？
还是从 Hadoop 处理海量数据的架构说起，一个 Hadoop job 通常都是这样的：
从 HDFS 读取输入数据；
在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘；
在 Reduce 阶段，从各个处于 Map 阶段的机器中读取 Map 计算的中间结果，使用用户定义的 r
137
0
0
|
分布式计算
Kubernetes
Spark
Spark on k8s
前言
Spark 自从2.3版本以来就支持运行在k8s上，本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。
前提条件
1、 已经购买阿里云容器服务-Kubernetes。购买链接：Kubernetes控制台。
3063
0
1
|
分布式计算
资源调度
大数据
spark
1373
0
0
|
机器学习/深度学习
分布式计算
TensorFlow
TensorFlowOnSpark
1423
0
0
热门文章
最新文章
1
QSqlDatabase: QMYSQL driver not loaded 解决方案
2
这 12 个基于 AI 的 VSCode “杀手级” 生产力插件，了解一下？（一）
3
关于规则引擎的选型和疑惑思考
4
面试必问的4种单点登录的实现方式，你知道几个？
5
揭秘2017双11背后的网络－双11的网络产品和技术概览
6
我的NVIDIA开发者之旅——作为一名初学者，我是如何开启 NVIDIA Jetson Nano 开发的
7
FluentData-新型轻量级ORM 利用T4模板 批量生成多文件 实体和业务逻辑 代码
8
Hadoop-No.10之列簇
9
HDU 1213 How Many Tables
10
GitHub push文件失败时