spark
spark
2018-09-12
1125
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
spark
目录
相关文章
|
3月前
|
SQL
机器学习/深度学习
分布式计算
|
3月前
|
SQL
分布式计算
Hadoop
|
SQL
分布式计算
资源调度
|
SQL
机器学习/深度学习
分布式计算
|
存储
机器学习/深度学习
缓存
五分钟零基础介绍 spark
相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣？为何大有取代 Hadoop 的势头？Spark 内部又是如何工作的呢？我们会用几篇文章为大家一一介绍。
Hadoop：我不想知道我是怎么来的，我就想知道我是怎么没的？
还是从 Hadoop 处理海量数据的架构说起，一个 Hadoop job 通常都是这样的：
从 HDFS 读取输入数据；
在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘；
在 Reduce 阶段，从各个处于 Map 阶段的机器中读取 Map 计算的中间结果，使用用户定义的 r
140
0
0
|
分布式计算
Kubernetes
Spark
Spark on k8s
前言
Spark 自从2.3版本以来就支持运行在k8s上，本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。
前提条件
1、 已经购买阿里云容器服务-Kubernetes。购买链接：Kubernetes控制台。
3074
0
1
|
SQL
分布式计算
大数据
|
机器学习/深度学习
分布式计算
TensorFlow
TensorFlowOnSpark
1434
0
0
|
分布式计算
资源调度
大数据
spark
1376
0
0
|
分布式计算
Java
Apache
[Spark]那些年我们遇到的Spark的坑
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72922155
1.
2678
0
0
热门文章
最新文章
1
跟阿里云技术专家阙寒一起深度了解视频直播CDN技术
2
流批一体的近实时数仓的思考与设计
3
丰富、连接、待集成—MaxCompute 生态再出发
4
securecrt克隆会话与sshd 的 MaxSessions
5
McAfee揭秘网络最危险搜索关键词
6
微软再爆IE 0day漏洞 绿盟科技提供预警及防护手段
7
uboot命令分析+实现【转】
8
读书笔记--101个shell脚本 之#11--炫
9
SQL Server 深入解析索引存储(堆)
10
OAF_EO系列3 - Initialize详解和实现（案例）
1
【claude官网中文版】国内如何使用claude?记住这十大技巧！
102
2
调用云端Qwen系列大模型（TURBO、PLUS、MAX和MAX_LATEST）在国际商业咨询智能体场景的实践探索
55
3
已解决：国内如何使用Claude 3.5 Sonnet \ claude官网中文入口
44
4
HarmonyOS 5.0 Next实战应用开发—‘我的家乡’【HarmonyOS Next华为公司完全自研的操作系统】
64
5
自学记录鸿蒙API 13：实现多目标识别Object Detection
159
6
《探索人工智能产业的可持续发展模式与策略》
18
7
《人工智能助力社会学研究：数据挖掘与分析方法的深度探索》
22
8
《软体机器人与仿生机器人的人工智能控制技术：挑战与突破》
18
9
《探索机器人自主导航与路径规划技术的热点》
21
10
《集成学习：堆叠泛化与提升法在人工智能中的应用热点》
16