一道Spark练习题
2023-12-25
58
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
一道Spark练习题
目录
相关文章
|
2月前
|
存储
分布式计算
并行计算
【赵渝强老师】Spark中的RDD
RDD（弹性分布式数据集）是Spark的核心数据模型，支持分布式并行计算。RDD由分区组成，每个分区由Spark Worker节点处理，具备自动容错、位置感知调度和缓存机制等特性。通过创建RDD，可以指定分区数量，并实现计算函数、依赖关系、分区器和优先位置列表等功能。视频讲解和示例代码进一步详细介绍了RDD的组成和特性。
49
0
0
|
8月前
|
分布式计算
Shell
开发工具
|
8月前
|
分布式计算
关系型数据库
MySQL
|
8月前
|
分布式计算
Shell
Spark
|
分布式计算
大数据
Spark
|
存储
SQL
缓存
Spark面试题
spark的有几种部署模式，每种模式特点、Spark为什么比mapreduce快、简单说一下hadoop和spark的shuffle相同和差异、spark工作机制、spark的优化怎么做、数据本地性是在哪个环节确定的、RDD的弹性表现在哪几点、RDD有哪些缺陷、Spark的shuffle过程、 Spark的数据本地性有哪几种、Spark为什么要持久化，一般什么场景下要进行persist操作。
1250
0
2
|
SQL
分布式计算
资源调度
|
存储
分布式计算
资源调度
|
存储
SQL
分布式计算
热门文章
最新文章
1
【实战】锐捷AC+AP配置WLAN基本服务系列
2
丰富、连接、待集成—MaxCompute 生态再出发
3
Tomcat 7.0 64位免安装解压版 安装及配置
4
securecrt克隆会话与sshd 的 MaxSessions
5
安卓支持RISC-V架构的技术剖析
6
生成文件的另一种思路——共享文件同步
7
高阶自定义View --- 粒子变幻、隧道散列、组合文字
8
奇虎团队不到1分钟攻破谷歌Pixel 斩获12万美元奖金
9
npm使用指南
10
Visual Studio 2010快捷键大全
1
Smolagents：三行代码就能开发 AI 智能体，Hugging Face 开源轻量级 Agent 构建库
106
2
Cognita：小白也能搭建 RAG 系统，提供交互界面的开源模块化 RAG 框架，支持多种文档检索技术
21
3
SocraticLM：通过 AI 提问引导学生主动思考，中科大与科大讯飞联合推出苏格拉底式教育大模型
23
4
SoulChat2.0：低成本构建 AI 心理咨询师，华南理工开源心理咨询师数字孪生大语言模型
20
5
TryOffAnyone：快速将模特服装图还原为平铺商品图，生成标准化的服装展示效果
25
6
VITRON：开源像素级视觉大模型，同时满足图像与视频理解、生成、分割和编辑等视觉任务
23
7
Memory Layers：如何在不增加算力成本的情况下扩大模型的参数容量？Meta 开源解决方法
20
8
ImBD：复旦联合华南理工推出 AI 内容检测模型，快速辨别文本内容是否为 AI 生成
18
9
《量子硬件制造：降低退相干率与错误率的策略》
19
10
《量子计算硬件：关键指标对人工智能应用性能的影响》
86