1. 背景
2.spark内核结构
2.1 重要组成部分
1、Application
2、spark-submit
3、Driver
4、SparkContext
5、Master
6、Worker
7、Executor
8、Job
9、DAGScheduler
10、TaskScheduler
11、ShuffleMapTask and ResultTask
2.2 Spark工作流程简要
AI平台-Spark引擎架构
2019-05-11
1625
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
1. 背景2.spark内核结构2.1 重要组成部分1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTask2.
目录
相关文章
|
1月前
|
SQL
存储
分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台，支持海量数据的存储与计算，适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面，确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序，用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
92
1
1
|
10天前
|
SQL
数据采集
分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层：数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中，大数据平台层为核心，负责数据的存储和计算，支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型，应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
49
3
3
|
17天前
|
存储
人工智能
文字识别
利用AI能力平台实现档案馆纸质文件的智能化数字处理
在传统档案馆中，纸质文件管理面临诸多挑战。AI能力平台利用OCR技术，通过图像扫描、预处理、边界检测、文字与图片分离、文字识别及结果存储等步骤，实现高效数字化转型，大幅提升档案处理效率和准确性。
44
7
7
|
15天前
|
机器学习/深度学习
人工智能
自然语言处理
探索AI驱动的个性化学习平台构建###
【10月更文挑战第29天】
本文将深入探讨如何利用人工智能技术，特别是机器学习与大数据分析，构建一个能够提供高度个性化学习体验的在线平台。我们将分析当前在线教育的挑战，提出通过智能算法实现内容定制、学习路径优化及实时反馈机制的技术方案，以期为不同背景和需求的学习者创造更加高效、互动的学习环境。
###
38
3
3
|
16天前
|
机器学习/深度学习
人工智能
自然语言处理
医疗行业的语音识别技术解析：AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术，实现实时转录医患对话，自动生成结构化数据，提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力，支持与医院系统无缝集成，广泛应用于门诊记录、多学科会诊和急诊场景，显著提升工作效率和数据准确性。
74
3
3
|
20天前
|
分布式计算
大数据
Apache
Apache Spark & Paimon Meetup · 北京站，助力 LakeHouse 架构生产落地
2024年11月15日13:30北京市朝阳区阿里中心-望京A座-05F，阿里云 EMR 技术团队联合 Apache Paimon 社区举办 Apache Spark & Paimon meetup，助力企业 LakeHouse 架构生产落地”线下 meetup，欢迎报名参加！
85
3
3
|
23天前
|
SQL
人工智能
DataWorks
DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展，包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率，助力企业实现数据价值最大化和智能化转型。
184
5
5
|
22天前
|
监控
API
调度
|
1月前
|
机器学习/深度学习
自然语言处理
搜索推荐
大厂 10Wqps智能客服平台，如何实现架构演进？
40岁老架构师尼恩，凭借深厚的架构功力，指导众多小伙伴成功转型大模型架构师，实现职业逆袭。尼恩的《LLM大模型学习圣经》系列PDF，从基础理论到实战应用，全面覆盖大模型技术，助力读者成为大模型领域的专家。该系列包括《从0到1吃透Transformer技术底座》《从0到1吃透大模型的基础实操》《从0到1吃透大模型的顶级架构》等，内容详实，适合不同水平的读者学习。此外，尼恩还分享了多个智能客服平台的实际案例，展示了大模型在不同场景中的应用，为读者提供了宝贵的实践经验。更多技术资料和指导，请关注尼恩的《技术自由圈》公众号。
47
0
0
|
1月前
|
机器学习/深度学习
人工智能
自然语言处理
阿里云百炼大模型：引领企业智能化升级的下一代 AI 驱动引擎
随着人工智能技术的快速发展，大规模预训练模型正在改变各行各业的智能化进程。阿里云百炼大模型（Ba-Lian Large Model）作为阿里云推出的企业级 AI 解决方案，通过深度学习、自然语言处理、计算机视觉等前沿技术，帮助企业实现智能化升级，提升业务效率和创新能力。本文将详细介绍阿里云百炼大模型的核心技术、应用场景及其优势，帮助企业更好地理解和利用这一革命性工具。
217
1
1
热门文章
最新文章
1
阿里AI上岗双11服装车间，能识别头发丝直径十分之一的瑕疵
2
这 12 个基于 AI 的 VSCode “杀手级” 生产力插件，了解一下？（一）
3
领英AI人才图谱：全球 190 万 AI 人才，中国只有5万
4
高管访谈：AI 驱动的新兴金融市场改革，还有这三项障碍
5
斯坦福大学发布吴恩达团队最新成果：利用 AI 帮助检测脑动脉瘤
6
AI 黑客会大规模进军网络安全领域吗？为时尚早，因为太贵了
7
那些加入抗击新冠病毒大军的AI组织和公司
8
「镁客·请讲」MATRIX张国强：不惧公链竞争，将使用AI技术夯实区块链地基
9
AI数据分析创企ActionIQ获1300万美元A轮融资，红杉领投
10
【视觉智能AI场景解决方案——AI智慧运动】
1
DAG（有向无环图）在Spark中的应用
431
2
scala-spark中的groupby、like等的用法
222
3
spark执行sql的原理是什么
124
4
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
87
5
spark用于分析数据并将数据保存到数据库中是
70
6
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
88
7
如何解决Spark在深度学习中的资源消耗问题？
88
8
Spark在深度学习中的优缺点是什么？
234
9
使用Spark进行机器学习
71
10
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
132