AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

AI平台-Spark引擎架构

2019-05-11 1856
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 1. 背景2.spark内核结构2.1 重要组成部分1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTask2.

1. 背景

2.spark内核结构

2.1 重要组成部分

1、Application
2、spark-submit
3、Driver
4、SparkContext
5、Master
6、Worker
7、Executor
8、Job
9、DAGScheduler
10、TaskScheduler
11、ShuffleMapTask and ResultTask
2.2 Spark工作流程简要
image

文章标签：
分布式计算
Spark
人工智能
关键词：
AI平台
AI架构
架构引擎
AI平台引擎
AI引擎
武耀文
目录
相关文章
阿里云安全_
|
6月前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏，构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台，打造可信赖的 AI
阿里云安全_
3576 166
阿里云云原生
|
6月前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源！以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布！一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测，助力企业高效构建可信赖的 AI Agent 应用。开源共建，现已上线！
阿里云云原生
7234 94
basu2023
|
6月前
|
人工智能 供应链 搜索推荐
拔俗AI 智能就业咨询服务平台：求职者的导航，企业的招聘滤网
AI智能就业平台破解求职招聘困局：精准匹配求职者、企业与高校，打破信息壁垒。简历诊断、岗位推荐、技能提升一站式服务，让就业更高效。
basu2023
311 0
basu2023
|
6月前
|
人工智能 搜索推荐 大数据
拔俗AI一体化数字销售服务平台：让企业销售更智能、更高效
AI一体化数字销售服务平台融合AI与大数据，集成客户管理、智能推荐、自动化跟进等功能，实现销售全流程智能化。打破传统模式困局，提升转化率与效率，助力企业降本增效，抢占数字化转型先机。（238字）
basu2023
373 0
basu2023
|
6月前
|
存储 人工智能 搜索推荐
拔俗AI大模型教学平台：开启智能教育新时代
在AI与教育深度融合背景下，本文基于阿里云技术构建大模型教学平台，破解个性化不足、反馈滞后等难题。通过“大模型+知识图谱+场景应用”三层架构，实现智能答疑、精准学情分析与个性化学习路径推荐，助力教学质量与效率双提升，推动教育智能化升级。
basu2023
764 0
basu2023
|
6月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台：让复杂数据“开口说话”的智能引擎
在数字化时代，多模态跨尺度大数据AI分析平台应运而生，打破数据孤岛，融合图像、文本、视频等多源信息，贯通微观与宏观尺度，实现智能诊断、预测与决策，广泛应用于医疗、制造、金融等领域，推动AI从“看懂”到“会思考”的跃迁。
basu2023
554 0
basu2023
|
6月前
|
存储 人工智能 搜索推荐
拔俗AI助教系统：基于大模型与智能体架构的新一代教育技术引擎
AI助教融合大语言模型、教育知识图谱、多模态感知与智能体技术，重构“教、学、评、辅”全链路。通过微调LLM、精准诊断错因、多模态交互与自主任务规划，实现个性化教学。轻量化部署与隐私保护设计保障落地安全，未来将向情感感知与教育深度协同演进。（238字）
basu2023
792 0
basu2023
|
6月前
|
机器学习/深度学习 人工智能 搜索推荐
拔俗AI学伴智能体系统：基于大模型与智能体架构的下一代个性化学习引擎
AI学伴智能体系统融合大模型、多模态理解与自主决策，打造具备思考能力的个性化学习伙伴。通过动态推理、长期记忆、任务规划与教学逻辑优化，实现千人千面的自适应教育，助力因材施教落地，推动教育公平与效率双提升。（238字）
basu2023
840 0
basu2023
|
6月前
|
人工智能 运维 NoSQL
拔俗AI大模型知识管理平台：让技术团队的“隐性知识”不再沉睡
技术团队常困于知识“存得住却用不好”。AI大模型知识管理平台如同为团队知识装上“智能大脑”，打通文档、代码、日志等碎片信息，实现智能检索、自动归集、动态更新与安全共享。它让新人快速上手、老手高效排障，把散落的经验变成可复用的智慧。知识不再沉睡，经验永不流失。
basu2023
220 0
雷锋网
|
机器学习/深度学习 存储 人工智能
科大讯飞，是如何打造AI平台的？
科大讯飞的成功靠的是AI核心战略：平台+赛道。
雷锋网
1540 0

热门文章

最新文章

  • 1
    运维工程师面试题总结-MySQL企业级实战及集群架构07
  • 2
    直播 | 阿里、携程、网易共同出品， 后端架构工程实践系列直播
  • 3
    DNS的主从架构与数据同步
  • 4
    高德服务单元化方案和架构实践
  • 5
    DDD实战之五：战略设计之上下文映射和系统分层架构（下）
  • 6
    飞书 + Lua 实现企业级组织架构登录认证
  • 7
    揭秘友盟+全域数据统计分析平台技术架构演进
  • 8
    一起谈.NET技术，走向ASP.NET架构设计——第三章：分层设计，初涉架构（中篇）
  • 9
    「数据中心」Cisco数据中心架构：Spine and Leaf架构
  • 10
    一起谈.NET技术，.NET企业级架构解决方案:业务层
  • 1
    Spark3.3.0源码编译补充篇-抓狂的证书问题
    198
  • 2
    Spark性能优化之SparkUI
    607
  • 3
    利用SparkLauncher实现Spark Cluster模式下的远端交互
    476
  • 4
    Spark3.x的Cache能不能让我在2022好好睡觉
    196
  • 5
    Spark 3.0 中的屏障执行模式_Spark的MPI时代来了
    196
  • 6
    Spark性能优化指南—思路梳理
    777
  • 7
    肝Spark源码的若干骚操作
    196
  • 8
    Spark的几种去重的原理分析
    573
  • 9
    Spark开发实用技巧-从入门到爱不释手
    205
  • 10
    Spark 编译出现 InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    603

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • MySQL企业常见架构与调优经验分享
  • 企业Web常用架构LAMP-LNMP实战
  • 企业级互联网分布式系统应用架构学习
  • 大数据实时计算框架Spark快速入门
  • 高校精品课-上海交通大学 -企业级应用体系架构

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云重磅新品：Agent安全中心，全新安全框架下AI Agent一体化防御平台