1. 背景
2.spark内核结构
2.1 重要组成部分
1、Application
2、spark-submit
3、Driver
4、SparkContext
5、Master
6、Worker
7、Executor
8、Job
9、DAGScheduler
10、TaskScheduler
11、ShuffleMapTask and ResultTask
2.2 Spark工作流程简要
AI平台-Spark引擎架构
2019-05-11
1679
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
1. 背景2.spark内核结构2.1 重要组成部分1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTask2.
目录
相关文章
|
3月前
|
人工智能
Cloud Native
Serverless
从理论到落地：MCP 实战解锁 AI 应用架构新范式
本文旨在从 MCP 的技术原理、降低 MCP Server 构建复杂度、提升 Server 运行稳定性等方面出发，分享我们的一些实践心得。
1659
103
109
|
3月前
|
机器学习/深度学习
人工智能
并行计算
AI部署架构：A100、H100、A800、H800、H20的差异以及如何选型？开发、测试、生产环境如何进行AI大模型部署架构？
AI部署架构：A100、H100、A800、H800、H20的差异以及如何选型？开发、测试、生产环境如何进行AI大模型部署架构？
1187
70
72
|
4月前
|
人工智能
网络协议
Java
RuoYi AI：1人搞定AI中台！开源全栈式AI开发平台，快速集成大模型+RAG+支付等模块
RuoYi AI 是一个全栈式 AI 开发平台，支持本地 RAG 方案，集成多种大语言模型和多媒体功能，适合企业和个人开发者快速搭建个性化 AI 应用。
1313
77
77
|
2月前
|
机器学习/深度学习
人工智能
自然语言处理
3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
本文深入解析了 Spark-TTS 模型的架构与原理，该模型仅需 3 秒语音样本即可实现高质量的零样本语音克隆。其核心创新在于 BiCodec 单流语音编码架构，将语音信号分解为语义 Token 和全局 Token，实现内容与音色解耦。结合大型语言模型（如 Qwen 2.5），Spark-TTS 能直接生成语义 Token 并还原波形，简化推理流程。实验表明，它不仅能克隆音色、语速和语调，还支持跨语言朗读及情感调整。尽管面临相似度提升、样本鲁棒性等挑战，但其技术突破为定制化 AI 声音提供了全新可能。
198
35
37
|
1月前
|
人工智能
自然语言处理
搜索推荐
Spark-TTS: AI语音合成的"变声大师"
Spark-TTS 是一款革命性的语音合成模型，被誉为“变声大师”。它通过创新的 BiCodec 技术将语音分解为语义和全局两种 Token，实现对音色、性别、语速等属性的精细控制。结合统一的 LLM 架构，Spark-TTS 简化了传统 TTS 的复杂流程，同时提供了前所未有的灵活性。此外，团队还发布了 VoxBox 开源数据集，为行业提供标准评估基准。尽管在零样本场景下仍存改进空间，但 Spark-TTS 已经开启了语音合成新时代，让个性化、可控的 AI 语音成为可能。
203
4
4
|
2月前
|
人工智能
运维
安全
阿里云 Serverless 助力海牙湾构建弹性、高效、智能的 AI 数字化平台
海牙湾（G-Town）是一家以“供应链+场景+技术+AI”为核心驱动力的科技公司，致力于为各行业提供数字化转型解决方案。通过采用阿里云Serverless架构，解决了弹性能力不足、资源浪费与运维低效的问题。SAE全托管特性降低了技术复杂度，并计划进一步探索Serverless与AI结合，推动智能数字化发展。海牙湾业务覆盖金融、美妆、能源等领域，与多家知名企业建立战略合作，持续优化用户体验和供应链决策能力，保障信息安全并创造可量化的商业价值。未来，公司将深化云原生技术应用，助力更多行业实现高效数字化转型。
229
20
20
|
2月前
|
人工智能
负载均衡
API
长连接网关技术专题(十二)：大模型时代多模型AI网关的架构设计与实现
随着 AI 技术快速发展，业务对 AI 能力的渴求日益增长。当 AI 服务面对处理大规模请求和高并发流量时，AI 网关从中扮演着至关重要的角色。AI 服务通常涉及大量的计算任务和设备资源占用，此时需要一个 AI 网关负责协调这些请求来确保系统的稳定性与高效性。因此，与传统微服务架构类似，我们将相关 API 管理的功能（如流量控制、用户鉴权、配额计费、负载均衡、API 路由等）集中放置在 AI 网关层，可以降低系统整体复杂度并提升可维护性。
本文要分享的是B站在大模型时代基于多模型AI的网关架构设计和实践总结，希望能带给你启发。
143
4
4
|
2月前
|
人工智能
自然语言处理
算法
炎鹊 • AI+行业工具创建平台
炎鹊是AI+行业应用工具创建平台，聚焦各行业深度业务场景需求。通过“行业知识注入+场景化微调”技术，基于垂直AI大模型与多模态推理能力，实现零代码创建定制化“智员体”（AI专业应用工具）。平台支持低代码开发、多模态输入输出、动态更新知识图谱及跨平台协作，具备持续学习进化机制。炎鹊推出的“智员体”数字员工可模拟人类思维逻辑，完成复杂任务，推动AI从辅助工具向协作主体演进，已在快消、教育、医疗等20+领域落地，助力企业构建智能组织形态。
133
11
11
|
3月前
|
人工智能
分布式计算
数据管理
DMS+X：GenAI 时代的一站式 Data+AI 平台
在AI技术快速发展的背景下，阿里云DMS + X平台应运而生，通过OneMeta和OneOps两大创新，提供统一元数据服务及一体化Data + AI开发环境。文章详细介绍了DMS + X在数据治理、开发提效及实际案例中的应用，助力企业在GenAI时代实现数字化转型。
219
4
4
|
3月前
|
人工智能
自然语言处理
搜索推荐
JeecgBoot AI 应用开发平台，AIGC 功能介绍
JeecgBoot推出AIGC功能模块，包含AI应用开发平台与知识库问答系统，支持AI流程编排、模型管理、知识库训练及向量库对接。基于LLM大语言模型，提供智能对话、RAG检索增强生成等功能，兼容多种大模型（如DeepSeek、Qwen等）。平台结合低代码与AIGC，适用于复杂业务场景，支持快速原型到生产部署，助力用户打造个性化智能体，如“诗词达人”或“翻译助手”，并可嵌入第三方系统提升交互能力。项目开源，欢迎体验与交流。
125
0
1
热门文章
最新文章
1
Spring AI Alibaba 1.0 GA 正式发布，Java 智能体开发进入新时代
2
Python构建MCP服务器完整教程：5步打造专属AI工具调用系统
3
Function AI 工作流发布：以 AI 重塑企业流程自动化
4
2025年颠覆闭源大模型？MonkeyOCR：这款开源AI文档解析模型，精度更高，速度更快！
5
构建企业级AI智能体（Spring AI Alibaba + JManus实战）
6
Spring AI Alibaba 1.0 GA 正式发布，Java智能体开发进入新时代
7
智能体(AI Agent)开发实战之【LangChain】(一)接入大模型输出结果
8
无需编程，我用 AI 模型结合 RPA 自动化，用 2 天时间手搓小红书营销产品
9
AI开发：大学生创业公司官网
10
AI+Code驱动的M站首页重构实践：从技术债务到智能化开发
1
微服务架构下的电商API接口设计：策略、方法与实战案例
67
2
电商API接口开发：基础架构搭建全攻略
48
3
微信读书十周年，后台架构的技术演进和实践总结
44
4
Super MySQL｜揭秘PolarDB全异步执行架构，高并发场景性能利器
124
5
官宣 | Fluss 0.7 发布公告：稳定性与架构升级
131
6
301重定向：技术原理、架构级策略与搜索引擎的隐秘对话
29
7
智联招聘X阿里云：新型架构支持2025春招季千万用户高并发访问！
51
8
智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
75
9
一文带你从入门到实战全面掌握RocketMQ核心概念、架构部署、实践应用和高级特性
501
10
智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
91