资源调度

首页 标签 资源调度
# 资源调度 #
关注
7395内容
|
4小时前
| |
Spark 核心之 ClusterManager 原理剖析
本文深度解析 Spark 的 ClusterManager 抽象层:通过 ExternalClusterManager 接口与 ServiceLoader 机制,统一适配 Standalone/YARN/K8s 三大资源管理器。详解 Master URL 路由、源码实现对比及自定义扩展方法,揭示 Spark “调度不变、资源可插拔”的核心设计哲学。(239字)
|
8小时前
|
云上落地一套全域CPS聚合中台:基于容器化的订单归一与退款冲正实践
本文为阿里云环境多通道CPS聚合底座的工程复盘,聚焦订单归一、退款冲正、归因兜底等核心难点,分享ACK+ECS架构下的适配层设计、RocketMQ事务保障、SchedulerX分片调度等实战经验,供同类系统建设参考。(239字)
|
2天前
| |
Spark 核心之 YARN-Cluster 模式:原理、流程与源码级深度拆解
YARN-Cluster是Spark生产环境唯一推荐的部署模式:ApplicationMaster即Driver,SparkContext、DAGScheduler等全运行于AM Container中,实现资源隔离、去客户端化、HDFS本地性与AM重试容错。spark-submit提交后即可退出,全生命周期由YARN托管。(239字)
|
2天前
| |
Spark 核心之 Client 模式提交命令和特点分析
本文深度解析 Spark Client 模式核心——`spark-submit` 命令,涵盖命令全景、Standalone/YARN-Client 对比、六大参数详解、四种实战场景、参数优先级机制,并配原创架构图与可运行示例,助你彻底掌握 Driver 位置、资源分配与配置逻辑。(239字)
|
2天前
|
指纹浏览器卡顿很慢怎么优化?从资源分配到使用习惯的实操指南
指纹浏览器卡顿主因是“环境数量×单环境资源×宿主配置”失衡,非软件本身缺陷。本文从资源分配、环境精简、宿主调优、云资源弹性四维度,提供可落地优化方案,并附排查清单与常见误区,助跨境团队不换设备即显著提升多开流畅度。
|
2天前
| |
Spark 核心之 YARN-Client 模式:原理、流程与源码级深度拆解
本文深度解析 Spark on YARN 的核心部署模式——YARN-Client:Driver 运行于客户端,AM 退化为轻量级 ExecutorLauncher,专注向 ResourceManager 申请 Container 启动 Executor。涵盖 YARN 架构、AM 特性、12 步启动流程及与 Standalone 对比,配原创架构图与完整代码,助你彻底掌握生产环境首选模式。(239字)
|
3天前
| |
Spark Core 之 Spark 基于开发工具的详细配置讲解
本文详解 Spark 开发环境全链路配置:从 JDK 8、Scala 2.12 到 Spark 3.3、Maven 及 IDEA 集成,含可直接复用的生产级 pom.xml、WordCount 源码逐行解析、10 大高频错误排查、4 张原创架构图与四阶段学习路线,助 Java/大数据/AI 工程师快速上手。
LoRA微调和全量微调有什么区别?2026企业训推平台适用场景解析
LoRA微调和全量微调都能让大模型适应企业业务,但两者在参数更新方式、显存需求、训练成本及模型部署上存在明显差异。本文结合企业智能电销场景,分析两种方案的适用条件、常见误区及验证方法,并介绍中关村科金模型训推平台的相关能力。
|
4天前
| |
SparkCore 之 Spark 运行模式系统讲解
本文系统解析 Spark 五大运行模式(Local、Standalone、YARN、Kubernetes、Mesos),涵盖架构原理、spark-submit 配置、client/cluster 深度对比及选型决策树,附4张原创图解与实战模板,助力Java/大数据/AI工程师高效落地。
|
5天前
| |
来自: 云原生
npm 私服怎么搭:从安装到配源、scope 和 publish
私有化部署后接 npm:建 HOSTED/PROXY/GROUP,配 .npmrc 与 scope,用最小包跑通 publish/install,并处理 E401、E404、E409。
免费试用