并行计算

首页 标签 并行计算
# 并行计算 #
关注
5684内容
本地推理选型的度量架构:从配方库数据治理到成本决策
本地推理没有单一性能指标,速度是模型、权重、硬件、引擎与测量口径五者的乘积。本文以度量架构的视角,分析配方数据的来源分级、容量与算力的双账模型、引擎分层与口径规范化,并给出可复用的选型决策流程。
手把手教你:DataLoader 卡死在第一个 batch?Windows 多进程的坑|AI工程师踩坑实录·第5篇
训练启动后CPU归零、无任何报错地装死,十有八九是Windows多进程的坑。根因是Windows用spawn启子进程会重新import主模块,顶层代码二次执行递归开worker。修法只需把入口放进if name == “main”,全平台通用;快速验证把num_workers设0。
|
6小时前
|
【FHE 同态加密】我们如何实现同态加密推理(十四):为什么 `RESULT=PASS` 不是判据(纯 C11 · 零依赖)
本文揭示同态加密推理中“RESULT=PASS”仅表流程完成,不保数值正确;真实验收须依赖独立复核工具`verify_layer`,以`max|err|≤3e-2`为硬判据,并通过SHA256校验、位级可复现、私钥解密比对等四重机制实现“不信任打包者”的可信验证。(239字)
|
6小时前
|
【FHE 同态加密】我们如何实现同态加密推理(十一):密文链协议——两条不变式,和 112 与 2100 的素数分工
本文介绍Kestrel-LLM中FHE密文链协议:以“lay”(链长112)与“boot”(链长2100)分工实现大模型同态推理接力;强调两条核心不变式——输入/输出形态严格统一,全程单私钥、幂等纯函数,确保可复现、可验证,但仅限机制验证,不具生产级安全强度。(239字)
|
6小时前
|
【FHE 同态加密】我们如何实现同态加密推理(十二):为什么我们把 OpenMP 换成了自研线程池(纯 C11 并行)
本文详解FHE密文推理中为何用纯C11自研线程池替代OpenMP:因FHE并行粒度极细(微秒级),OpenMP频繁fork/join开销反超计算本身。自研池采用持久化线程、自旋+事件混合等待、调用线程参与计算、静态分块与物理核绑定等设计,兼顾性能与确定性,但牺牲可重入性与嵌套并行支持。(239字)
|
22小时前
| |
来自: 数据库
ONNX Runtime嵌入内核+算子下推:库内AI计算的执行链路拆解
外挂向量库的RAG架构,一次语义检索要在应用层和向量库之间走两次网络往返:查业务表拿上下文,再拿上下文去向量库做相似度匹配,最后在应用层拼装。金仓KES AI数据库把AI推理算子下推到数据库执行引擎中,关系过滤与向量相似度计算在同一执行计划中协同完成。本文拆解“计算向数据移动”的范式转变、ONNX Runtime嵌入内核的工程路径,以及算子融合如何把延迟从“两次往返”压到“一次执行”。
阿里云国际版渠道商:GPU 部署 HappyHorse Wan3.0 与 OSS 集成教程
本文详解如何在阿里云国际版GPU服务器部署HappyHorse Wan3.0视频生成模型,对接OSS实现广告视频批量生成与自动归档,涵盖环境配置、安全上传、费用优化及常见问题排障。
|
1天前
| |
来自: 计算巢
手把手教你:loss 变 NaN 用 hook 逐层定位|AI工程师踩坑实录·第4篇
本文是《AI工程师踩坑实录》第4篇,真机复现loss突变NaN两大经典场景:学习率过大致梯度溢出(5步内inf→NaN)与log(0)导致瞬时崩溃。详解如何用forward hook逐层监控,精准定位“哪步、哪层、哪个值先爆”,并给出可落地的修复策略与避坑清单。(239字)
|
1天前
|
秋叶 ComfyUI‑v9.5 整合包本地部署|8G 显存 AI 漫剧绘图与图生图批量渲染实操
本文详解秋叶ComfyUI-v9.5整合包在AI漫剧生产中的实战应用:解决Windows环境配置繁琐、节点安装困难、8G显存OOM及批量API调用等痛点;提供启动参数优化、中文界面支持、IP-Adapter角色锁定与FFmpeg成片合成全流程方案,兼顾易用性与专业性。(239字)
预训练全流程:几千张卡跑几个月,一个大模型是怎么训出来的?
本课详解大模型预训练工程实践:拆解6大核心问题——阶段划分、学习率调度、千卡并行策略、低精度训练与梯度裁剪、loss突崩应对、真实算力利用率(MFU)。源自35讲《大模型系统课程》第9课,含Llama 3等一线实证与可复现计算。在线免费阅读→ https://zhuangzhaoyeye.github.io/llm-course/ (238字)
免费试用