并行计算

首页 标签 并行计算
# 并行计算 #
关注
5679内容
|
13小时前
| |
来自: 数据库
ONNX Runtime嵌入内核+算子下推:库内AI计算的执行链路拆解
外挂向量库的RAG架构,一次语义检索要在应用层和向量库之间走两次网络往返:查业务表拿上下文,再拿上下文去向量库做相似度匹配,最后在应用层拼装。金仓KES AI数据库把AI推理算子下推到数据库执行引擎中,关系过滤与向量相似度计算在同一执行计划中协同完成。本文拆解“计算向数据移动”的范式转变、ONNX Runtime嵌入内核的工程路径,以及算子融合如何把延迟从“两次往返”压到“一次执行”。
阿里云国际版渠道商:GPU 部署 HappyHorse Wan3.0 与 OSS 集成教程
本文详解如何在阿里云国际版GPU服务器部署HappyHorse Wan3.0视频生成模型,对接OSS实现广告视频批量生成与自动归档,涵盖环境配置、安全上传、费用优化及常见问题排障。
|
18小时前
| |
来自: 计算巢
手把手教你:loss 变 NaN 用 hook 逐层定位|AI工程师踩坑实录·第4篇
本文是《AI工程师踩坑实录》第4篇,真机复现loss突变NaN两大经典场景:学习率过大致梯度溢出(5步内inf→NaN)与log(0)导致瞬时崩溃。详解如何用forward hook逐层监控,精准定位“哪步、哪层、哪个值先爆”,并给出可落地的修复策略与避坑清单。(239字)
|
21小时前
|
秋叶 ComfyUI‑v9.5 整合包本地部署|8G 显存 AI 漫剧绘图与图生图批量渲染实操
本文详解秋叶ComfyUI-v9.5整合包在AI漫剧生产中的实战应用:解决Windows环境配置繁琐、节点安装困难、8G显存OOM及批量API调用等痛点;提供启动参数优化、中文界面支持、IP-Adapter角色锁定与FFmpeg成片合成全流程方案,兼顾易用性与专业性。(239字)
预训练全流程:几千张卡跑几个月,一个大模型是怎么训出来的?
本课详解大模型预训练工程实践:拆解6大核心问题——阶段划分、学习率调度、千卡并行策略、低精度训练与梯度裁剪、loss突崩应对、真实算力利用率(MFU)。源自35讲《大模型系统课程》第9课,含Llama 3等一线实证与可复现计算。在线免费阅读→ https://zhuangzhaoyeye.github.io/llm-course/ (238字)
|
1天前
| |
来自: 视觉智能
c# + YOLODotNet+OpenCVSharp 实现物品轨迹追踪
调用电脑摄像头,实时检测画面中的手机,标记手机中心位置,并绘制最近 6 秒的移动轨迹。
手把手教你:标签和图像没对齐,模型一直在学噪声|AI工程师踩坑实录·第3篇
本文是《AI工程师踩坑实录》第3篇,通过本地GPU真实实验揭示一个高隐蔽性陷阱:标签与图像顺序错位(仅10%错位即致准确率从96.2%降至89.3%)。训练loss照常下降,模型却在硬背错误答案。附可复现代码、可视化自查脚本及两道低成本防线。
|
2天前
| |
多模型混合部署的冲突解决:Qwen/ChatGLM/Llama共存的依赖隔离与兼容适配方案28.0
本文详解Qwen、ChatGLM与Llama三大模型混合部署的冲突根源(PyTorch/CUDA/依赖库版本差异)及解决方案:通过Conda虚拟环境或Docker容器实现依赖隔离,辅以版本精准锁定、显存/端口/缓存独立配置,达成单机多模型稳定共存。
Expected all tensors to be on the same device, cuda:0 and cpu:恢复训练时检查 SGD 动量
该问题源于断点续训时优化器状态(如SGD动量缓冲区)未与模型参数同设备,导致`optimizer.step()`中跨设备张量运算失败。前向/反向可正常执行,但动量更新报错“cuda:0 and cpu”。需检查并统一`param`、`grad`及`optimizer.state`中所有Tensor的设备。
AssertionError: Torch not compiled with CUDA enabled:先确认装入的是 CPU 还是 CUDA 构建
本文详解PyTorch“AssertionError: Torch not compiled with CUDA enabled”错误的根源与精准排查方法,厘清`nvcc`/`nvidia-smi`/`torch.version.cuda`三类CUDA版本差异,强调CPU包无法靠装CUDA工具包激活,并提供环境隔离、构建验证及安全回退的完整实践路径。(239字)
免费试用