PyTorch

首页 标签 PyTorch
# PyTorch #
关注
5045内容
|
5天前
| |
来自: 视觉智能
做AI视频时,线稿太乱、主体看不清怎么办?
AI视频线稿杂乱或主体轮廓断裂时,可固定同一参考片和输出设置,分别调整Canny阈值,记录轮廓、干扰线与播放稳定性,选出适合交接的控制素材。
阿里云渠道商:GPU单卡、双卡和8卡怎么选?企业项目如何估算
阿里云GPU单卡、双卡和8卡怎么选,首先要说明增加卡数是为了装下模型,还是为了更快完成任务。两者可能得到完全不同的配置:数据并行通常在各卡保留模型副本,模型并行才会按具体策略分担权重或计算。对企业项目而言,先区分显存不足、计算时间过长和请求排队,再估算卡数,比直接从“几卡服务器”开始询价更可靠。
模型量化完全指南:GGUF、GPTQ、AWQ 怎么选
本指南详解大模型量化核心:显存为何能减半/四分之一?GGUF(CPU/GPU通用,Q4_K_M甜点)、GPTQ(PyTorch生态,4/8bit)、AWQ(激活感知,vLLM服务首选)三大方案适用场景与选型逻辑——不比谁压得狠,而看“你的显存配哪档最划算”。
vLLM高吞吐推理引擎:本地高并发推理服务
vLLM是面向高并发服务的高性能大模型推理引擎,通过PagedAttention(KV缓存分页管理)和continuous batching(请求随到随插)两大核心技术,显著提升吞吐量与显存利用率,轻松实现比HuggingFace Transformers高一个量级的推理性能。
显存计算与模型选择:你的显卡能跑多大的模型
本篇直击本地部署核心痛点:显存不够?模型选错?用公式(权重+KV Cache+开销)教你精准估算,附8/12/16/24/48GB显存档位经验表,明确给出“24G甜点是32B Q4_K_M”,告别OOM玄学。
|
22天前
|
Spexis 是什么:vLLM 上提速 34% 的投机并行轴
Spexis是2026年提出的多卡LLM推理框架,将投机解码升维为“投机并行”(SP),通过自投机与流水线重叠执行,在不增KV缓存前提下提升吞吐,相较PP+TP基线最高加速34%。(239字)
ACE-Step-1.5 本地 AI 音乐模型实战|text2music 歌词转人声,部署脚本、参数调优与排坑全记录
本文是 ACE-Step-1.5 开源音乐模型的本地部署实测笔记,涵盖 Windows 环境下从硬件检测、WebUI 启动、Python 脚本调用到音频后处理的完整流程,适配 8G 显存设备,含 OOM 修复方案与 FFmpeg 批处理技巧。(239 字)
|
24天前
|
Deepytorch是什么?阿里云GPU服务器百科指南
Deepytorch是阿里云自研AI加速器,专为生成式AI与大模型训练/推理优化。含Training(兼容PyTorch/DeepSpeed/Megatron)与Inference(免配置即时编译)两大模块,性能强、精度稳,属神行工具包,免费搭配阿里云GPU服务器使用。阿里云GPU服务器官网:https://t.aliyun.com/U/tbBeAi
亮点抢先看!AMD、中兴通讯等企业大咖解码下一代 OS|2026 云栖大会
一览来自 AMD、中兴通讯、阿里云、英特尔,以及上海交通大学等企业/高校专家的精彩金句和重磅议题。
免费试用