异构计算

首页 标签 异构计算
# 异构计算 #
关注
19248内容
vLLM 架构学习指南
vLLM是高性能大模型推理引擎,核心创新为PagedAttention内存管理与连续批处理技术,显著提升显存利用率和吞吐量。本指南系统讲解其架构设计、源码结构与学习路径,助你从入门到贡献代码,掌握高效LLM服务化能力。
SGLang 架构学习指南
SGLang 架构学习指南你好!👋 我是你的 SGLang 学习教练。
|
18小时前
| |
vLLM推理加速指南:7个技巧让QPS提升30-60%
GPU资源有限,提升推理效率需多管齐下。本文分享vLLM实战调优七招:请求塑形、KV缓存复用、推测解码、量化、并行策略、准入控制与预热监控。结合代码与数据,助你最大化吞吐、降低延迟,实现高QPS稳定服务。
|
2天前
| |
来自: 物联网
一种基于连续相位频移键控的高效频谱利用新型雷达信号——论文阅读
本文提出一种基于连续相位频移键控(CPFSK)的新型雷达信号设计方法,通过确保频率切换时相位连续,有效抑制频谱旁瓣与能量泄漏。相比传统FSK信号,该方法在不牺牲脉冲压缩性能的前提下,实现旁瓣降低约20dB,显著提升频谱利用效率,适用于复杂电磁环境下的高性能雷达系统。
阿里云服务器多少钱一年?连夜整理2025最新租赁收费价格表
2025阿里云服务器优惠汇总:轻量应用服务器2核2G/200M峰值带宽,秒杀价38元/年起;ECS云服务器2核2G/3M带宽99元/年,2核4G/5M带宽199元/年;4核16G和8核32G高配机型分别89元/月、160元/月;香港轻量服务器200M带宽25元/月起。配置丰富,新老用户同享,续费同价,详情见官方活动页。
阿里云无影云电脑具体价格:个人版、企业版和免费云电脑配置介绍
阿里云无影云电脑2025年最新价格:企业版4核8G低至199元/年,支持办公与设计;个人版分黄金到黑金多款,月费14元起,适配云游戏与AI办公。含GPU高配机型,另享免费试用。
阿里云服务器收费标准:2025年10月最新价格表,ECS、轻量和GPU云服务器报价清单
2025年10月阿里云服务器优惠延续,轻量应用服务器200M带宽38元/年起,ECS 2核2G 99元/年、2核4G 199元/年,4核16G 89元/月,8核32G 160元/月,香港轻量25元/月起,新老用户同享,续费不涨价。
144_推理时延优化:Profiling与瓶颈分析 - 使用PyTorch Profiler诊断推理延迟,优化矩阵运算的独特瓶颈
在2025年的大模型时代,推理时延优化已经成为部署LLM服务的关键挑战之一。随着模型规模的不断扩大(从数亿参数到数千亿甚至万亿参数),即使在最先进的硬件上,推理延迟也常常成为用户体验和系统吞吐量的主要瓶颈。
免费试用