并行计算

首页 标签 并行计算
# 并行计算 #
关注
5275内容
|
22小时前
| |
vLLM、SGLang 与 TensorRT-LLM 综合对比分析报告
vLLM、SGLang与TensorRT-LLM是三大主流大模型推理引擎。vLLM以PagedAttention实现高吞吐与易用性,适合通用场景;SGLang凭借RadixAttention和结构化生支持,在多轮对话与复杂推理中表现突出;TensorRT-LLM深度优化NVIDIA硬件,追求极致性能,适用于大规模生产部署。三者各有侧重,vLLM均衡通用,SGLang擅长复杂任务,TensorRT-LLM性能领先,选型需结合场景、硬件与成本综合考量。
7种常见鸟类分类图像数据集(8000张图片已划分)|AI训练适用于目标检测任务
本数据集包含8000张7类常见鸟类图像,涵盖麻雀、鸽子、乌鸦等,已划分训练与验证集,适用于AI目标检测与分类任务,支持YOLO、ResNet等模型,助力生态监测与科研教学。
厨房食品卫生与安全检测14类数据集(18万张图片,已划分、已标注)——AI智能检测的行业实践基石
本数据集包含18万张标注图像,覆盖蟑螂、老鼠、口罩佩戴等14类厨房安全目标,专为YOLO等目标检测模型设计,助力AI实现厨房卫生智能监控,推动食品安全数字化升级。
|
1天前
|
牛逼,DeepSeek-OCR 最新免费,引爆文档处理效率的黑科技模型
小华同学推荐:DeepSeek-OCR,由DeepSeek-AI开源的高效OCR工具,支持视觉压缩编码、结构化输出(如Markdown),可批量处理海量文档,适配PDF/图片,兼容vLLM,助力企业级文档自动化。
|
6天前
|
vLLM 性能优化实战:批处理、量化与缓存配置方案
本文深入解析vLLM高性能部署实践,揭秘如何通过continuous batching、PagedAttention与前缀缓存提升吞吐;详解批处理、量化、并发参数调优,助力实现高TPS与低延迟平衡,真正发挥vLLM生产级潜力。
|
10天前
| |
用数学重构 AI的设想:流形注意力 + 自然梯度优化的最小可行落地
本文提出两个数学驱动的AI模块:流形感知注意力(D-Attention)与自然梯度优化器(NGD-Opt)。前者基于热核偏置,在局部邻域引入流形结构,降低计算开销;后者在黎曼流形上进行二阶优化,仅对线性层低频更新前置条件。二者均提供可复现代码与验证路径,兼顾性能与工程可行性,助力几何感知的模型设计与训练。
拔俗AI语义大模型软件:让机器真正“懂”你的话
AI语义大模型远非聊天机器人,其核心由三大技术构成:基于Transformer的自注意力机制实现语言理解;通过预训练+微调,从通才成长为专才;结合提示工程与推理优化,提升输出质量与运行效率。这是一套深度融合算法、数据与工程的复杂系统,推动智能应用真正落地。
《数据之美》:图结构的精妙世界与算法实践
图是表示多对多关系的非线性数据结构,由顶点和边组成,可建模社交网络、路径导航等复杂系统。核心算法包括BFS/DFS遍历、Dijkstra最短路径、Floyd-Warshall全源最短路径,以及Prim和Kruskal最小生成树算法,广泛应用于推荐系统、社交分析与路径规划。
免费试用