魔搭社区利用 NVIDIA TensorRT-LLM 加速开源大语言模型推理

简介: 魔搭社区于 2022 年 11 月初创建,首次在业界提出了 “模型即服务”( MaaS, Model as a Service)的理念。

“魔搭社区是中国最大的模型开源社区,致力给开发者提供模型即服务的体验。魔搭社区利用 NVIDIA TensorRT-LLM,大大提高了大语言模型的推理性能,方便了模型应用部署,提高了大模型产业应用效率,更大规模地释放大模型的应用价值。”


周文猛,魔搭社区技术负责人,阿里巴巴通义实验室技术总监

魔搭上线 TensorRT-LLM,支持开源LLM模型推理加速

魔搭社区于 2022 年 11 月初创建,首次在业界提出了 “模型即服务”( MaaS, Model as a Service)的理念。在过去一年半的时间里,MaaS 这一理念不仅实现了技术落地,也被行业广泛接纳,并成为与 IaaS、SaaS、PaaS 服务的又一新的技术范式。

2023 年 7 月,Meta 宣布开源 Llama 2 模型,改变了整个大语言模型(LLM)行业的竞争格局。通过繁荣的开源生态,大语言模型迎来了群策群力的技术迭代和突破。

国内外优秀的大语言模型,如 ChatGLM、零一万物、书生·浦语系列、通义千问等,都将魔搭社区作为开源模型首发平台。魔搭社区成为了大模型发展的技术风向标,在中国的开发者群体中,形成了广泛的 “找模型,用模型,上魔搭社区” 的观念认同,从而建成了中国最大开源模型社区。

魔搭社区现在上线了 NVIDIA TensorRT-LLM,TensorRT-LLM 提供了易于使用的应用程序编程接口 (API),以定义和运行大语言模型,支持社区上的各类开源大语言模型(LLM)的推理加速。

查看用户指南:https://modelscope.cn/brand/view/TensorRT-LLM?from=alizishequ__text

目前 TensoRT-LLM 在魔搭社区上已支持的模型类型和推理精度,几乎涵盖了所有主流的大语言/多模态模型以及常用的量化方法,包括 FP32、FP16、BF16、INT8 和 INT4,适用于不同的环境。

LLM 模型推理面临的挑战

计算资源消耗巨大:开源大语言模型参数规模越来越大,比如Qwen1.5-110B 参数规模高达千亿级,对计算资源的需求庞大。在没有优化的情况下直接部署,不仅成本高昂,而且对硬件要求高。

推理延迟高:大语言模型的推理时间长,尤其是在实时交互式应用中,如聊天机器人、语音助手等,高延迟会严重影响用户体验。

能效比低:计算密集型工作流意味着更高的能耗,这对于追求绿色计算和可持续发展的现代数据中心而言是一个重要问题。

部署复杂度高:模型优化、适配不同硬件平台、以及持续维护升级等都是挑战,尤其对于非专业用户来说,部署一个高性能的语言模型服务并不容易。

TensorRT-LLM 如何提升 LLM 模型推理效率

1. 极致性能优化:TensorRT-LLM 是基于 TensorRT API 生态系统构建的,专为大规模语言模型优化的推理引擎。它利用 GPU 的强大并行计算能力,通过算法优化、层融合、量化等技术显著减少模型推理所需的计算量和内存占用,从而提升推理速度,降低延迟。

2. 高效率与低功耗:通过精心设计的优化策略,TensorRT-LLM能够在不牺牲模型精度的前提下,大幅提高能效比,这对于数据中心的成本控制和环境友好至关重要。

3. 简化部署流程:提供一键式的模型优化与部署工具,简化了从训练到推理的整个流程。即便是复杂的模型结构,开发者也能轻松地将其部署到GPU 上,大大降低了技术门槛,加速了产品上市时间。

4. 广泛兼容性与可扩展性:支持魔搭社区的多种主流的深度学习框架和开源模型架构,如 Transformer 系列模型。TensorRT-LLM 设计灵活,便于未来适应更多先进的模型技术和算法创新的更新,保持技术领先性。

在 TensorRT-LLM 和 Triton 推理服务器的加持下,魔搭社区正在为开发者提供更为全面、高效、快捷的模型推理部署方案。

未来,魔搭社区计划将在生成式 AI 的模型和软件加速库层面,与 NVIDIA 相关团队继续开展合作,推动大语言模型的广泛应用和落地。

点击或复制链接到浏览器,查看用户指南:https://modelscope.cn/brand/view/TensorRT-LLM?from=alizishequ__text

相关文章
|
5月前
|
机器学习/深度学习 存储 缓存
加速LLM大模型推理,KV缓存技术详解与PyTorch实现
大型语言模型(LLM)的推理效率是AI领域的重要挑战。本文聚焦KV缓存技术,通过存储复用注意力机制中的Key和Value张量,减少冗余计算,显著提升推理效率。文章从理论到实践,详细解析KV缓存原理、实现与性能优势,并提供PyTorch代码示例。实验表明,该技术在长序列生成中可将推理时间降低近60%,为大模型优化提供了有效方案。
734 15
加速LLM大模型推理,KV缓存技术详解与PyTorch实现
|
5月前
|
人工智能 自然语言处理 测试技术
能够双向推理的LLM!Dream-7B:港大联合华为开源的扩散推理模型,能够同时考虑前后文信息
Dream-7B是由香港大学与华为诺亚方舟实验室联合研发的开源扩散大语言模型,采用独特的掩码扩散范式,在文本生成、数学推理和代码编写等任务中展现出卓越性能。
228 3
能够双向推理的LLM!Dream-7B:港大联合华为开源的扩散推理模型,能够同时考虑前后文信息
|
6月前
|
人工智能 数据可视化 API
36.7K star!拖拽构建AI流程,这个开源LLM应用框架绝了!
`Flowise` 是一款革命性的低代码LLM应用构建工具,开发者通过可视化拖拽界面,就能快速搭建基于大语言模型的智能工作流。该项目在GitHub上线不到1年就斩获**36.7K星标**,被开发者誉为"AI时代的乐高积木"。
304 8
|
2月前
|
人工智能 自然语言处理 API
AI-Compass LLM推理框架+部署生态:整合vLLM、SGLang、LMDeploy等顶级加速框架,涵盖本地到云端全场景部署
AI-Compass LLM推理框架+部署生态:整合vLLM、SGLang、LMDeploy等顶级加速框架,涵盖本地到云端全场景部署
AI-Compass LLM推理框架+部署生态:整合vLLM、SGLang、LMDeploy等顶级加速框架,涵盖本地到云端全场景部署
|
5月前
|
机器学习/深度学习 人工智能 算法
RAGEN:RL训练LLM推理新范式!开源强化学习框架让Agent学会多轮决策
RAGEN是一个基于StarPO框架的开源强化学习系统,通过马尔可夫决策过程形式化Agent与环境的交互,支持PPO、GRPO等多种优化算法,显著提升多轮推理训练的稳定性。
463 5
RAGEN:RL训练LLM推理新范式!开源强化学习框架让Agent学会多轮决策
|
6月前
|
人工智能 并行计算 语音技术
Open-LLM-VTuber:宅男福音!开源AI老婆离线版上线,实时语音+Live2D互动还会脸红心跳
Open-LLM-VTuber 是一个开源的跨平台语音交互 AI 伴侣项目,支持实时语音对话、视觉感知和生动的 Live2D 动态形象,完全离线运行,保护用户隐私。
480 10
Open-LLM-VTuber:宅男福音!开源AI老婆离线版上线,实时语音+Live2D互动还会脸红心跳
|
5月前
|
人工智能 自然语言处理 数据可视化
89.4K star!这个开源LLM应用开发平台,让你轻松构建AI工作流!
Dify 是一款开源的 LLM 应用开发平台,通过直观的可视化界面整合 AI 工作流、RAG 管道、智能代理等功能,助你快速实现从原型到生产的跨越。支持本地部署和云端服务,提供企业级功能与完整 API 接口。
240 4
|
4月前
|
机器学习/深度学习 数据采集 人工智能
20分钟掌握机器学习算法指南
在短短20分钟内,从零开始理解主流机器学习算法的工作原理,掌握算法选择策略,并建立对神经网络的直观认识。本文用通俗易懂的语言和生动的比喻,帮助你告别算法选择的困惑,轻松踏入AI的大门。
|
10月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
851 6

热门文章

最新文章