2024-05-15
354

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-05-15
387

K8s挂载PVC日志采集“轻量级”玩法

本文介绍一种使用K8s挂载PVC日志采集时的轻量级部署方式。

387
144797

一键生成视频,用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源,并且带领大家在 ComfyUI 环境下使用 SVD的模型,根据任何图片生成一个小短视频。

2023-06-25
9995

MaxCompute湖仓一体近实时增量处理技术架构揭秘

本文将介绍阿里云云原生大数据计算服务MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。

9,995
2024-05-15
108842

FunASR 语音大模型在 Arm Neoverse 平台上的优化实践

Arm 架构的服务器通常具备低功耗的特性,能带来更优异的能效比。相比于传统的 x86 架构服务器,Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要,因为大模型通常需要大量的计算资源,而能效比高的 Arm 架构服务器可以提供更好的性能和效率。

108,842
2024-05-15
103430

手把手教你捏一个自己的Agent

Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。

103,430
2021-08-13
1708

用SLS配置日志关键字告警的N种方法

本文主要介绍一种免运维,高性能,支持灵活配置的方案,使用SLS接入日志和告警。

1,708
2024-05-15
302

从零构建现代深度学习框架(TinyDL-0.01)

本文主要以一个Java工程师视角,阐述如何从零(无任何二三方依赖)构建一个极简(麻雀虽小五脏俱全)现代深度学习框架(类比AI的操作系统)。

302
1
...
5
6
7
...
17
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
6/17