2024-05-15
357

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-05-15
103435

手把手教你捏一个自己的Agent

Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。

103,435
2023-08-11
799

Linux 内存管理新特性:Memory folios 解读

本文主要讲解folio ,极其在应用中的直接价值。

799
2021-08-13
1709

用SLS配置日志关键字告警的N种方法

本文主要介绍一种免运维,高性能,支持灵活配置的方案,使用SLS接入日志和告警。

1,709
2023-07-27
43384

一文详解Spring Bean循环依赖

本文主要梳理了Spring解决bean循环依赖的思路。

2024-05-15
108847

FunASR 语音大模型在 Arm Neoverse 平台上的优化实践

Arm 架构的服务器通常具备低功耗的特性,能带来更优异的能效比。相比于传统的 x86 架构服务器,Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要,因为大模型通常需要大量的计算资源,而能效比高的 Arm 架构服务器可以提供更好的性能和效率。

108,847
2024-05-15
210

使用智能媒体生产ICE剪辑OSS视频文件

本篇介绍智能媒体生产ICE一些常见场景,如裁剪、拼接、字幕、ASR等,通过一些时间线示例,介绍如何快速剪辑OSS上的视频文件。

210
2023-11-06
127725

从存储统一到数据融合,SLS在可观测场景的思考和行动

介绍SLS在可观测数据融合分析的一系列技术升级,融合Trace、全栈监控、Continuous Profiling、移动端监控等功能,帮助大家更快速地构筑全栈、自动化的观测能力。

127,725
1
...
4
5
6
...
15
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
5/15