2024-05-15
108853

FunASR 语音大模型在 Arm Neoverse 平台上的优化实践

Arm 架构的服务器通常具备低功耗的特性,能带来更优异的能效比。相比于传统的 x86 架构服务器,Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要,因为大模型通常需要大量的计算资源,而能效比高的 Arm 架构服务器可以提供更好的性能和效率。

108,853
2024-05-15
360

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-05-15
230

线上故障突突突?如何紧急诊断、排查与恢复

本文简单介绍了阿里云上关于故障恢复、诊断的一些最佳实践。

230
2024-05-15
164

链路追踪(Tracing)其实很简单——链路成本进阶指南

广义上的链路成本,既包含使用链路追踪产生的数据生成、采集、计算、存储、查询等额外资源开销,也包含链路系统接入、变更、维护、协作等人力运维成本。为了便于理解,本小节将聚焦在狭义上的链路追踪机器资源成本,人力成本将在下一小节(效率)进行介绍。

164
2024-05-22
60069

基于 Prometheus 的超算弹性计算场景下主机监控最佳实践

超算快速弹性伸缩场景下,如何构建一套准确、快速、可靠的监控体系成为关键点。阿里云在超算场景的主机监控落地实践,解决超算场景面临的挑战,交付一套可靠和全面的主机监控体系。

2023-05-15
6986

消息队列之 MetaQ 和 Kafka 区别和优势详解

本篇文章介绍MetaQ和Kafka这两个消息队列的区别和优势。

6,986
2024-05-15
111934

浅析MySQL代价估计器

代价估计是优化其中非常重要的一个步骤,研究代价估计的原理和MySQL的具体实现对做SQL优化是非常有帮助。本文有案例有代码,由浅入深的介绍了代价估计的原理和MySQL的具体实现。

111,934
2024-05-15
103441

手把手教你捏一个自己的Agent

Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。

103,441
2024-05-15
61429

走进RDS之MySQL内存分配与管理(中)

MySQL内存分配与管理总体上分为上中下三篇介绍,本篇为中篇,主要介绍 InnoDB 的内存构成和使用,代码版本主要基于8.0.25。

61,429
1
...
7
8
9
...
34
到第
8/34