2024-05-15
356

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-05-15
66740

无需重新学习,使用 Kibana 查询/可视化 SLS 数据

本文演示了使用 Kibana 连接 SLS ES 兼容接口进行查询和分析的方法。

2024-05-15
108398

深度剖析 RocketMQ 5.0,消息进阶:如何支撑复杂业务消息场景?

本文主要学习 RocketMQ 的一致性特性,一致性对于交易、金融都是刚需。从大规模复杂业务出发,学习 RocketMQ 的 SQL 订阅、定时消息等特性。再从高可用的角度来看,这里更多的是大型公司对于高阶可用性的要求,如同城容灾、异地多活等。

108,398
2024-05-22
60060

基于 Prometheus 的超算弹性计算场景下主机监控最佳实践

超算快速弹性伸缩场景下,如何构建一套准确、快速、可靠的监控体系成为关键点。阿里云在超算场景的主机监控落地实践,解决超算场景面临的挑战,交付一套可靠和全面的主机监控体系。

144800

一键生成视频,用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源,并且带领大家在 ComfyUI 环境下使用 SVD的模型,根据任何图片生成一个小短视频。

2023-09-26
138044

云原生场景下高可用架构的最佳实践

云原生场景下高可用架构的最佳实践

138,044
2024-05-15
841

高并发架构设计三大利器:缓存、限流和降级

软件系统有三个追求:高性能、高并发、高可用,俗称三高。本篇讨论高并发,从高并发是什么到高并发应对的策略、缓存、限流、降级等。

841
2024-05-15
225

全景剖析阿里云容器网络数据链路(四)—— Terway IPVLAN+EBPF

本文是[全景剖析容器网络数据链路]第四部分部分,主要介绍Kubernetes Terway EBPF+IPVLAN模式下,数据面链路的转转发链路。

225
2024-05-15
300

全景剖析阿里云容器网络数据链路(六)—— ASM Istio

本文是[全景剖析容器网络数据链路]第六部分部分,主要介绍ASM Istio模式下,数据面链路的转转发链路。

300
1
...
5
6
7
...
21
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
6/21