2024-05-15
362

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-05-16
56180

容器内存可观测性新视角:WorkingSet 与 PageCache 监控

本文介绍了 Kubernetes 中的容器工作内存(WorkingSet)概念,它用于表示容器内存的实时使用量,尤其是活跃内存。

2023-12-01
894

Koordinator 助力云原生应用性能提升,小红书混部技术实践

本文基于 2023 云栖大会上关于 Koordinator 分享的实录,介绍小红书通过规模化落地混部技术来大幅提升集群资源效能,降低业务资源成本。

894
2023-09-08
470

MaxCompute半结构化数据思考与创新

本文将介绍MaxCompute在半结构化数据方面的一些思考与创新,围绕半结构化数据简析、传统方案优劣对比、MaxCompute半结构化数据解决方案、收益分析。

470
2024-05-15
746

基于PAI-DSW快速启动Stable Diffusion WebUI

基于PAI-DSW快速启动Stable Diffusion WebUI,创作你的专属冬日主题AI画作!

746
2024-05-15
135587

基于客户真实使用场景的云剪辑Timeline问题解答与代码实操

本文为阿里云智能媒体服务IMS「云端智能剪辑」实践指南第6期,从客户真实实践场景出发,分享一些Timeline小技巧(AI_TTS、主轨道、素材对齐),助力客户降低开发时间与成本。

135,587
2024-05-15
393

元象大模型开源30款量化版本 加速低成本部署丨附教程

元象大模型一次性发布30款量化版本,全开源,无条件免费商用。

2024-05-15
388

Multi-Agent实践第6期:面向智能体编程:狼人杀在AgentScope

本期文章,我们会介绍一下AgentScope的一个设计哲学(Agent-oriented programming)

2024-05-15
55645

更优性能与性价比,从自建 ELK 迁移到 SLS 开始

本文介绍了 SLS 基本能力,并和开源自建 ELK 做了对比,可以看到 SLS 相比开源 ELK 有较大优势。

55,645
1
...
7
8
9
...
18
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
8/18