2024-05-15
408

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

112

从故障演练到运维工具产品力评测的探索 | 龙蜥技术

随着AI和云原生技术的发展,业界运维工具百花齐放,该如何让优秀的工具脱颖而出?

2024-05-15
567

从0-1的建设云上稳定性

本文将从前后端的视角整体看下我们在云上稳定性治理的一些路径和经验。首先从平台的系统架构模型出发,站在全局视角看下整个平台的风险。

567
2024-05-15
193

联合XTuner,魔搭社区全面支持数据集的长文本训练

XTuner和魔搭社区(SWIFT)合作引入了一项长序列文本训练技术,该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU,从而减少每个GPU上的显存占用。通过这种方式,训练超大规模模型时可以处理更长的序列,提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术,支持多种大模型和数据集的训练。此外,SWIFT还提供了一个用户友好的界面,方便用户进行训练和部署,并且支持评估功能。

2024-06-18
16589

Dubbo3 服务原生支持 http 访问,兼具高性能与易用性

本文展示了 Dubbo3 triple 协议是如何简化从协议规范与实现上简化开发测试、入口流量接入成本的,同时提供高性能通信、面向接口的易用性编码。

16,589
2024-08-12
7308

使用对比!SLS 数据加工 SPL 与旧版 DSL 场景对照

本文讨论在不同的数据处理需求中,新版数据加工 SPL 与旧版数据加工 DSL 的使用对照。

7,308
2023-07-21
137760

如何使用AnalyticDB PostgreSQL 版实现“一站式全文检索”业务

本文从阿里云用户使用云原生数据仓库AnalyticDB PostgreSQL版(以下简称ADB PG)的实际体验出发,介绍ADB PG如何实现“一站式全文检索”业务,并详细阐述ADB PG使用的优势技术,最后提供对应业务案例分析。

137,760
2023-09-19
832

全网最细,深度解析 Istio Ambient Mesh 流量路径

本文旨在对 Istio Ambient Mesh 的流量路径进行详细解读,力求尽可能清晰地呈现细节,以帮助读者完全理解 Istio Ambient Mesh 中最为关键的部分。

832
2024-05-15
112528

线程操纵术之更优雅的并行策略

本文详细介绍了并行编程以及一些并行问题案例中的真实业务场景。

112,528
1
...
16
17
18
...
38
到第
17/38