本文介绍 Higress 将 Wasm 插件的运行时从 V8 切换到 WebAssembly Micro Runtime (WAMR) 的最新进展。
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
目前 MSE 服务治理的 离群实例摘除、标签路由、金丝雀发布、全链路灰度等功能已经使用该路由方案，经过我们的压测与演练，在CPU、RT等方面均有不少提升，以 Demo 应用为例 (服务调用的跳数为2，下游30节点，每个节点1c2g) 其中调用 RT 提升约 6.7%。
本文介绍了Higress，一个支持基于WebAssembly (WASM) 的边缘计算网关，它允许用户使用Go、C++或Rust编写插件来扩展其功能。文章特别讨论了如何利用Redis插件实现限流、缓存和会话管理等高级功能。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
灰度发布是一种常见的对新版本应用服务的发布手段，其特点在于能够将流量在服务的稳定版本和灰度版本之间时刻切换，以帮助我们用更加可靠的方式实现服务的升级。
SLS 推出了 SPL 语言，可以高效的对日志数据的清洗，加工。对 SPL 及 SPL 在阿里云 Flink SLS Connector 中应用进行介绍及举例。
