vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
在系统开发、运维过程中，日志是最重要的信息之一，其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理，当前全面升级，集成 SPL 语言、更强的数据处理性能、更优的使用成本。
本文旨在对 Istio Ambient Mesh 的流量路径进行详细解读，力求尽可能清晰地呈现细节，以帮助读者完全理解 Istio Ambient Mesh 中最为关键的部分。
基于PAI-DSW快速启动Stable Diffusion WebUI，创作你的专属冬日主题AI画作！
青团社是国内领先的一站式灵活用工招聘服务企业，灵活用工行业的 Top1。青团社于 2013 年在杭州成立，业务已经覆盖全国，在行业深耕 10 年。我的分享将分为以下三部分：青团社架构演进的历程、青团社如何实现云原生、总结与展望。
阿里云OOS提供了定时升级Redis实例临时带宽的功能，以应对数据驱动业务中的流量高峰。这个功能允许用户根据预测的业务负载，在特定日期和时间自动增加Redis实例的带宽，确保服务性能和稳定性。在高流量事件结束后，带宽会自动恢复到原设置，节省成本。 此功能适用于电商平台促销、大型游戏更新等场景，确保在流量高峰期间的系统稳定运行。
