本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。
ZooKeeper 作为应用的核心中间件在业务流程中存储着敏感数据，具有关键作用。正确且规范的使用方法对确保数据安全至关重要，否则可能会因操作不当而导致内部数据泄露，进而带来严重的安全风险。因此，在日常的 ZooKeeper 运维和使用过程中，标准化和安全的操作对于加强企业安全防护和能力建设显得格外关键。为了实现这一目标，MSE 提供了一整套标准化流程，帮助用户以更安全、更简便的方式使用 ZooKeeper，从而加速企业安全能力的提升同时最大程度地降低在变更过程中可能出现的风险。
Higress 最新的 1.4 版本基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。
SDCon 全球软件技术大会上，阿里云通义灵码团队分享了关于 AI 辅助编码的最新研究与实践，随着 AIGC 技术的发展，软件研发领域将迎来智能化的新高度，助力 DevOps 流程优化，提升研发效率和研发幸福感。
在本文中，作者介绍了 Lingma SWE-GPT，一款专为解决复杂软件改进任务设计的开源大型语言模型系列。