类目筛选
LISA微调技术解析：比LoRA更低的显存更快的速度
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。
联合XTuner，魔搭社区全面支持数据集的长文本训练
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
海量大模型如何一键部署上云，函数计算 x ModelScope 社区给出答案
得益于阿里云函数计算的产品能力，魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩（缩零能力）、GPU 虚拟化（最小 1GB 显存粒度）、异步调用能力、按用付费、闲置计费等能力，这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
【实战干货】AI大模型工程应用于车联网场景的实战总结
本文介绍了图像生成技术在AIGC领域的发展历程、关键技术和当前趋势，以及这些技术如何应用于新能源汽车行业的车联网服务中。
NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关
NSDI‘24于4月16-18日在美国圣塔克拉拉市举办，阿里云飞天洛神云网络首次中稿NSDI，两篇论文入选。其中《LuoShen: A Hyper-Converged Programmable Gateway for Multi-Tenant Multi-Service Edge Clouds》提出超融合网关LuoShen，基于Tofino、FPGA和CPU的新型硬件形态，将公有云VPC设施部署到边缘机柜中，实现小型化、低成本和高性能。该方案使成本降低75%，空间占用减少87%，并提供1.2Tbps吞吐量，展示了强大的技术竞争力。
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
