类目筛选
【阅读十分钟，百分百成功】——通过大模型实现对客服回答的质量评估
本文章基于业务实践，总结有关客服质检场景的解决方案和处理经验，为相似场景提供可行的借鉴方法。
基于 AI 网关和 llmaz，提升 vLLM 推理服务可用性和部署易用性的实践
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
Function AI 助力用户自主开发 MCP 服务，一键上云高效部署
在 AI 与云原生融合的趋势下，开发者面临模型协同与云端扩展的挑战。MCP（模型上下文协议）提供统一的交互规范，简化模型集成与服务开发。Function AI 支持 MCP 代码一键上云，提供绑定代码仓库、OSS 上传、本地交付物部署及镜像部署等多种构建方式，助力开发者高效部署智能服务，实现快速迭代与云端协同。
【最佳实践】K8s挂载PVC日志采集“轻量级”玩法
本文提供一种相对Sidecar部署更轻量级的采集方式，只需要部署少量的Logtail容器，即可采集不同业务容器的日志。
Modelscope结合α-UMi：基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
LISA微调技术解析：比LoRA更低的显存更快的速度
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。
一线实战：运维人少，我们从 0 到 1 实践 DevOps 和云原生
上海经证科技有限公司为有效推进软件项目管理和开发工作，选择了阿里云云效作为 DevOps 解决方案。通过云效，实现了从 0 开始，到现在近百个微服务、数百条流水线与应用交付的全面覆盖，有效支撑了敏捷开发流程。
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。