本文基于阿里云技术服务团队和产研团队，在解决易易互联使用 MSE（微服务引擎）产品无损上线功能所遇到问题的过程总结而成。本文将从问题和解决方法谈起，再介绍相关原理，后进一步拓展到对微服务引擎和云原生网关无损上线能力的介绍。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本教程将带领大家免费领取阿里云PAI-EAS的免费试用资源，并且带领大家在 ComfyUI 环境下使用 SVD的模型，根据任何图片生成一个小短视频。
本文介绍了通过将 APISIX 提供的灵活的路由能力以及 MSE 提供的全链路灰度能力结合，可以在不需要修改任何业务代码的情况下，轻松实现全链路灰度能力。
