vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
资源编排服务（Resource Orchestration Service， 简称ROS）是阿里云提供的一项简化云计算资源管理的服务。您可以遵循ROS定义的模板规范编写资源栈模板，在模板中定义所需的云计算资源（例如ECS实例、RDS数据库实例）、资源间的依赖关系等。
本文提供在阿里云云服务器ECS上基于CentOS 7.9 64位操作系统搭建高可用的小程序服务端的指引。同时指导您在本地开发一个简单的微信/支付宝小程序——ECS小助手，通过远程调用部署在ECS上的服务端，实现在小程序中输入框输入ECS实例ID查询实例详细信息的功能。
近日，元象发布其首个Moe大模型 XVERSE-MoE-A4.2B， 采用混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。
我一直都想要有一个漫画版的头像，奈何手太笨，用了很多软件 “捏不出来”，所以就在想着，是否可以基于 AI 实现这样一个功能，并部署到 Serverless 架构上让更多人来尝试使用呢。
本文从常见的微服务治理场景出发，从流量路由这个场景入手。先是根据流量路由的实践设计流量路由的 Spec，同时在 Spring Cloud Alibaba 中实践遵循 OpenSergo 标准的流量路由能力。
