vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
监控运维是一个体系化的工作，完善这个体系非一日之功。但是我们的业务不可一日无监控“裸奔”，在阿里云怎么样快速低成本的建立第一道资源监控的护城河？开箱即用的云监控，将会是你进入阿里云的第一个可靠的小伙伴。
本文将从概念和宏观角度理解什么是流处理。 RocketMQ 5.0，学习 RocketMQ 提供的轻量流处理引擎 RStreams，了解其特性和原理。学习 RocketMQ 的流数据库 RSQLDB，通过流存储和流计算的深度结合，看它如何进一步降低流处理使用门槛。
本文将以Yuan2.0最新发布的Februa模型为例进行测试验证，用更小规模的模型达到更好的效果。
近日，元象发布其首个Moe大模型 XVERSE-MoE-A4.2B， 采用混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。
在绿色计算的大背景下，算力分配将朝着更加高效和智能的方向持续演进。本文将介绍阿里妈妈展示广告引擎在全局视角下优化算力分配的新探索，让在线引擎像变形金刚一样灵活强悍。算力在提倡节能减排，降本增效，追求绿色技术的大趋势下，充分利用好算力资源，尤其是在阿里妈妈展示广告引擎这种使用近百万core机器资源的业...
基于CEN-TR可以实现灵活地组网方案，在面向不同客户业务场景可以选择不同的组网策略。本文介绍了从最简单的VPC互联到各种复杂的组网方案，适用于不同规模企业在网络组网这块的需求。
