类目筛选
2024-05-15
352
基于Ingress-APISIX网关实现全链路灰度
本文介绍了通过将 APISIX 提供的灵活的路由能力以及 MSE 提供的全链路灰度能力结合，可以在不需要修改任何业务代码的情况下，轻松实现全链路灰度能力。
352
2024-05-15
334
阿里妈妈展示广告引擎新探索：迈向全局最优算力分配
在绿色计算的大背景下，算力分配将朝着更加高效和智能的方向持续演进。本文将介绍阿里妈妈展示广告引擎在全局视角下优化算力分配的新探索，让在线引擎像变形金刚一样灵活强悍。算力在提倡节能减排，降本增效，追求绿色技术的大趋势下，充分利用好算力资源，尤其是在阿里妈妈展示广告引擎这种使用近百万core机器资源的业...
334
2024-05-15
228
MSE服务治理最佳实践：基于Ingress-nginx网关实现全链路灰度
微服务架构下，有一些需求开发涉及到微服务调用链路上的多个微服务同时改动。通常每个微服务都会有灰度环境或分组来接受灰度流量。我们希望进入上游灰度环境的流量也能进入下游灰度的环境中，确保1个请求始终在灰度环境中传递。即使这个调用链路上有一些微服务应用不存在灰度环境，那么这些微服务应用在请求下游应用的时候依然能够回到下游应用的灰度环境中。我们通过 MSE 提供的全链路灰度能力，可以在不需要修改任何业务代码的情况下，轻松实现上述所说的全链路灰度能力。
228
2024-05-15
522
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
522
2024-05-15
124
浅谈弹性计算管控可观测性体系建设
为什么需要可观测性？可观测性技术对业务团队的价值有哪些？如何建设一个可观测性技术体系？本文将从整体架构到核心设计一一为大家讲解。
124