vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
讲述消息系统在现代化演进中软硬一体化，百万队列，分级存储等诸多竞争力特性的诞生和落地效果。探讨业界领先的 Shared-Log 存储计算分离，FFM与协程，RDMA 传输，列式存储等技术，将消息向流的领域延伸。
口腔治疗+函数计算=效率提升🚀 领健作为业界领先的口腔机构，面向口腔诊所提供正畸算法，但早期的算法部署遇到较多问题，因此在对比了阿里云的多个云产品之后，最终选择了函数计算。 通过将 GPU 计算负载放到函数计算，领健技术团队达到了很好的降本效果，相比早前的按月持有 GPU 资源，函数计算的费用降低了 90% 左右，并大大提升了使用体验，实现了前所未有的敏捷性和效率。
在 2024 年春节前夕，修正电商事业部面临了前所未有的技术挑战，修正将参与春晚的全民健康好礼派发的活动，且在央视及各大平台进行广告投放，预计流量激增至 16 亿，系统需要承载保底 5 万 QPS，目标 10 万 QPS。修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验，更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战，修正技术团队选择与阿里云云原生团队合作，进行 APP 架构的升级。