Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
如何基于向量数据库+LLM（大语言模型），打造更懂你的企业专属Chatbot。
MySQL内存分配与管理总体上分为上中下三篇介绍，本篇为中篇，主要介绍 InnoDB 的内存构成和使用，代码版本主要基于8.0.25。
代价估计是优化其中非常重要的一个步骤，研究代价估计的原理和MySQL的具体实现对做SQL优化是非常有帮助。本文有案例有代码，由浅入深的介绍了代价估计的原理和MySQL的具体实现。
使用阿里云函数计算FC，快速部署AI绘画工具ComfyUI，体验高质量图像生成。新用户可享180元试用额度，包括GPU、vCPU、内存和调用次数。开通FC和文件存储NAS，通过应用中心选择ComfyUI模板创建应用。
在 2024 年春节前夕，修正电商事业部面临了前所未有的技术挑战，修正将参与春晚的全民健康好礼派发的活动，且在央视及各大平台进行广告投放，预计流量激增至 16 亿，系统需要承载保底 5 万 QPS，目标 10 万 QPS。修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验，更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战，修正技术团队选择与阿里云云原生团队合作，进行 APP 架构的升级。
