Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
鸿蒙操作系统（HarmonyOS）上的日志服务（SLS）SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力，旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。
MSE 云原生网关默认提供了丰富的 Metrics 指标大盘，配合阿里云 Prometheus 监控提供开箱即用的完整可观测性能力，能够帮助用户快捷、高效的搭建自身的微服务网关与对应的可观测体系。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本文提供一种相对Sidecar部署更轻量级的采集方式，只需要部署少量的Logtail容器，即可采集不同业务容器的日志。
