vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
超算快速弹性伸缩场景下，如何构建一套准确、快速、可靠的监控体系成为关键点。阿里云在超算场景的主机监控落地实践，解决超算场景面临的挑战，交付一套可靠和全面的主机监控体系。
在本文中，我们将深入探讨为何选择 iLogtail，以及它在 SPL 数据处理方面相较于 Logstash 有何独特优势。通过对比这两款工具的架构、性能以及功能，我们希望能够揭示 iLogtail 如何在日益复杂的日志处理需求中脱颖而出，帮助您做出明智的技术选择。
本文将带领大家来体验一下如何将“千问大模型+文本向量化模型”植入到PG|PolarDB中, 让数据库具备AI能力.
2023年10月31日，杭州·云栖大会，阿里云技术主论坛带来了一场关于阿里云主力产品与技术创新的深度解读，阿里云网络产品线负责人祝顺民带来《云智创新，网络随行》的主题发言，针对阿里云飞天洛神云网络（下文简称洛神网络）领域产品服务创新以及背后的技术积累进行了深度解读，不少背后的创新技术系首次重磅披露。
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
本文提供一种相对Sidecar部署更轻量级的采集方式，只需要部署少量的Logtail容器，即可采集不同业务容器的日志。
