vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本文是[全景剖析容器网络数据链路]第三部分，主要介绍Kubernetes Terway ENIIP模式下，数据面链路的转转发链路。
端到端链路追踪是覆盖全部关联 IT 系统，能够完整记录用户行为在系统间调用路径与状态的最佳实践方案。而真正实现端到端链路追踪，需要解决三个难题：链路插桩、链路采集与加工、链路上下文透传。阿里云 ARMS 目前已支持全链路端到端追踪，快来查看转发吧~
Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。
本文是[全景剖析容器网络数据链路]第四部分部分，主要介绍Kubernetes Terway EBPF+IPVLAN模式下，数据面链路的转转发链路。
在今天这样以AIGC为代表的AI时代下，了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告，来看看AIGC对于存储有哪些具体的性能要求。
