vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
前言树苗科技公司业务上云2年有余，随着技术的不断发展。运维团队支持业务变更配置、开资源、删资源等过程加班到深夜一两点已是家常便饭。为了进一步提升工作效率，运维总监张三决定对当前业务交付路径进行统一梳理，借助IaC的理念和Terraform自动化工具逐步实施运维生产自动化，改善组内成员频繁加班且重复劳...
端到端链路追踪是覆盖全部关联 IT 系统，能够完整记录用户行为在系统间调用路径与状态的最佳实践方案。而真正实现端到端链路追踪，需要解决三个难题：链路插桩、链路采集与加工、链路上下文透传。阿里云 ARMS 目前已支持全链路端到端追踪，快来查看转发吧~
Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。
软件系统有三个追求：高性能、高并发、高可用，俗称三高。本篇讨论高并发，从高并发是什么到高并发应对的策略、缓存、限流、降级等。
随着云计算的普及，越来越多的传统企业客户也在选择把IDC的业务系统搬到公共云上，实现更大的弹性、更强的灵活性、更高的性价比。但与泛互联网型企业的轻资产相比，传统企业的云下IT规模较大，有比较沉重历史包袱重，以及各种行业安全规范的约束，所以对于网络的规划设计、部署使用、运维管理都有自己的要求，仅仅具备云产品的初级使用能力已不能满足实际使用需求。企业级云上网络架构的重点是帮助企业用户更高效地搭建安全可靠的云上网络架构，本文主要针对企业客户在云上的南北向流量（访问internet/被internet用户访问）和东西向流量（企业内部VPC互访）的互访、安全、管理等多方面需求，利用CEN-TR（云企业网企业版）实现云上东西向+南北向流量安全和统一公网出口的最佳实践。
