vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
云效流水线可以托管用户的私网环境内的机器，并将构建任务调度到这些机器上，从而确保整个构建过程，和代码库和制品库的交互在私网环境下进行。
好的单元测试不仅可以验证代码结构设计的是否合理，而且可以提前发现代码中的漏洞，将线上风险扼杀在摇篮中。本文从常用的单元测试框架出发，对Mockito框架深入浅出的讲解，希望能帮到每一位同学。
你的useMemo真正为你的项目带来了多少性能上的优化？由于useMemo和useCallback类似，所以本文全文会在大部分地方以useMemo为例，部分例子使用useCallback帮助大家更好的理解两个hooks。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
