类目筛选
2024-05-15
1125
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,125
2024-07-09
1462
阿里云百炼应用实践系列-基于LlamaIndex的文档问答助手
本文以阿里云百炼官方文档问答助手为例，介绍如何基于阿里云百炼平台打造基于LlamaIndex的RAG文档问答产品。我们基于阿里云百炼平台的底座能力，以官方帮助文档为指定知识库，搭建了问答服务，支持钉钉、Web访问。介绍了相关技术方案和主要代码，供开发者参考。
1,462
2024-09-03
324
MySQL 8.0：filesort 性能退化的问题分析
用户将 RDS MySQL 实例从 5.6 升级到 8.0 后，发现相同 SQL 的执行时间增长了十几倍。本文就该问题逐步展开排查，并最终定位根因。
324
2024-11-15
965
【提效】docker镜像构建优化-提速10倍
本文主要记录了自己通过查阅相关资料，一步步排查问题，最后通过优化Docerfile文件将docker镜像构建从十几分钟降低到1分钟左右，效率提高了10倍左右。
965