类目筛选
2024-05-15
1125
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,125
2024-07-09
1462
阿里云百炼应用实践系列-基于LlamaIndex的文档问答助手
本文以阿里云百炼官方文档问答助手为例，介绍如何基于阿里云百炼平台打造基于LlamaIndex的RAG文档问答产品。我们基于阿里云百炼平台的底座能力，以官方帮助文档为指定知识库，搭建了问答服务，支持钉钉、Web访问。介绍了相关技术方案和主要代码，供开发者参考。
1,462
2024-08-06
8547
【AI 冰封挑战】搭档函数计算，“冰”封你的夏日记忆
夏日炎炎，别让高温打败你的创意，立即体验 ComfyUI 自制冰冻滤镜！无需繁琐的后期技巧，三步开启一段清凉无比的视觉探险。参与实验并上传作品即可获得运动无线蓝牙耳机，限量 800 个，先到先得！
8,547