ICDE2024 ｜VDTuner：向量数据库自动调优技术
在CodeFuse接入实际业务的过程中，大模型的推理成本以及生成内容的准确性是产品规模落地的两个核心考量因素。为了降低推理成本，我们研发了CodeFuse-ModelCache语义缓存加速功能，通过引入Cache机制，缓存已经计算的结果，当接收到类似请求后直接提取缓存结果返回给用户。另一方面，为了提升代码生成的准确度，我们引入了few shot机制，在输入大模型之前拼接一些类似的代码片段，帮助大模型更好的理解希望生成的目标代码。上述两个核心功能的实现都依赖于向量数据库（Vector Data Management Systems, VDMS）存储并检索相似的请求或者代码片段。
RAG-大模型外挂
RAG 是一种结合信息检索和文本生成的范式，用于提升大语言模型的性能，还能通过预处理查询、理解意图、处理对话历史和结果排序来优化交互。要使用RAG，需理解其技术原理，包括信息检索、增强和生成步骤，并考虑如何适应各种应用场景。