Cognita:小白也能搭建 RAG 系统,提供交互界面的开源模块化 RAG 框架,支持多种文档检索技术

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介: Cognita 是一个面向生产环境的开源模块化 RAG 框架,支持本地部署、无代码 UI 和增量索引,帮助开发者轻松构建和扩展生产级应用。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 模块化架构:Cognita 提供模块化的 RAG 组件,每个组件都通过 API 驱动,易于扩展和集成。
  2. 生产环境支持:支持本地快速测试和生产级部署,提供无代码 UI,非技术用户也能轻松使用。
  3. 增量索引:默认支持增量索引,减少文档更新时的计算负担,提升系统效率。

正文(附运行示例)

Cognita 是什么

公众号: 蚝油菜花 - cognita

Cognita 是一个开源的模块化 RAG(Retrieval Augmented Generation)框架,旨在帮助开发者构建模块化、易于扩展和部署的生产级应用程序。Cognita 基于 Langchain 和 LlamaIndex 技术,提供了代码组织结构,使得每个组件都能通过 API 驱动,易于管理和扩展。

Cognita 支持本地部署,提供生产就绪环境及无代码 UI 支持,默认支持增量索引功能。基于 Cognita,用户可以轻松地测试和部署 RAG 系统,支持非技术用户通过 UI 与系统交互。

Cognita 的主要功能

  • 模块化和API驱动的架构:Cognita 的每个组件都是模块化的,能够通过 API 进行交互,便于集成和扩展。
  • 本地和生产环境支持:支持在本地环境快速设置和测试,提供生产级别的部署选项。
  • 无代码UI:提供一个用户界面,支持非技术用户上传文档和执行问答,无需编写代码。
  • 增量索引:支持增量索引,有效地处理文档更新,减少计算负担。
  • 多文档检索器支持:支持多种文档检索技术,如相似性搜索、查询分解和文档重排。

Cognita 的技术原理

  • 数据索引:基于索引作业,定期扫描数据源中的文件,将其解析成小块,使用嵌入模型生成嵌入向量,存储在向量数据库中。
  • 查询服务:使用 API 服务器(如 FastAPI)处理查询,生成答案。涉及使用 AI 网关处理用户查询,与向量数据库交互检索相关信息,最终使用 LLM 生成答案。
  • LLM/嵌入模型部署:将 LLM 和嵌入模型作为单独的服务部署,基于 API 进行调用。
  • 向量数据库部署:支持在生产环境中部署向量数据库,支持大规模和可靠的数据存储和检索。
  • RAG组件:将 RAG 系统分解为多个组件,包括数据源、元数据存储、LLM 网关、向量数据库、索引作业和 API 服务器,每个组件都能通过 UI 或 API 进行配置和管理。

如何运行 Cognita

1. 使用 Docker Compose 运行 Cognita(推荐)

Cognita 及其所有服务都可以通过 Docker Compose 运行。这是推荐的本地运行方式。首先,安装 Docker 和 Docker Compose。

docker-compose --env-file compose.env up

2. 配置模型提供者

在启动服务之前,需要配置模型提供者以进行嵌入和生成答案。复制 models_config.sample.yamlmodels_config.yaml,并根据需要修改配置。

cp models_config.sample.yaml models_config.yaml

3. 启动服务

启动服务后,可以通过以下 URL 访问各个服务:

  • Qdrant 服务器:http://localhost:6333
  • 后端服务器:http://localhost:8000
  • 前端界面:http://localhost:5001

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
8月前
|
编解码 搜索推荐 UED
Sora的核心功能
【2月更文挑战第9天】Sora的核心功能
168 2
Sora的核心功能
|
2天前
|
人工智能 自然语言处理 开发工具
Languine:专为开发者设计的 AI 多语言翻译工具,快速生成100+种语言的准确翻译,简化应用程序的 i18n 国际化配置
Languine 是一款面向开发者的 AI 翻译工具,支持 100+ 种语言,自动化翻译流程,提升多语言应用开发效率。
30 15
Languine:专为开发者设计的 AI 多语言翻译工具,快速生成100+种语言的准确翻译,简化应用程序的 i18n 国际化配置
|
1月前
|
自然语言处理 资源调度 并行计算
从本地部署到企业级服务:十种主流LLM推理框架的技术介绍与对比
本文深入探讨了十种主流的大语言模型(LLM)服务引擎和工具,涵盖从轻量级本地部署到高性能企业级解决方案,详细分析了它们的技术特点、优势及局限性,旨在为研究人员和工程团队提供适合不同应用场景的技术方案。内容涉及WebLLM、LM Studio、Ollama、vLLM、LightLLM、OpenLLM、HuggingFace TGI、GPT4ALL、llama.cpp及Triton Inference Server与TensorRT-LLM等。
149 7
|
3月前
|
人工智能 JSON 自然语言处理
开源模型+Orchestrating Agents多智能体框架,易用、强大且可控
本文采用开源Qwen2.5-14B-instruct-GGUF来体验多智能体编排和交接,希望在体验多智能体编排和交接框架的同时,一起评估中小参数规模的模型(14B)能否较好的完成多智能体任务。
|
5月前
|
Linux API 开发工具
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
【8月更文挑战第5天】LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
|
6月前
|
API 运维
开发与运维工具问题之开源的大语言模型能够自由与外部工具交互如何解决
开发与运维工具问题之开源的大语言模型能够自由与外部工具交互如何解决
51 2
|
7月前
|
API 异构计算
开源模型破局OpenAI服务限制,15分钟灵活搭建RAG和Agent应用
今天,我们做了两个实验,目标在15分钟内,完成下载社区的开源模型,部署成API,替换LlamaIndex中RAG和LangChain中OpenAI接口Agent的最佳实践,并取得符合预期的结果。
|
8月前
开箱黑盒LLM!谷歌大一统框架Patchscopes实战教程来了
【5月更文挑战第7天】谷歌推出Patchscopes框架,提升大型语言模型(LLM)的可解释性,通过分解LLM为可解释的Patch模型进行调试。本文提供实战教程,介绍如何安装Patchscopes库、加载预训练模型并查看模型解释性报告。虽然优势在于增强理解与问题定位,但Patchscopes适用模型有限,报告理解需专业知识,且计算成本高。[论文链接](https://arxiv.org/pdf/2401.06102.pdf)
89 1
|
人工智能 API Docker
智能文档检索和简便集成的开源 AI 问答工具:Danswer
当你使用 Danswer 时,只需以自然的方式提出问题,就像与朋友交谈一样简单,它会自动搜索公司内部的文件和资料,然后给你一个可靠的答案,并附上来源。
|
8月前
|
存储 人工智能 数据库
【AI大模型应用开发】【LangChain系列】2. 一文全览LangChain数据连接模块:从文档加载到向量检索RAG,理论+实战+细节
【AI大模型应用开发】【LangChain系列】2. 一文全览LangChain数据连接模块:从文档加载到向量检索RAG,理论+实战+细节
268 0

热门文章

最新文章