Cognita:小白也能搭建 RAG 系统,提供交互界面的开源模块化 RAG 框架,支持多种文档检索技术

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
简介: Cognita 是一个面向生产环境的开源模块化 RAG 框架,支持本地部署、无代码 UI 和增量索引,帮助开发者轻松构建和扩展生产级应用。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 模块化架构:Cognita 提供模块化的 RAG 组件,每个组件都通过 API 驱动,易于扩展和集成。
  2. 生产环境支持:支持本地快速测试和生产级部署,提供无代码 UI,非技术用户也能轻松使用。
  3. 增量索引:默认支持增量索引,减少文档更新时的计算负担,提升系统效率。

正文(附运行示例)

Cognita 是什么

公众号: 蚝油菜花 - cognita

Cognita 是一个开源的模块化 RAG(Retrieval Augmented Generation)框架,旨在帮助开发者构建模块化、易于扩展和部署的生产级应用程序。Cognita 基于 Langchain 和 LlamaIndex 技术,提供了代码组织结构,使得每个组件都能通过 API 驱动,易于管理和扩展。

Cognita 支持本地部署,提供生产就绪环境及无代码 UI 支持,默认支持增量索引功能。基于 Cognita,用户可以轻松地测试和部署 RAG 系统,支持非技术用户通过 UI 与系统交互。

Cognita 的主要功能

  • 模块化和API驱动的架构:Cognita 的每个组件都是模块化的,能够通过 API 进行交互,便于集成和扩展。
  • 本地和生产环境支持:支持在本地环境快速设置和测试,提供生产级别的部署选项。
  • 无代码UI:提供一个用户界面,支持非技术用户上传文档和执行问答,无需编写代码。
  • 增量索引:支持增量索引,有效地处理文档更新,减少计算负担。
  • 多文档检索器支持:支持多种文档检索技术,如相似性搜索、查询分解和文档重排。

Cognita 的技术原理

  • 数据索引:基于索引作业,定期扫描数据源中的文件,将其解析成小块,使用嵌入模型生成嵌入向量,存储在向量数据库中。
  • 查询服务:使用 API 服务器(如 FastAPI)处理查询,生成答案。涉及使用 AI 网关处理用户查询,与向量数据库交互检索相关信息,最终使用 LLM 生成答案。
  • LLM/嵌入模型部署:将 LLM 和嵌入模型作为单独的服务部署,基于 API 进行调用。
  • 向量数据库部署:支持在生产环境中部署向量数据库,支持大规模和可靠的数据存储和检索。
  • RAG组件:将 RAG 系统分解为多个组件,包括数据源、元数据存储、LLM 网关、向量数据库、索引作业和 API 服务器,每个组件都能通过 UI 或 API 进行配置和管理。

如何运行 Cognita

1. 使用 Docker Compose 运行 Cognita(推荐)

Cognita 及其所有服务都可以通过 Docker Compose 运行。这是推荐的本地运行方式。首先,安装 Docker 和 Docker Compose。

docker-compose --env-file compose.env up

2. 配置模型提供者

在启动服务之前,需要配置模型提供者以进行嵌入和生成答案。复制 models_config.sample.yamlmodels_config.yaml,并根据需要修改配置。

cp models_config.sample.yaml models_config.yaml

3. 启动服务

启动服务后,可以通过以下 URL 访问各个服务:

  • Qdrant 服务器:http://localhost:6333
  • 后端服务器:http://localhost:8000
  • 前端界面:http://localhost:5001

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
9月前
|
人工智能 开发框架 安全
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
Smolagents 是 Hugging Face 推出的轻量级开源库,旨在简化智能代理的构建过程,支持多种大语言模型集成和代码执行代理功能。
705 69
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
|
9月前
|
人工智能 数据挖掘 API
R2R:开源的 RAG 集成系统,支持多模态处理、混合搜索、知识图谱构建等增强检索技术
R2R 是一款先进的 AI 检索增强生成平台,支持多模态内容处理、混合搜索和知识图谱构建,适用于复杂数据处理和分析的生产环境。
746 3
R2R:开源的 RAG 集成系统,支持多模态处理、混合搜索、知识图谱构建等增强检索技术
|
9月前
|
存储 人工智能 图计算
MiniRAG:迷你 RAG 系统加成小型语言模型,爆发出与大型语言模型相当的性能
MiniRAG 是香港大学推出的新型 RAG 系统,专为资源受限场景设计,支持高效知识检索与推理,适用于多种应用场景。
449 12
MiniRAG:迷你 RAG 系统加成小型语言模型,爆发出与大型语言模型相当的性能
|
9月前
|
人工智能 自然语言处理 数据处理
FlexRAG:不再局限于文本的 RAG!中科院开源多模态 RAG 助手,支持多数据类型、上下文压缩和多种检索器类型
FlexRAG 是中科院推出的高性能多模态 RAG 框架,支持多数据类型、上下文压缩和多模态数据处理,显著提升生成模型的表现。
1062 17
FlexRAG:不再局限于文本的 RAG!中科院开源多模态 RAG 助手,支持多数据类型、上下文压缩和多种检索器类型
|
9月前
|
存储 机器学习/深度学习 人工智能
Memory Layers:如何在不增加算力成本的情况下扩大模型的参数容量?Meta 开源解决方法
Meta 开源的 Memory Layers 技术,通过键值查找机制扩展大模型参数,显著提升模型性能,尤其适用于事实性任务。
190 10
Memory Layers:如何在不增加算力成本的情况下扩大模型的参数容量?Meta 开源解决方法
|
9月前
|
人工智能 JSON API
LongDocURL:中科院联合阿里推出多模态长文档理解基准数据集,用于评估模型对复杂文档分析与推理的能力
LongDocURL 是由中科院与淘天集团联合推出的多模态长文档理解基准数据集,涵盖 2,325 个问答对,支持复杂文档的理解、推理和定位任务。
457 77
LongDocURL:中科院联合阿里推出多模态长文档理解基准数据集,用于评估模型对复杂文档分析与推理的能力
|
9月前
|
存储 人工智能 数据可视化
阿里云向量引擎快速搭建企业级RAG最佳实践
本文介绍了基于阿里云搭建RAG(检索增强生成)应用的技术分享。首先回顾了RAG技术背景及其面临的挑战,如大模型幻觉、知识局限和数据安全问题。接着详细讲解了阿里云提供的RAG技术架构,涵盖数据处理、模型服务和高性能检索引擎等多方面能力。最后,通过自研引擎与开源组件的结合,展示了如何快速构建RAG应用,并提供端到端的最佳实践方案,确保系统在企业级应用中的高效性和成本优化。
|
9月前
|
数据采集 人工智能 搜索推荐
SocraticLM:通过 AI 提问引导学生主动思考,中科大与科大讯飞联合推出苏格拉底式教育大模型
SocraticLM 是由中科大和科大讯飞联合开发的苏格拉底式教学大模型,通过提问引导学生主动思考,提供个性化教学,显著提升教学效果。
481 9
SocraticLM:通过 AI 提问引导学生主动思考,中科大与科大讯飞联合推出苏格拉底式教育大模型
|
9月前
|
人工智能 Python
ImBD:复旦联合华南理工推出 AI 内容检测模型,快速辨别文本内容是否为 AI 生成
ImBD是一款由复旦大学、华南理工大学等机构联合推出的AI内容检测器,能够快速识别机器修订文本,适用于多种场景,显著提升检测性能。
687 8
ImBD:复旦联合华南理工推出 AI 内容检测模型,快速辨别文本内容是否为 AI 生成
|
9月前
|
机器学习/深度学习 人工智能 算法
《量子比特大阅兵:不同类型量子比特在人工智能领域的优劣势剖析》
量子比特与人工智能的融合正开启全新科技大门。超导量子比特集成度高,适合大规模神经网络训练,但需极低温环境;离子阱量子比特精度高、稳定性好,适于金融等领域,但扩展性差;光量子比特速度快、带宽高,利于量子通信,但易受干扰。各类型量子比特各有优劣,未来将推动AI技术发展,带来更多创新突破。
198 7

热门文章

最新文章