AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答

2024-01-22 1173
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS PostgreSQL，集群系列 2核4GB
简介： QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答

QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答

QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。

目前已支持格式: PDF，Word(doc/docx)，PPT，Markdown，Eml，TXT，图片（jpg，png等），网页链接，更多格式，敬请期待...

  • 特点

    • 数据安全，支持全程拔网线安装使用。
    • 支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
    • 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好。
    • 高性能生产级系统，可直接部署企业应用。
    • 易用性，无需繁琐的配置，一键安装部署，拿来就用。
    • 支持选择多知识库问答。
  • 架构

1.两阶段检索优势

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。

BCEmbedding是由网易有道开发的中英双语和跨语种语义表征算法模型库，其中包含 EmbeddingModel和 RerankerModel两类基础模型。EmbeddingModel专门用于生成语义向量，在语义搜索和问答中起着关键作用，而 RerankerModel擅长优化语义搜索结果和语义相关顺序精排。

BCEmbedding作为有道的检索增强生成式应用（RAG）的基石，特别是在QAnything [github]中发挥着重要作用。QAnything作为一个网易有道开源项目，在有道许多产品中有很好的应用实践，比如有道速读和有道翻译。

QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异，
从而实现：

  • 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。
  • 基于LlamaIndex的RAG评测，表现SOTA【基于LlamaIndex的RAG评测指标】。

  • 双语和跨语种优势

    • 现有的单个语义表征模型在双语和跨语种场景中常常表现不佳，特别是在中文、英文及其跨语种任务中。BCEmbedding充分利用有道翻译引擎的优势，实现只需一个模型就可以在单语、双语和跨语种场景中表现出卓越的性能。
EmbeddingModel支持中文和英文（之后会支持更多语种）；RerankerModel支持中文，英文，日文和韩文。

1.1 一阶段检索（embedding）

| 模型名称 | Retrieval | STS | PairClassification | Classification | Reranking | Clustering | 平均 |
|:-------------------------------|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|
| bge-base-en-v1.5 | 37.14 | 55.06 | 75.45 | 59.73 | 43.05 | 37.74 | 47.20 |
| bge-base-zh-v1.5 | 47.60 | 63.72 | 77.40 | 63.38 | 54.85 | 32.56 | 53.60 |
| bge-large-en-v1.5 | 37.15 | 54.09 | 75.00 | 59.24 | 42.68 | 37.32 | 46.82 |
| bge-large-zh-v1.5 | 47.54 | 64.73 | 79.14 | 64.19 | 55.88 | 33.26 | 54.21 |
| jina-embeddings-v2-base-en | 31.58 | 54.28 | 74.84 | 58.42 | 41.16 | 34.67 | 44.29 |
| m3e-base | 46.29 | 63.93 | 71.84 | 64.08 | 52.38 | 37.84 | 53.54 |
| m3e-large | 34.85 | 59.74 | 67.69 | 60.07 | 48.99 | 31.62 | 46.78 |
| bce-embedding-base_v1 | 57.60 | 65.73 | 74.96 | 69.00 | 57.29 | 38.95 | 59.43 |

1.2二阶段检索（rerank）

| 模型名称 | Reranking | 平均 |
|:-------------------------------|:--------:|:--------:|
| bge-reranker-base | 57.78 | 57.78 |
| bge-reranker-large | 59.69 | 59.69 |
| bce-reranker-base_v1 | 60.06 | 60.06 |

  • 更详细的评测结果详见Reranker模型指标汇总

  • Reranker Evaluation Results

    • Language: en

      • Task Type: Reranking
        | Model | AskUbuntuDupQuestions | MindSmallReranking | SciDocsRR | StackOverflowDupQuestions | AVG |
        |:-------------------------------|:--------:|:--------:|:--------:|:--------:|:--------:|
        | bge-reranker-base | 54.70 | 28.48 | 67.09 | 37.55 | 46.96 |
        | bge-reranker-large | 58.73 | 28.84 | 71.30 | 39.04 | 49.48 |
        | bce-reranker-base_v1 | 56.54 | 30.73 | 75.79 | 42.88 | 51.48 |

        • Summary on en
          | Model | Reranking | AVG |
          |:-------------------------------|:--------:|:--------:|
          | bge-reranker-base | 46.96 | 46.96 |
          | bge-reranker-large | 49.48 | 49.48 |
          | bce-reranker-base_v1 | 51.48 | 51.48 |

    • Language: zh

      • Task Type: Reranking
        | Model | T2Reranking | MMarcoReranking | CMedQAv1 | CMedQAv2 | AVG |
        |:-------------------------------|:--------:|:--------:|:--------:|:--------:|:--------:|
        | bge-reranker-base | 67.28 | 35.46 | 81.27 | 84.10 | 67.03 |
        | bge-reranker-large | 67.60 | 37.64 | 82.14 | 84.18 | 67.89 |
        | bce-reranker-base_v1 | 70.25 | 34.13 | 79.64 | 81.31 | 66.33 |

        • Summary on zh
          | Model | Reranking | AVG |
          |:-------------------------------|:--------:|:--------:|
          | bge-reranker-base | 67.03 | 67.03 |
          | bge-reranker-large | 67.89 | 67.89 |
          | bce-reranker-base_v1 | 66.33 | 66.33 |

    • Language: en-zh

      • Task Type: Reranking
        | Model | T2RerankingEn2Zh | MMarcoRerankingEn2Zh | AVG |
        |:-------------------------------|:--------:|:--------:|:--------:|
        | bge-reranker-base | 60.45 | 64.41 | 62.43 |
        | bge-reranker-large | 61.64 | 67.17 | 64.41 |
        | bce-reranker-base_v1 | 63.63 | 67.92 | 65.78 |

        • Summary on en-zh
          | Model | Reranking | AVG |
          |:-------------------------------|:--------:|:--------:|
          | bge-reranker-base | 62.43 | 62.43 |
          | bge-reranker-large | 64.41 | 64.41 |
          | bce-reranker-base_v1 | 65.78 | 65.78 |

    • Language: zh-en

      • Task Type: Reranking
        | Model | T2RerankingZh2En | MMarcoRerankingZh2En | AVG |
        |:-------------------------------|:--------:|:--------:|:--------:|
        | bge-reranker-base | 63.94 | 63.79 | 63.87 |
        | bge-reranker-large | 64.13 | 67.89 | 66.01 |
        | bce-reranker-base_v1 | 65.38 | 67.23 | 66.31 |
      • Summary on zh-en
        | Model | Reranking | AVG |
        |:-------------------------------|:--------:|:--------:|
        | bge-reranker-base | 63.87 | 63.87 |
        | bge-reranker-large | 66.01 | 66.01 |
        | bce-reranker-base_v1 | 66.31 | 66.31 |
      • Summary on all langs: ['en', 'zh', 'en-zh', 'zh-en']
        | Model | Reranking (12) | AVG (12) |
        |:-------------------------------|:--------:|:--------:|
        | bge-reranker-base | 59.04 | 59.04 |
        | bge-reranker-large | 60.86 | 60.86 |
        | bce-reranker-base_v1 | 61.29 | 61.29 |

1.3 基于LlamaIndex的RAG评测（embedding and rerank）

NOTE:

  • 在WithoutReranker列中，我们的bce-embedding-base_v1模型优于所有其他embedding模型。
  • 在固定embedding模型的情况下，我们的bce-reranker-base_v1模型达到了最佳表现。
  • bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。
  • 如果想单独使用embedding和rerank请参阅：BCEmbedding

2.LLM

开源版本QAnything的大模型基于通义千问，并在大量专业问答数据集上进行微调；在千问的基础上大大加强了问答的能力。
如果需要商用请遵循千问的license，具体请参阅：通义千问

2.1快速开始

必要条件

  • For Linux
System Required item Minimum Requirement Note
Linux Single NVIDIA GPU Memory
or Double NVIDIA GPU Memory		 >= 16GB
>= 11GB + 5G		 NVIDIA 3090 x 1 recommended
NVIDIA 2080TI × 2 recommended
NVIDIA Driver Version >= 525.105.17
CUDA Version >= 12.0
Docker version >= 20.10.5 Docker install
docker compose version >= 2.23.3 docker compose install
  • For Winodws 11 with WSL 2
System Required item Minimum Requirement Note
Windows 11 with WSL 2 Single NVIDIA GPU Memory
or Double NVIDIA GPU Memory		 >= 16GB
>= 11GB + 5G		 NVIDIA 3090
NVIDIA 2080TI × 2
GEFORCE EXPERIENCE >= 546.33 GEFORCE EXPERIENCE download
Docker Desktop >= 4.26.1（131620） Docker Desktop for Windows

下载安装

  • step1: 下载本项目
git clone https://github.com/netease-youdao/QAnything.git
  • step2: 进入项目根目录执行启动脚本

如果在Windows系统下请先进入wsl环境

cd QAnything
bash run.sh  # 默认在0号GPU上启动
  • 指定单GPU启动
cd QAnything
bash run.sh 0  # 指定0号GPU启动 GPU编号从0开始 windows机器一般只有一张卡，所以只能指定0号GPU
  • 指定多GPU启动
cd QAnything
bash run.sh 0,1  # 指定0,1号GPU启动，请确认有多张GPU可用，最多支持两张卡启动

开始体验

  • 前端页面

运行成功后，即可在浏览器输入以下地址进行体验。

  • API
  • 关闭服务
bash close.sh

3.demo展示

视频链接：https://blog.csdn.net/sinat_39620217/article/details/135743659

信息抽取

网页问答

文件大杂烩

4.常见问题

  • 在windows上执行docker-compose命令启动时报错：/bin/bash^M: bad interpreter: No such file or directory

    • 原因：在windows下创建编辑的shell脚本是dos格式的，而linux却是只能执行格式为unix格式的脚本，所以在windows上编辑过的文件在linux上(windows下执行wsl后的环境通常也是linux)执行时会报错。
    • 解决方案：将回车符替换为空字符串
#通过命令查看脚本文件是dos格式还是unix格式，dos格式的文件行尾为^M$ ，unix格式的文件行尾为$：
cat -A scripts/run_for_local.sh  # 验证文件格式
sed -i "s/\r//" scripts/run_for_local.sh
sed -i "s/^M//" scripts/run_for_local.sh
cat -A scripts/run_for_local.sh  # 验证文件格式

  • 在前端页面输入问题后，返回结果报错：Triton Inference Error (error_code: 4)

    • 原因：显存不够了，目前在问答过程中大模型和paddleocr占用的显存会逐渐上升且不释放，可能造成显存不够。
    • 解决方案：重启服务，优化显存的工作已在计划中
    • 原因2：如果发现显存够用，那是因为新版模型与部分显卡型号不兼容。

    • 解决方案：请更换为兼容模型和镜像，手动下载模型文件解压并替换models目录，然后重启服务即可。

      • 将docker-compose-xxx.yaml中的freeren/qanyxxx:v1.0.9改为freeren/qanyxxx:v1.0.8
      • git clone
      • cd qanything
      • git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf
      • unzip models.zip
      • 替换掉现有的models目录
      • echo "v2.1.0" > models/version.txt # 手动避过版本检查

  • 在前端页面输入问题后，返回结果是类似后面的乱码：omiteatures贶.scrollHeight㎜eaturesodo Curse.streaming pulumi窟IDI贶沤贶.scrollHeight贶贶贶eatures谜.scrollHeight她是

    • 原因：显卡型号不支持，例如V100，请使用3080，3090，4080，4090等显卡，显存需要大于16G

  • 服务启动报错，在api.log中显示：mysql.connector.errors.DatabaseError: 2003 (HY000): Can't connect to MySQL server on 'mysql-container-local:3306' (111)

    • 原因：将之前的QAnything代码拉取下来后，复制了一份代码到其他的地址，其中有一个volumes是mivlus和mysql默认的本地数据卷，复制后可能导致了mysql的数据卷冲突，导致mysql无法启动。
    • 解决方案：删除冲突的数据卷volumes，重新启动服务

  • 服务启动报错：ERROR: for qanything-container-local Cannot start service qanything_local: could not select device driver "nvidia" with capabilities: [[gpu]]

  • 服务启动报错：nvidia-container-cli: mount error: file creation failed: /var/lib/docker/overlay2/xxxxxx/libnvidia-ml.s0.1: file exists: unknown

    • 原因：在windows系统上使用docker-compose-linux.yaml启动
    • 解决方案：使用docker-compose-windows.yaml启动

更多内容请关注：

更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。

文章标签：
GPU云服务器
云数据库 RDS MySQL 版
Windows
容器
异构计算
Docker
Linux
关键词：
云效知识库 Thoughts问答
云效知识库 Thoughts检索
云效知识库 thoughts rag
云效知识库 Thoughts应用
云效知识库 Thoughts应用rag
相关实践学习
部署Stable Diffusion玩转AI绘画（GPU云服务器）
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作，开启AIGC盲盒。
汀丶人工智能
目录
相关文章
汀丶人工智能
|
15天前
|
人工智能 JSON 数据格式
RAG+Agent人工智能平台：RAGflow实现GraphRA知识库问答，打造极致多模态问答与AI编排流体验
【9月更文挑战第6天】RAG+Agent人工智能平台：RAGflow实现GraphRA知识库问答，打造极致多模态问答与AI编排流体验
汀丶人工智能
116 8
RAG+Agent人工智能平台：RAGflow实现GraphRA知识库问答，打造极致多模态问答与AI编排流体验
灵杰开发者
|
2月前
|
开发框架 自然语言处理 API
基于RAG搭建企业级知识库在线问答
本文介绍如何使用搜索开发工作台快速搭建基于RAG开发链路的知识库问答应用。
灵杰开发者
8202 16
Botow
|
2月前
|
存储 人工智能 自然语言处理
知识库优化增强，支持多种数据类型、多种检索策略、召回测试 | Botnow上新
Botnow近期对其知识库功能进行了全面升级，显著提升了数据处理能力、检索效率及准确性。新版本支持多样化的数据格式，包括PDF、Word、TXT、Excel和CSV等文件，无需额外转换即可直接导入，极大地丰富了知识来源。此外，还新增了细致的文本分片管理和编辑功能，以及表格数据的结构化处理，使知识管理更为精细化。 同时，平台提供了多种检索策略，包括混合检索、语义检索和全文检索等，可根据具体需求灵活选择，有效解决了大模型幻觉问题，增强了专业领域的知识覆盖，从而显著提高了回复的准确性。这些改进广泛适用于客服咨询、知识问答等多种应用场景，极大提升了用户体验和交互质量。
Botow
58 4
Botow
|
2月前
|
机器学习/深度学习 存储 自然语言处理
基于知识库快速搭建智能客服问答 Bot
在数字化转型的大潮中，智能客服系统成为提升企业客户体验与运营效率的关键工具。Botnow平台集成智能体创作与分发功能，提供一站式智能客服问答Bot搭建服务。本文详细介绍了如何利用Botnow的知识库功能及RAG（Retrieve-Augmented Generation）方案快速构建智能客服问答Bot。通过Botnow平台，用户可以轻松创建知识库、配置智能体，并关联知识库以实现智能回答。该方案广泛适用于对话沟通、行业知识库建设、企业内部信息检索及内容创作等多个场景。Botnow平台以其可视化编排、低技术门槛等特点，助力企业轻松实现智能客服系统的搭建与优化，成为数字化转型的重要推手。
Botow
85 1
DreamSpark
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
手把手带你5分钟搭建企业级AI问答知识库
【8月更文挑战第3天】手把手带你5分钟搭建企业级AI问答知识库
DreamSpark
216 3
六月的雨在钉钉
|
2月前
|
机器学习/深度学习 人工智能 分布式计算
5分钟搭建企业级AI问答知识库
【8月更文挑战第14天】5分钟搭建企业级AI问答知识库
六月的雨在钉钉
94 1
阿里云云原生
|
2月前
|
自然语言处理 前端开发 Go
5 大场景上手通义灵码企业知识库 RAG
大家好，我是通义灵码，你的智能编程助手！今天就跟大家分享下企业知识库能帮开发者做些什么。
阿里云云原生
135 1
阿里云云原生
|
3月前
|
自然语言处理 前端开发 Go
5 大场景上手通义灵码企业知识库问答
通义灵码在企业版里还引入了一个超酷的新技能：RAG（Retrieval-Augmented Generation）检索增强生成的能力，本文就跟大家分享下企业知识库能帮开发者做些什么。
阿里云云原生
952 13
我码玄黄
|
2月前
|
存储 人工智能 测试技术
探索LlamaIndex：如何用Django打造高效知识库检索
探索LlamaIndex：如何用Django打造高效知识库检索
我码玄黄
45 3
做梦都在改BUG
|
3月前
|
存储 人工智能 测试技术
探索LlamaIndex：如何用Django打造高效知识库检索
LlamaIndex（前身为 GPT Index）是一个数据框架，为了帮助我们去建基于大型语言模型（LLM）的应用程序。 主要用于处理、构建和查询自定义知识库。 它支持多种数据源格式 excel，txt，pdf，md 等等，并且以创建高效的数据结构以便快速检索著称，允许我们用自然地语言区查询数据，而不需要学习复杂的查询语言或了解底层数据结构。
做梦都在改BUG
75 3

热门文章

最新文章

  • 1
    快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话
  • 2
    使用MoinMoin搭建运维知识库[下文]-完善配置篇
  • 3
    『StabilityGuide』| 10+位阿里技术专家共同发起稳定性知识库开源项目
  • 4
    开源免费的知识库文档管理系统（合集+排名）
  • 5
    【云计算的1024种玩法】搭建 wiki 知识库
  • 6
    Prompt learning 教学[进阶篇]：简介Prompt框架并给出自然语言处理技术：Few-Shot Prompting、Self-Consistency等；项目实战搭建知识库内容机器人
  • 7
    生产力工具综合评测：轻量级笔记软件、Markdown 编辑器、云 Office、离线笔记、云笔记、开源笔记软件、大纲编辑器、协同办公笔记软件、知识库管理工具 、低代码-无代码平台
  • 8
    基于自己的数据库构建基于LLM的专属知识库
  • 9
    30分钟，通过ModelScope平台和开源LLM打造个人知识库 QA Bot（2）
  • 10
    云效工作台创建知识库
  • 1
    自动化客服响应与知识库查询
    68
  • 2
    本地离线部署大模型知识库OLLAMA+Anything（保姆级）
    2524
  • 3
    入门篇：如何快速安装和破解Confluence, 打造您的完美知识库
    158
  • 4
    基于Ollama+AnythingLLM轻松打造本地大模型知识库
    146087
  • 5
    入门篇: 快速升级或迁移您的Confluence知识库
    120
  • 6
    云效产品使用常见问题之免费版本的知识库存储空间最大上限不知道如何解决
    88
  • 7
    Notion平替工具AFFINE知识库如何本地部署与公网远程访问
    184
  • 8
    如何在CentOS7部署Wiki.js知识库并实现分享好友公网远程使用【内网穿透】
    117
  • 9
    通过阿里云Milvus和通义千问快速构建基于专属知识库的问答系统
    1023
  • 10
    重构销售话术和知识库，容联云找到了大模型的“钉子”
    221

    • 相关课程

    更多
  • 模型融合方法概述
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
  • 创空间应用训练个性化模型
  • 大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 机器学习概览及常见算法

    • 相关电子书

    更多
  • 《搜索NLP行业模型和轻量化客户定制》
  • 统一召回引擎在搜索推荐场景的应用实践
  • 面向索引、模型、检索联合优化的下一代推荐技术

    • 相关实验场景

    更多
  • 如何快速体验知识检索增强应用
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 使用PAI-快速开始，低代码实现大语言模型微调和部署
  • 以客服场景意图分类为例写Prompt
  • 使用函数计算部署通义千问大模型实现AI对话
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
    • 下一篇
    无影云桌面