大家好,我是独孤风。
又到了本周的开源项目推荐。近一年多的时间,人工智能迎来了大爆发。GPT相关的大模型的发展让很多领域都发生了巨大的变化。 但是虽然GPT的自然语言识别功能异常的强大,但回答给我们的知识内容并不尽如人意。那么,有没有可以在本地部署搭建的AI知识库项目呢? 今天为大家推荐的就是一个纯中文本地GPT知识库搭建项目,虽然刚刚开源不到半年的时间,标星已经达到了8.8K, 让我们一起来看看吧~
FastGPT
今天为大家推荐的开源项目名为FastGPT。
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!虽然开源的大模型已经有很多,但是如果基于这些大模型搭建自己的知识库并不容易,需要非常复杂的实现过程。而FastGPT正是为了解决这个问题而诞生的。简单的说我们可以将自己的资料全都喂给它,创建一个属于自己的知识库。它会对资料进行整理,当你询问它问题的时候,就可以直接调用知识库里的资料进行回答,相当于为自己定制了一个大语言模型。
目前FastGPT支持 pdf、word、txt、md 等常用文件,支持 url 读取、CSV 批量导入。而整个搭建过程都可以在页面进行操作,不需要编码调试,极大地降低了技术门槛。FastGPT基本对齐了全球、国产主流AI,如 OpenAI ,清华GML,可集成到各种平台中。FastGPT的部署非常简单,可以使用Docker快速的进行部署。而如果需要做二次开发,也可以很轻松的搭建环境,该项目主要是TS语言开发,准备好NodeJS相关环境就可以了。而且FastGPT的整个配置过程都是支持中文的,非常方便。FastGPT自开源以来发展迅速,已经有非常多的用户基于其搭建了自己的本地知识库,最新版本为4.6.6,大家赶快用起来吧~
功能演示
请参考大数据流动视频号演示介绍。
大数据流动
,赞3
安装部署
推荐如下的基本配置。
一、安装 Docker 和 docker-compose
# 安装 Docker curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun systemctl enable --now docker # 安装 docker-compose curl -L https://github.com/docker/compose/releases/download/2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose # 验证安装 docker -v docker-compose -v
二、配置文件
依次执行下面命令,创建 FastGPT 文件并拉取docker-compose.yml
和config.json
,执行完后目录下会有 2 个文件。
mkdir fastgpt cd fastgpt curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
三、启动
修改docker-compose.yml
中的OPENAI_BASE_URL
和CHAT_API_KEY
即可,对应为 API 的地址(别忘记加/v1)和 key。随后启动。
# 在 docker-compose.yml 同级目录下执行 docker-compose pull docker-compose up -d
四、访问 FastGPT
目前可以通过 ip:3000
直接访问(注意防火墙)。登录用户名为 root
,密码为docker-compose.yml
环境变量里设置的 DEFAULT_ROOT_PSW
。
使用步骤
首先我们需要创建一个知识库。
知识库创建完之后我们需要上传一点内容。
上传内容这里有四种模式:
- 手动输入:手动输入问答对,是最精准的数据
- QA 拆分:选择文本文件,让AI自动生成问答对
- 直接分段:选择文本文件,直接将其按分段进行处理
- CSV 导入:批量导入问答对
这里,我们选择 QA 拆分,让 AI 自动生成问答,若问答质量不高,可以后期手动修改。
点击上传后我们需要等待数据处理完成,等到我们上传的文件状态为可用。
点击「应用」按钮来新建一个应用,这里有四个模板,我们选择「知识库 + 对话引导」。
应用创建后来再应用详情页找到「知识库」模块,把我们刚刚创建的知识库添加进去。
添加完知识库后记得点击「保存并预览」,这样我们的应用就和知识库关联起来了。
然后我们就可以愉快的开始聊天啦。
赶紧用起来吧!