Docker Compose 快速部署
使用 Docker Compose 快速部署 FastGPT
推荐配置
环境 | 最低配置(单节点) | 推荐配置 |
测试 | 2c2g | 2c4g |
100w 组向量 | 4c8g 50GB | 4c16g 50GB |
500w 组向量 | 8c32g | 16c64g 200GB |
部署架构图
1. 准备好代理环境(国外服务器可忽略)
确保可以访问 OpenAI,具体方案可以参考:代理方案。或直接在 Sealos 上 部署 OneAPI,既解决代理问题也能实现多 Key 轮询、接入其他大模型。
2. 多模型支持
FastGPT 使用了 one-api 项目来管理模型池,其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。
一、安装 Docker 和 docker-compose
LinuxMacOSWindows
# 安装 Docker curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun systemctl enable --now docker # 验证安装 docker -v # 安装 docker-compose Linux 上我们可以从 Github 上下载它的二进制包来使用,最新发行的版本地址:https://github.com/docker/compose/releases。 运行以下命令以下载 Docker Compose 的当前稳定版本: sudo curl -L "https://github.com/docker/compose/releases/download/v2.2.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 要安装其他版本的 Compose,请替换 v2.2.2。 Docker Compose 存放在 GitHub,不太稳定。 你可以也通过执行下面的命令,高速安装 Docker Compose。 curl -L https://get.daocloud.io/docker/compose/releases/download/v2.4.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose 将可执行权限应用于二进制文件: sudo chmod +x /usr/local/bin/docker-compose 创建软链: sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose 测试是否安装成功: docker-compose version $docker-compose version 1.24.1, build 4667896b # 如失效,自行百度~
二、创建目录并下载 docker-compose.yml
依次执行下面命令,创建 FastGPT 文件并拉取docker-compose.yml
和config.json
,执行完后目录下会有 2 个文件。
非 Linux 环境或无法访问外网环境,可手动创建一个目录,并下载下面2个链接的文件: docker-compose.yml,config.json
注意: docker-compose.yml
配置文件中 Mongo 为 5.x,部分服务器不支持,需手动更改其镜像版本为 4.4.24
mkdir fastgpt cd fastgpt curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
三、修改 docker-compose.yml 的环境变量
修改docker-compose.yml
中的OPENAI_BASE_URL
(API 接口的地址,需要加/v1)和CHAT_API_KEY
(API 接口的凭证)。
使用 OneAPI 的话,OPENAI_BASE_URL=OneAPI访问地址/v1;CHAT_API_KEY=令牌
四、启动容器
在 docker-compose.yml 同级目录下执行
# 进入项目目录 cd 项目目录 # 创建 mongo 密钥 openssl rand -base64 756 > ./mongodb.key # 600不行可以用chmod 999 chmod 600 ./mongodb.key chown 999:root ./mongodb.key # 启动容器 docker-compose pull docker-compose up -d
五、初始化 Mongo 副本集(4.6.8以前可忽略)
FastGPT 4.6.8 后使用了 MongoDB 的事务,需要运行在副本集上。副本集没法自动化初始化,需手动操作。
# 查看 mongo 容器是否正常运行 docker ps # 进入容器 docker exec -it mongo bash # 连接数据库 mongo -u myname -p mypassword --authenticationDatabase admin # 初始化副本集。如果需要外网访问,mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数(MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin) rs.initiate({ _id: "rs0", members: [ { _id: 0, host: "mongo:27017" } ] }) # 检查状态。如果提示 rs0 状态,则代表运行成功 rs.status()
五、访问 FastGPT
目前可以通过 ip:3000
直接访问(注意防火墙)。登录用户名为 root
,密码为docker-compose.yml
环境变量里设置的 DEFAULT_ROOT_PSW
。
如果需要域名访问,请自行安装并配置 Nginx。
one-api部署国内大模型
项目地址:https://github.com/songquanpeng/one-api
- docker部署one api
在终端中输入相关命令
项目中的3000端口被占用,需要重新设定一个端口映射
docker run --name one-api -d --restart always -p 13000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
命令详解
docker run: 这是 Docker 的主要命令之一,用于创建并启动一个新的容器。
–name one-api: 这个选项为即将运行的容器设置一个名字,这里名字被设为 one-api。这样做可以更容易地识别和引用容器。
-d: 这个选项表示容器将在“分离模式”下运行,意味着它会在后台运行。
–restart always: 这指定了容器的重启策略。在这里,always 意味着如果容器停止(无论是由于错误还是由于任何其他原因),它将自动重启。
-p 13000:3000: 这是端口映射。此设置将容器内的 3000 端口映射到宿主机的 13000 端口。这意味着宿主机的 13000 端口上的流量将被转发到容器的 3000 端口。
-e TZ=Asia/Shanghai: 这个选项设置了一个环境变量。在这里,它设置了容器的时区为 Asia/Shanghai。
-v /home/ubuntu/data/one-api:/data: 这是一个卷挂载。它将宿主机的 /home/ubuntu/data/one-api 目录挂载到容器内的 /data 目录。这允许在容器和宿主机之间共享数据。
justsong/one-api: 这是要运行的 Docker 镜像的名称。在这个例子中,它将从 Docker Hub(或者其他配置的注册中心)拉取名为 justsong/one-api 的镜像。
2.登入one api
根据设定的端口,在浏览器内输入localhost:13000
默认账号:root
默认密码:123456
第一次登陆需要重新设置8位密码。
3.创建渠道和令牌
添加新的渠道
阿里云的api-key
模型服务灵积-API-KEY管理 (aliyun.com)
添加令牌
4.修改FastGPT内配置文件
config.json
“chatModels”: [
…
{
“model”: “qwen-turbo”,
“name”: “通义千问”,
“maxContext”: 8000,
“maxResponse”: 4000,
“quoteMaxToken”: 2000,
“maxTemperature”: 1,
“vision”: false,
“defaultSystemChatPrompt”: “”
}
…
]
docker-compose.yml
# base_url为ip地址:13000 - OPENAI_BASE_URL=http://*******:13000/v1 # api-key点击令牌复制的key - CHAT_API_KEY=sk-7s1VO4aKfcEkfgQ3Fd35Bf10C60244799c88Ae40Ca98FdF0
修改完成后执行指令
docker-compose pull
docker-compose up -d
启动成功! 这样就有了专属于你的知识库助手!