上面章节已经实现了ollama里部署llama3,并实现了一些简单的问答,但是问答的界面是在命令提示符中,交互很不友好,也不方便局域网其他用户访问,所以这节用docker部署MaxKB实现网页访问llama3,首先电脑上需要安装docker,window系统需要开启虚拟化后才能安装docker,这个可以找相关教程安装下,有了docker后就可以开始部署MaxKB了。因为我安装了docker desktop。可以用docker desktop的界面搜索到MaxKB,然后pull下来,也可以在命令提示符里通过docker pull命令。
pull完成后,可以在命令提示符中通过docker images查看docker所有已经拉取下来的镜像,这里第一个就是MaxKB,下面的不用看,是之前chirpstack的镜像
从目录里可以看到已经有了maxkb镜像了,接下来再把这个容器运行起来,在D盘创建docker/volume,然后运行下面的命令把容器运行起来并把一些目录挂载本地磁盘。
docker run -d --name=maxkb -p 8080:8080 -v D:\\docker\\volume\\maxkb:/var/lib/postgresql/data 1panel/maxkb
执行命令后出现容器id,如下图所示,这样就是运行起来了。
然后打开浏览器,地址栏输入:http://192.168.30.191:8080/ui/login ,这里的IP是部署maxkb的电脑Ip,打开登陆界面,用户名默认是admin,密码默认MaxKB@123...
登陆后点击系统设置,先点击系统设置,然后点击左侧模型设置,点击添加模型,弹出框中选择ollama,然后按照如图界面填写。
填写结束后点击确认会出现如图所示的模型实例,表明模型创建成功了,此时需要去创建应用,点击上面菜单的应用,点击添加应用。
添加应用其实就是对话框的一些设置了,比如名称,描述,AI模型选择刚才配置好的llama3.
点击创建后就创建好了应用,此时应用列表会出现和刚才模型差不多的卡片,点击卡片后,显示这个模型对话框的详细内容,点击演示,就可以进入对话了
下面是一点演示的结果: