git clone https://github.com/THUDM/ChatGLM3 cd ChatGLM3
这目录ChatGLM3下应该还需要包含chatglm3-6b-32k HuggingFace 或者 ModelScope ,需要手动下载。
2.制作Docker镜像
1）配置基础的Dockerfile：
#基于的基础镜像 FROM python:3.11.6 # 设置工作目录 WORKDIR /LLM # 拷贝应用程序文件到容器中 COPY ./chatglm3-6b-32k/ /models/ COPY ./ChatGLM3/ /LLM/ # 安装支持 RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/ RUN pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
2）打包生成镜像
docker build -t dmx:easy .
3.启动容器
docker run --restart=always -itd --name dmxApp3 -p 8000:8000 -w /LLM --gpus device=2 dmx:easy python LLM_Server.py
4.查看运行日志
docker logs -t dmxApp3
