ChatGLM3在Docker环境部署(1),Linux运维电话面试技巧

简介: ChatGLM3在Docker环境部署(1),Linux运维电话面试技巧
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

这目录ChatGLM3下应该还需要包含chatglm3-6b-32k HuggingFace 或者 ModelScope ,需要手动下载。

2.制作Docker镜像
1)配置基础的Dockerfile:
#基于的基础镜像
FROM python:3.11.6
# 设置工作目录
WORKDIR /LLM
# 拷贝应用程序文件到容器中
COPY ./chatglm3-6b-32k/ /models/
COPY ./ChatGLM3/ /LLM/
# 安装支持
RUN pip install  -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
RUN pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
2)打包生成镜像
docker build -t dmx:easy .
3.启动容器
docker run --restart=always -itd --name dmxApp3 -p 8000:8000 -w /LLM --gpus device=2 dmx:easy python LLM_Server.py

4.查看运行日志

docker logs -t dmxApp3

5. LLM_Server.py


相关文章
|
14小时前
|
存储 Linux Docker
python项目 以docker形式打包部署全流程
在很久很久以前,我已经听过Docker的大名,当时服务着急上线虽然考虑过用Docker来部署我的服务,但是因为赶期的原因放弃了。 这两天因为华为云服务器到期,而且阿里云服务器优惠力度特别大的原因,我要把华为云服务器里的工程迁移到阿里云。 迁移的过程中,大量的时间精力浪费在了重装python,加载依赖,迁移项目,配置端口等环境配置的工作上。 我在想,如果当时用了Docker部署,我至于受这气?
|
1天前
|
Nacos Docker 容器
docker部署nacos
docker部署nacos
12 2
|
1天前
|
应用服务中间件 nginx Docker
docker部署nginx
docker部署nginx
13 1
|
1天前
|
消息中间件 存储 数据安全/隐私保护
docker部署rabbitmq
docker部署rabbitmq
6 0
|
1天前
|
关系型数据库 MySQL Docker
docker部署mysql
docker部署mysql
9 1
|
1天前
|
NoSQL Redis Docker
docker部署redis
docker部署redis
13 4
|
1天前
|
测试技术 Linux 项目管理
【Docker项目实战】使用Docker部署Note Mark笔记工具
【6月更文挑战第14天】使用Docker部署Note Mark笔记工具
11 4
|
3天前
|
运维 Ubuntu Docker
深入理解容器化技术:Docker的应用与实践
在这个数字化转型迅速推进的时代,容器化技术为软件开发和部署提供了新的路径。本文将深入探讨Docker技术的基本原理、应用场景以及实际操作,旨在帮助读者全面理解并掌握这一关键技术。
24 2
|
3天前
|
Docker 容器
蓝易云 - Docker修改容器ulimit的全部方案及各方案的详细步骤
以上就是修改Docker容器ulimit的全部方案及其详细步骤。
9 2