在云上部署ChatGLM2-6B大模型（GPU版）

本场景将提供一台配置了Alibaba Cloud Linux 3操作系统的GPU实例。通过本教程的操作，您可以在一台Alibaba Cloud Linux 3的GPU云服务器上，安装大模型运行环境（包括Anaconda、Pytorch等的），部署大语言模型，使用streamlit运行大模型对话模型网页demo。

Pytorch一个开源的Python机器学习库，基于Torch，底层由C++实现，应用于人工智能领域，如计算机视觉和自然语言处理。它主要由Meta Platforms的人工智能研究团队开发。著名的用途有：特斯拉自动驾驶，Uber最初发起而现属Linux基金会项目的概率编程软件Pyro，Lightning。

1、创建资源

2）登录ECS，等待10分钟左右，CUDA、Driver、CUDNN安装完成。

3）执行如下命令nvidia-smi，校验NVIDIA Driver安装。

4）执行如下命令nvcc --version，校验CUDA安装。

5）执行如下命令，校验cuDNN安装。

ls /usr/local/cuda/lib64/ | grep cudnn

        

          
        
        
        

          

          AI 代码解读