本场景将提供一台配置了CentOS 7.9操作系统的GPU实例。通过本教程的操作，您可以在一台CentOS 7.9的GPU云服务器上，安装大模型运行环境（包括Anaconda、Pytorch等的），部署大语言模型，使用streamlit运行大模型对话模型网页demo。

背景知识

本场景主要涉及以下云产品和服务：

ChatGLB2-6B大模型：由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。截至2023年7月，在C-Eval中，排名靠前。

Pytorch：一个开源的Python机器学习库，基于Torch，底层由C++实现，应用于人工智能领域，如计算机视觉和自然语言处理。它主要由Meta Platforms的人工智能研究团队开发。著名的用途有：特斯拉自动驾驶，Uber最初发起而现属Linux基金会项目的概率编程软件Pyro，Lightning。注：来源 -维基百科。

• GPU云服务器

GPU云服务器（GPU Cloud Computing，GPU）是提供 GPU 算力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云作为亚太第一的云服务提供商，随时为您提供触手可得的算力，有效缓解计算压力，提升您的业务效率，助您提高企业竞争力。