本文为您介绍如何通过EAS一键部署基于开源模型通义千问的WebUI应用,以及使用WebUI和API进行模型推理。
背景知识
- 通义千问-7B
通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制开发了基于大语言模型的AI助手Qwen-7B-Chat。
PAI-EAS(Elastic Algorithm Service)是模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用。PAI-EAS 适用于实时推理、近实时异步推理等多种AI推理场景,具备自动扩缩容和完整运维监控体系等能力。