ARTIST模型是什么？

ARTIST模型，全称为AIGC中文文生图模型是一种基于扩散模型的技术，专门设计用于根据中文文本提示生成高质量的图像。

该模型集成在阿里云的平台上，并通过WebUI提供服务，用户可以通过简单的界面操作实现以下功能：

• 文生图：在WebUI的Chinese-Diffusion插件中选择pai-diffusion-artist-large-zh模型，输入中文提示（如“一个美丽的女孩”），点击生成图像，即可获得与提示相匹配的艺术图像。此功能支持加载Lora模型来调整生成图像的风格。

• 图生图：除了根据文本生成图像，ARTIST模型还支持图生图功能，即在输入提示的同时上传图片，模型会依据图片内容和文本提示融合生成新图像。

ARTIST模型展现了强大的文本到图像生成能力，特别是在处理中文提示方面，能够创造出既符合描述又富含艺术美感的图像作品，适用于多种创意设计场景，如人物形象创造、艺术字生成等。然而，由于其较大的参数量和对GPU资源的较高要求，目前该模型暂不支持直接下载使用，用户需通过云服务接口访问其功能。

面向AIGC中文文生图模型的WebUI使用

ARTIST模型的构建基于Transformer模型 ，将文图生成任务分为两个阶段进行，第一阶段是通过VQGAN模型对图像进行矢量量化，即对于输入的图像，通过编码器将图像编码为定长的离散序列，解码阶段是以离散序列作为输入，输出重构图。

第二阶段是将文本序列和编码后的图像序列作为输入，利用GPT模型学习以文本序列为条件的图像序列生成。为了增强模型先验，我们设计了一个Word Lattice Fusion Layer，将知识图谱中的的实体知识引入模型，辅助图像中对应实体的生成，从而使得生成的图像的实体信息更加精准。

——参考链接。

ARTIST是EasyNLP开源框架推出的一个融合丰富知识图谱知识的文图生成模型。它能在知识图谱的指引下，生成更加符合常识的图片。在中文文图生成评测基准MUGE上，ARTIST的生成效果名列榜单第一。