当大火的文图生成模型遇见知识图谱，AI画像趋近于真实世界
本文介绍了阿里云机器学习PAI团队开发的名为ARTIST的中文文图生成模型，该模型融合了知识图谱信息，能够生成更加符合常识的图像。ARTIST基于Transformer架构，将文图生成任务分为图像矢量量化和文本引导的图像序列生成两个阶段。在第一阶段，模型使用VQGAN对图像进行矢量量化；在第二阶段，通过GPT模型并结合知识图谱中的实体知识来生成图像序列。在MUGE中文文图生成评测基准上，ARTIST表现出色，其生成效果优于其他模型。此外，EasyNLP框架提供了简单易用的接口，用户可以基于公开的Checkpoint进行少量领域相关的微调，实现各种艺术创作。