当大火的文图生成模型遇见知识图谱,AI画像趋近于真实世界
文图生成任务旨在生成与给定文本对应的图像,典型模型如DALL-E、DALL-E2、Parti、Imagen、Stable Diffusion等。文图生成模型的训练过程对于知识的理解比较缺乏,容易生成反常识内容。本次,EasyNLP开源框架在先前推出的基于Transformer的文图生成模型基础上,进一步推出了融合知识图谱知识的文图生成模型ARTIST,能在知识图谱的指引下,生成更加符合常识的图片。ARTIST在中文文图生成评测基准MUGE上名列榜单第一。我们免费开放了知识增强的中文文图生成模型的Checkpoint,以及相应Fine-tune和推理接口。