最懂中国传统文化的AI绘画模型,画作有形更有神,传达儒释道思想

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 最懂中国传统文化的AI绘画模型,画作有形更有神,传达儒释道思想

多模态预训练模型与图像生成技术的结合让 AI 更智能、更有文化。


最近 AI 作画火爆出圈,国内外掀起了一波 AI 绘画热潮,各种社交媒体上用 AI 绘画模型生成的各种图片屡见不鲜。上个月,一位游戏设计师用 AI 作画工具 Midjourney(中途)创作的作品《太空歌剧院》获得了美国科罗拉多州博览会艺术比赛的金奖。


受此启发,中国人民大学卢志武教授团队将自身研发的多模态预训练模型文澜与最新的图像生成技术进行创新结合,打造了一款最懂中国传统文化的 AI 绘画生成模型


文澜模型是中国人民大学高瓴人工智能学院执行院长文继荣教授、卢志武教授、宋睿华长聘副教授等领衔研发的大规模中文多模态预训练模型。文澜模型经过 6.5 亿弱相关中文图文对的预训练,学习到独特的中文语义理解能力并能很好地将中文语义与视觉信息联系起来,尤其擅长读取中文独有的含蓄语义与图片中的抽象概念。


今年 6 月,相关研究成果 “Towards artificial general intelligence via a multimodal foundation model” 已经发表在 Nature Communications(《自然 · 通讯》)上。


论文链接:https://www.nature.com/articles/s41467-022-30761-2


文澜与生成模型的结合


该研究团队通过挖掘文澜模型的潜力,将其与最新的生成技术进行创新性的结合,融合文澜的抽象语义理解能力与生成模型的强大生成能力,确保得到的模型能够出色地解读输入文本的语义并生成具有对应语义的图片。


团队专注于挖掘文澜在中国传统文化上的潜力,借用最新的生成模型架构,并在所搜集的国画数据集上进行训练,得到的模型能根据输入文本生成对应风格的图片。详细架构图如下所示。


具体来说,团队在国画数据集上训练了一个无条件生成模型,并通过迭代生成的方式用文澜模型对生成过程进行引导。


该方法首先随机初始化一张噪声图片。在每一步生成中,模型都会将生成的图片沿着与输入文本接近的方向调整生成图片的内容,使得每一步生成的图片内容与输入文本在文澜模型的隐空间中趋于一致。该步骤可描述为:


其中 x 和 y 分别表示图片和文本,IE 和 TE 分别表示文澜的图片编码器和文本编码器。通过不断迭代,该模型能够实现根据文本语义生成高质量符图片的功能。


文澜绘画模型的评测结果


由于文澜模型本身的特点,文澜绘画模型能够根据输入的中国古诗词生成对应的图片。从下述的例子可以看出,模型生成的图片与古诗词的内容和意境都非常契合。


同时,团队还发现文澜绘画模型甚至对晦涩难懂的儒释道思想也有独到的解读,生成的 AI 绘画作品获得了王阳明心学研究专家姜洋教授的高度认可


为了更好地展现文澜绘画模型在解读儒释道思想上的特色,团队挑选了国内外最热门的 AI 绘画模型进行对比分析,包含盗梦师、文心、Disco Diffusion、Midjourney 和 Stable Diffusion。其中对 Disco Diffusion、Midjourney 和 Stable Diffusion 而言,中文文本需要先经过百度翻译。


首先在儒家思想方面,团队挑选了王阳明心学的三句代表性话。从下图生成的结果来看,盗梦师、Disco Diffusion、Midjourney 和 Stable Diffusion 偏向于生成句子中的一些具象物体或者生成一些画面较好但内容与句子并无太大关系的图片。文心则是倾向于生成带有人物的图片,甚至将光明直接对应成点燃的蜡烛。


而文澜绘画模型能够更好地读取整句话的意思以及其中蕴含的儒家思想,从而生成更契合该思想的图片。

 

文澜解读儒家思想。

其次对于含有释家思想的文本输入,目前最火的绘画生成模型均只能抓住其中的一些具象物体并进行针对性生成,有的绘画模型甚至有可能误解其中的思想。


如下图生成结果所示,文心将 “见道忘山者人间亦寂也,见山忘道者山中也喧也” 理解成道家的思想(生成了一个道士的形象)。文澜绘画模型则很好地解读输入文本的释家思想并将之反映在生成的图片中。

 

文澜解读释家思想

最后在道家思想方面,团队挑选了道德经中最核心的三句话。文心相对于盗梦师、Disco Diffusion、Midjourney 和 Stable Diffusion,对道德经有较好的解读能力。


但整体来说,文澜绘画模型对道家思想解读得更加到位,生成的图片更具有道家的意境。


文澜解读道家思想

总结


文澜团队将近期大火的 AI 绘画生成技术与中文多模态预训练模型文澜相结合,深度挖掘文澜模型在中国传统文化上的潜力,并通过生成模型以图片的形式展现出来,从而让普通大众对一些深奥的中国传统文化思想有了更直观的了解。

相关文章
|
1天前
|
人工智能 自然语言处理 IDE
《AIGC+软件开发新范式》--01.当「软件研发」遇上 AI 大模型(2)
《AIGC+软件开发新范式》--01.当「软件研发」遇上 AI 大模型
|
1天前
|
人工智能 运维 搜索推荐
《AIGC+软件开发新范式》--01.当「软件研发」遇上 AI 大模型(3)
《AIGC+软件开发新范式》--01.当「软件研发」遇上 AI 大模型
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
2024通义语音AI技术图景,大模型引领AI再进化
2024通义语音AI技术图景,大模型引领AI再进化
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
突破AI大模型工业化开发,生成式AI迎来全链条服务商
突破AI大模型工业化开发,生成式AI迎来全链条服务商
|
1天前
|
人工智能 Linux 数据中心
WIKIBON:大模型炒作中,有哪些云与AI的新趋势?
WIKIBON:大模型炒作中,有哪些云与AI的新趋势?
|
8天前
|
存储 人工智能 安全
Web3 在 AI 民主化中的作用:构建去中心化的 AI 模型
Web3 带动人工智能进入新阶段,通过去中心化模型实现 AI 民主化,提高访问性和安全性。借助区块链、智能合约和去中心化数据存储,AI 开发变得更开放、透明。平台如 Soroosh SSE 降低准入门槛,促进协作,同时增强隐私保护。代币经济激励参与者,但面临数据质量、计算基础设施和治理等挑战。Web3 对 AI 的革新将塑造更公平、开放的未来。
|
8天前
|
人工智能 算法
AIGC创作活动 | 智"绘"AI,使用PAI创造风格百变绘画助手
使用阿里云人工智能平台PAIx Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理,实现文本驱动的图像编辑功能单卡即可完成AIGC图片风格变化、背景变化和主体变化等功能。让我们一同开启这场旅程,为您的图像编辑添上无限可能性的翅膀吧。
|
10天前
|
机器学习/深度学习 人工智能 算法
ChatGPT如何思考?心理学和神经科学破解AI大模型,Nature发文
【6月更文挑战第5天】Nature文章探讨了人工智能,尤其是ChatGPT这类大型语言模型(LLMs)的思考机制。随着AI复杂性的增加,理解其决策过程成为挑战。可解释AI(XAI)领域致力于揭示这些“黑盒子”的工作原理,但LLMs的规模和潜在问题(如错误信息和隐私泄露)使这一任务更具紧迫性。研究人员借助心理学和神经科学方法尝试理解模型决策,但目前仍处于早期阶段,且有争议认为模型可能只是模拟而非真正理解文本。
31 1
|
12天前
|
人工智能 自然语言处理 机器人
[AI Google] 新的生成媒体模型和工具,专为创作者设计和构建
探索谷歌最新的生成媒体模型:用于高分辨率视频生成的 Veo 和用于卓越文本生成图像能力的 Imagen 3。还可以了解使用 Music AI Sandbox 创作的新演示录音。
[AI Google] 新的生成媒体模型和工具,专为创作者设计和构建
|
16天前
|
机器学习/深度学习 人工智能 安全
Gandalf AI 通关详解(大模型安全)
Gandalf AI 通关详解(大模型安全)