最懂中国传统文化的AI绘画模型,画作有形更有神,传达儒释道思想

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 最懂中国传统文化的AI绘画模型,画作有形更有神,传达儒释道思想

多模态预训练模型与图像生成技术的结合让 AI 更智能、更有文化。


最近 AI 作画火爆出圈,国内外掀起了一波 AI 绘画热潮,各种社交媒体上用 AI 绘画模型生成的各种图片屡见不鲜。上个月,一位游戏设计师用 AI 作画工具 Midjourney(中途)创作的作品《太空歌剧院》获得了美国科罗拉多州博览会艺术比赛的金奖。


受此启发,中国人民大学卢志武教授团队将自身研发的多模态预训练模型文澜与最新的图像生成技术进行创新结合,打造了一款最懂中国传统文化的 AI 绘画生成模型


文澜模型是中国人民大学高瓴人工智能学院执行院长文继荣教授、卢志武教授、宋睿华长聘副教授等领衔研发的大规模中文多模态预训练模型。文澜模型经过 6.5 亿弱相关中文图文对的预训练,学习到独特的中文语义理解能力并能很好地将中文语义与视觉信息联系起来,尤其擅长读取中文独有的含蓄语义与图片中的抽象概念。


今年 6 月,相关研究成果 “Towards artificial general intelligence via a multimodal foundation model” 已经发表在 Nature Communications(《自然 · 通讯》)上。


论文链接:https://www.nature.com/articles/s41467-022-30761-2


文澜与生成模型的结合


该研究团队通过挖掘文澜模型的潜力,将其与最新的生成技术进行创新性的结合,融合文澜的抽象语义理解能力与生成模型的强大生成能力,确保得到的模型能够出色地解读输入文本的语义并生成具有对应语义的图片。


团队专注于挖掘文澜在中国传统文化上的潜力,借用最新的生成模型架构,并在所搜集的国画数据集上进行训练,得到的模型能根据输入文本生成对应风格的图片。详细架构图如下所示。


具体来说,团队在国画数据集上训练了一个无条件生成模型,并通过迭代生成的方式用文澜模型对生成过程进行引导。


该方法首先随机初始化一张噪声图片。在每一步生成中,模型都会将生成的图片沿着与输入文本接近的方向调整生成图片的内容,使得每一步生成的图片内容与输入文本在文澜模型的隐空间中趋于一致。该步骤可描述为:


其中 x 和 y 分别表示图片和文本,IE 和 TE 分别表示文澜的图片编码器和文本编码器。通过不断迭代,该模型能够实现根据文本语义生成高质量符图片的功能。


文澜绘画模型的评测结果


由于文澜模型本身的特点,文澜绘画模型能够根据输入的中国古诗词生成对应的图片。从下述的例子可以看出,模型生成的图片与古诗词的内容和意境都非常契合。


同时,团队还发现文澜绘画模型甚至对晦涩难懂的儒释道思想也有独到的解读,生成的 AI 绘画作品获得了王阳明心学研究专家姜洋教授的高度认可


为了更好地展现文澜绘画模型在解读儒释道思想上的特色,团队挑选了国内外最热门的 AI 绘画模型进行对比分析,包含盗梦师、文心、Disco Diffusion、Midjourney 和 Stable Diffusion。其中对 Disco Diffusion、Midjourney 和 Stable Diffusion 而言,中文文本需要先经过百度翻译。


首先在儒家思想方面,团队挑选了王阳明心学的三句代表性话。从下图生成的结果来看,盗梦师、Disco Diffusion、Midjourney 和 Stable Diffusion 偏向于生成句子中的一些具象物体或者生成一些画面较好但内容与句子并无太大关系的图片。文心则是倾向于生成带有人物的图片,甚至将光明直接对应成点燃的蜡烛。


而文澜绘画模型能够更好地读取整句话的意思以及其中蕴含的儒家思想,从而生成更契合该思想的图片。

 

文澜解读儒家思想。

其次对于含有释家思想的文本输入,目前最火的绘画生成模型均只能抓住其中的一些具象物体并进行针对性生成,有的绘画模型甚至有可能误解其中的思想。


如下图生成结果所示,文心将 “见道忘山者人间亦寂也,见山忘道者山中也喧也” 理解成道家的思想(生成了一个道士的形象)。文澜绘画模型则很好地解读输入文本的释家思想并将之反映在生成的图片中。

 

文澜解读释家思想

最后在道家思想方面,团队挑选了道德经中最核心的三句话。文心相对于盗梦师、Disco Diffusion、Midjourney 和 Stable Diffusion,对道德经有较好的解读能力。


但整体来说,文澜绘画模型对道家思想解读得更加到位,生成的图片更具有道家的意境。


文澜解读道家思想

总结


文澜团队将近期大火的 AI 绘画生成技术与中文多模态预训练模型文澜相结合,深度挖掘文澜模型在中国传统文化上的潜力,并通过生成模型以图片的形式展现出来,从而让普通大众对一些深奥的中国传统文化思想有了更直观的了解。

相关文章
|
2天前
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
31 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
11天前
|
人工智能 安全 测试技术
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
EXAONE 3.5 是 LG AI 研究院推出的开源 AI 模型,擅长长文本处理,能够有效降低模型幻觉问题。该模型提供 24 亿、78 亿和 320 亿参数的三个版本,支持多步推理和检索增强生成技术,适用于多种应用场景。
64 9
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
|
13天前
|
机器学习/深度学习 人工智能
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
SNOOPI是一个创新的AI文本到图像生成框架,通过增强单步扩散模型的指导,显著提升模型性能和控制力。该框架包括PG-SB和NASA两种技术,分别用于增强训练稳定性和整合负面提示。SNOOPI在多个评估指标上超越基线模型,尤其在HPSv2得分达到31.08,成为单步扩散模型的新标杆。
55 10
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
|
13天前
|
人工智能 搜索推荐 开发者
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
Aurora是xAI为Grok AI助手推出的新图像生成模型,专注于生成高逼真度的图像,特别是在人物和风景图像方面。该模型支持文本到图像的生成,并能处理包括公共人物和版权形象在内的多种图像生成请求。Aurora的可用性因用户等级而异,免费用户每天能生成三张图像,而Premium用户则可享受无限制访问。
55 11
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
|
16天前
|
机器学习/深度学习 人工智能 编解码
【AI系统】Transformer 模型小型化
本文介绍了几种轻量级的 Transformer 模型,旨在解决传统 Transformer 参数庞大、计算资源消耗大的问题。主要包括 **MobileVit** 和 **MobileFormer** 系列,以及 **EfficientFormer**。MobileVit 通过结合 CNN 和 Transformer 的优势,实现了轻量级视觉模型,特别适合移动设备。MobileFormer 则通过并行结构融合了 MobileNet 和 Transformer,增强了模型的局部和全局表达能力。
50 8
【AI系统】Transformer 模型小型化
|
15天前
|
存储 人工智能 PyTorch
【AI系统】模型转换流程
本文详细介绍了AI模型在不同框架间的转换方法,包括直接转换和规范式转换两种方式。直接转换涉及从源框架直接生成目标框架的模型文件,而规范式转换则通过一个中间标准格式(如ONNX)作为桥梁,实现模型的跨框架迁移。文中还提供了具体的转换流程和技术细节,以及模型转换工具的概览,帮助用户解决训练环境与部署环境不匹配的问题。
33 5
【AI系统】模型转换流程
|
15天前
|
机器学习/深度学习 存储 人工智能
【AI系统】模型转换基本介绍
模型转换技术旨在解决深度学习模型在不同框架间的兼容性问题,通过格式转换和图优化,将训练框架生成的模型适配到推理框架中,实现高效部署。这一过程涉及模型格式转换、计算图优化、算子统一及输入输出支持等多个环节,确保模型能在特定硬件上快速、准确地运行。推理引擎作为核心组件,通过优化阶段和运行阶段,实现模型的加载、优化和高效执行。面对不同框架的模型文件格式和网络结构,推理引擎需具备高度的灵活性和兼容性,以支持多样化的应用场景。
39 4
【AI系统】模型转换基本介绍
|
15天前
|
机器学习/深度学习 人工智能 算法
【AI系统】模型压缩基本介绍
模型压缩旨在通过减少存储空间、降低计算量和提高计算效率,降低模型部署成本,同时保持模型性能。主要技术包括模型量化、参数剪枝、知识蒸馏和低秩分解,广泛应用于移动设备、物联网、在线服务系统、大模型及自动驾驶等领域。
51 4
【AI系统】模型压缩基本介绍
|
15天前
|
机器学习/深度学习 存储 人工智能
【AI系统】模型剪枝
本文概述了模型剪枝的概念、方法及流程,旨在通过移除神经网络中冗余或不重要的参数,实现模型规模的减小和效率的提升。剪枝不仅有助于降低模型的存储和计算需求,还能增强模型的泛化能力。文章详细介绍了剪枝的定义、分类、不同阶段的剪枝流程,以及多种剪枝算法,如基于参数重要性的方法、结构化剪枝、动态剪枝和基于优化算法的全局剪枝策略。通过这些方法,可以在保持模型性能的同时,显著提高模型的计算速度和部署灵活性。
28 2
【AI系统】模型剪枝
|
6天前
|
人工智能 自然语言处理 物联网
AI Safeguard联合 CMU,斯坦福提出端侧多模态小模型
随着人工智能的快速发展,多模态大模型(MLLMs)在计算机视觉、自然语言处理和多模态任务中扮演着重要角色。

热门文章

最新文章