WordArt Designer:基于用户驱动与大语言模型的艺术字生成

简介: 本文介绍了一个基于用户驱动,依赖于大型语言模型(LLMs)的艺术字生成框架WordArt Designer。该系统包含四个关键模块:LLM引擎、SemTypo、Stlytypo和TextTypo模块。由gpt-3.5 turbo驱动的LLM引擎可以解释用户输入,从而将抽象概念转化为具体的设计。SemTypo模块使用语义概念优化字体设计,在艺术转换和可读性之间取得平衡。在SemTypo的基础上,StyTypo模块辅助生成精细的图像。TextTypo模块通过纹理渲染进一步生成创造性纹理字体。

创空间体验链接:https://modelscope.cn/studios/WordArt/WordArt/summary

7B373F96-8245-42C0-B6AC-91AB01FA640A.png

图 1. WordArt Designer 交互原理示意图

     艺术字设计是语言和设计的一个关键交叉点,在广告、幼儿教育和历史旅游等各个领域都有广泛的应用。遗憾的是,对于非专业的设计师来说,掌握艺术字设计仍然是一个非常挑战的任务。尽管之前已经有研究工作尝试弥合业余设计师和专业艺术字设计之间的差距,但现有的解决方案主要是在预定义的概念中生成语义连贯和视觉上令人愉悦的艺术字。这些解决方案通常缺乏适应性、创造性和计算效率。

image.png

图2. 由WordArt Designer生成的抽象艺术排版示例。这些实例证明了系统产生美观、语义连贯和风格多样的排版设计的能力。

方法概述

WordArt Designer 系统利用各种排版合成模块,由大型语言模型(LLM)推动,如GPT 3/4,促进交互式、以用户为中心的设计过程。如图3所示,用户定义他们的设计需求,包括设计概念和领域,例如,“珠宝设计中的猫”。LLM引擎解释输入,生成提示以指导SemTypo、stytypo和TextTypo模块,从而执行用户的设计愿景。 为了实现WordArt的自动化设计,我们引入了一个质量评估反馈机制,这是成功合成的关键。 排序模型的输出由LLM引擎评估,以验证合成图像的质量,确保创建至少K个合格的语义变换。 如果不满足这个条件,LLM引擎以及SemTypo和stytypo模块和格式指令将重新启动,以进行另一个设计迭代。后续部分将深入研究每个模块的功能和操作的细节。

image.png

图3. WordArt Designer 技术框架图

WordArt Designer 效果示例

150字 变形字矩阵展示(StylTypo)

image.png

纹理展示

珠宝纹理

matrix-jewelry-resized.gif

(因上传图像大小限制原图有压缩失真)

水果纹理

matrix-fruit.gif

(因上传图像大小限制原图有压缩失真)

纹理细节

image.png

多语言支持展示

image.png

行业基础模型纹理展示

image.png

动画应用示例 (刷新可重新播放)

Vincent-van-Gogh-style-bamboo.gifVincent-van-Gogh-style-flower.gifVincent-van-Gogh-style-fish.gifvegetable-flower1.gifbamboo-landscape.giffollower-landscape-spring.gifVincent van Gogh style, spring.gifVincent van Gogh style, could.gifVincent van Gogh style, frog.gifvarious jewelry, golden.gif

相关文章
|
1月前
|
编解码 文字识别 测试技术
3000 字带你了解Claude3 视觉能力,OCR, 菜单识别统统能搞定!
五大任务,带你了解Claude3的视觉能力有多强 2024 年 3 月 4 日,Anthropic 震撼发布了全新的多模态模型——Claude 3。据该公司介绍,无论是语言处理还是视觉识别任务,Claude 3 都展现出了超越同类竞争产品(例如配备视觉功能的 GPT-4)的卓越性能。
102 0
|
1月前
|
人工智能 文字识别 计算机视觉
【AAAI 2024】M2Doc:文档版面分析的可插拔多模态融合方法
M2Doc是一种创新的多模态融合方法,设计用于增强文档版面分析任务中的纯视觉目标检测器。该方法包括Early-Fusion和Late-Fusion模块,前者通过门控机制融合视觉和文本特征,后者则在框级别合并这两种特征。M2Doc易于集成到各种目标检测器,实验证明它能显著提升DocLayNet和M6Doc数据集上的性能,特别是与DINO结合时,在多个数据集上达到SOTA结果。此外,研究表明M2Doc对于增强复杂逻辑版面分析任务中的文本理解和语义关联特别有效。
|
5天前
|
人工智能 程序员 API
【AI大模型应用开发】1.0 Prompt Engineering(提示词工程)- 典型构成、原则与技巧,代码中加入Prompt
【AI大模型应用开发】1.0 Prompt Engineering(提示词工程)- 典型构成、原则与技巧,代码中加入Prompt
10 0
|
1月前
|
人工智能 安全 机器人
Prompt工程全攻略:15+Prompt框架一网打尽(BROKE、COAST、LangGPT)、学会提示词让大模型更高效
Prompt工程全攻略:15+Prompt框架一网打尽(BROKE、COAST、LangGPT)、学会提示词让大模型更高效
Prompt工程全攻略:15+Prompt框架一网打尽(BROKE、COAST、LangGPT)、学会提示词让大模型更高效
|
3月前
ChatGPT - 在ChatGPT中设置通用提示模板
ChatGPT - 在ChatGPT中设置通用提示模板
31 0
|
6月前
|
开发者
WordArt Designer:基于用户驱动与大语言模型的艺术字生成
本文介绍了一个基于用户驱动,依赖于大型语言模型(LLMs)的艺术字生成框架WordArt Designer。
|
8月前
|
人工智能 编解码
Photoshop的AI功能上新:截图→背景填充一气呵成,再也不怕没拍全了
Photoshop的AI功能上新:截图→背景填充一气呵成,再也不怕没拍全了
105 0
|
11月前
|
人工智能 编解码 自然语言处理
Midjourney|文心一格 Prompt:完整参数列表、风格汇总、文生图词典合集
Midjourney|文心一格 Prompt:完整参数列表、风格汇总、文生图词典合集
Midjourney|文心一格 Prompt:完整参数列表、风格汇总、文生图词典合集
|
11月前
|
机器学习/深度学习 图计算 图形学
NeurIPS 2022 | 文本图片编辑新范式,单个模型实现多文本引导图像编辑
NeurIPS 2022 | 文本图片编辑新范式,单个模型实现多文本引导图像编辑
297 0
|
11月前
|
机器学习/深度学习 自然语言处理 JavaScript
7 Papers & Radios | 首个用于工业开发的自动代码生成系统;多模态图像合成与编辑综述
7 Papers & Radios | 首个用于工业开发的自动代码生成系统;多模态图像合成与编辑综述
209 0