WordArt Designer:基于用户驱动与大语言模型的艺术字生成

简介: 本文介绍了一个基于用户驱动,依赖于大型语言模型(LLMs)的艺术字生成框架WordArt Designer。

导读



本文介绍了一个基于用户驱动,依赖于大型语言模型(LLMs)的艺术字生成框架WordArt Designer。


该系统包含四个关键模块:LLM引擎、SemTypo、Styltypo和TextTypo模块。由gpt-3.5 turbo驱动的LLM引擎可以解释用户输入,从而将抽象概念转化为具体的设计。


SemTypo模块使用语义概念优化字体设计,在艺术转换和可读性之间取得平衡。在SemTypo的基础上,StyTypo模块辅助生成精细的图像。TextTypo模块通过纹理渲染进一步生成创造性纹理字体。目前应用demo已上线至ModelScope创空间,其中对应文字变形、纹理渲染相关等模也即将在11月开源至ModelScope,敬请期待。


创空间应用体验

链接:https://modelscope.cn/studios/WordArt/WordArt/summary


阿里云开发者社区结果分享

链接:https://developer.aliyun.com/topic/vision/wordart?accounttraceid=1d19d366cfd64c07a8902ff7a5841b85smzy



艺术字设计是语言和设计的一个关键交叉点,在广告、幼儿教育和历史旅游等各个领域都有广泛的应用。遗憾的是,对于非专业的设计师来说,掌握艺术字设计仍然是一个非常挑战的任务。尽管之前已经有研究工作尝试弥合业余设计师和专业艺术字设计之间的差距,但现有的解决方案主要是在预定义的概念中生成语义连贯和视觉上令人愉悦的艺术字。这些解决方案通常缺乏适应性、创造性和计算效率。




技术架构图




WordArt Designer 系统主要涵盖4个关键模块,由大型语言模型(LLM)推动,如通义千问等,促进交互式、以用户为中心的设计过程。如图3所示,用户定义他们的设计需求,包括设计概念和领域,例如,“珠宝设计中的猫”。


LLM引擎:负责解析用户的设计需求,生成提示词以指导SemTypo、StylTypo和TextTypo模块,从而执行用户的设计愿景;


SemTypo模块: 负责根据LLM的提示创意词进行文字的变形,其中涉及文字参数化、区域笔画选择、可微渲染等;


StylTypo模块: 基于语义变形后的图像生成更平滑更丰富细节的图片;

TextTypo模块: 基于LLM的提示创意词进行文字纹理渲染,进一步生成带纹理的创意艺术字;


为了实现WordArt的自动化设计以及提高最终图片的质量,我们引入了一个质量评估反馈机制,确保进入纹理渲染模块的变形图片的创意性、艺术表达能力以及可扩展性。



最佳实践



目前,WordART Designer对应的应用已经上线至ModelScope创空间:创新艺术字(https://modelscope.cn/studios/WordArt/WordArt/summary),主要包括以下的三个功能(对应创空间的三个tab页面):


  1. 文字变形;
  2. 文字纹理;
  3. 创意文字生成。


下面对这三个部分逐一进行介绍。



文字变形


文字变形的功能是基于用户输入的创意效果,对用户输入的文字进行变形,并最终得到变形后的文字图片。具体的操作步骤如下图所示:



生成完成后,可以看到如下所示的界面,用户可以针对生成的结果进行如下的操作:


  1. 对生成的结果进行切换浏览;
  2. 点击“为变形字增加纹理”,将对应的图片发送至【文字纹理】版块(在下一小节介绍)进行纹理添加;
  3. 点击“变形字生成矢量图”,下载对应的矢量图片。




文字纹理


文字纹理的功能是基于用户输入的纹理效果,对用户输入的文字添加纹理,并最终得到上了纹理的文字图片。需要注意的事,用户可以通过以下两种方式来产生输入文字图片:


  1. 使用【文字变形】版块生成的变形文字图片作为输入,如上一小节所介绍,通过点击“为变形字增加纹理”将对应的图片发送至本版块;
  2. 直接输入文字内容,并支持选择不同的字体。


使用【文字变形】版块生成的变形文字图片作为输入,具体的操作步骤如下:



生成完成后,可以看到如下所示的界面,用户可以切换查看生成结果。



如果是直接输入文字,具体的操作步骤如下:



生成完成后,可以看到如下所示的界面,用户可以切换查看生成结果。




创意文字生成


有的用户会觉得上述【文字变形】和【文字纹理】版块的效果描述过于繁琐,无法想到很好的描述词,那不妨试试【创意文字生成】版块。创意文字生成基于用户输入的创意字,利用大语言模型自动为用户推荐文字变形创意和文字纹理创意,用户仅需输入创意字内容,就可以得到最终变形和纹理的效果图。


具体的操作步骤如下:



生成完成后,可以看到如下所示的界面,用户可以切换查看生成结果。




探索创作作品











点击直达链接~

https://modelscope.cn/studios/WordArt/WordArt/summary


相关文章
WordArt Designer:基于用户驱动与大语言模型的艺术字生成
本文介绍了一个基于用户驱动,依赖于大型语言模型(LLMs)的艺术字生成框架WordArt Designer。该系统包含四个关键模块:LLM引擎、SemTypo、Stlytypo和TextTypo模块。由gpt-3.5 turbo驱动的LLM引擎可以解释用户输入,从而将抽象概念转化为具体的设计。SemTypo模块使用语义概念优化字体设计,在艺术转换和可读性之间取得平衡。在SemTypo的基础上,StyTypo模块辅助生成精细的图像。TextTypo模块通过纹理渲染进一步生成创造性纹理字体。
43649 20
WordArt Designer:基于用户驱动与大语言模型的艺术字生成
|
7月前
|
传感器 算法 数据挖掘
Python时间序列平滑技术完全指南:6种主流方法原理与实战应用
时间序列数据分析中,噪声干扰普遍存在,影响趋势提取。本文系统解析六种常用平滑技术——移动平均、EMA、Savitzky-Golay滤波器、LOESS回归、高斯滤波与卡尔曼滤波,从原理、参数配置、适用场景及优缺点多角度对比,并引入RPR指标量化平滑效果,助力方法选择与优化。
1505 0
|
7月前
|
安全 生物认证 数据安全/隐私保护
微信加人频繁怎么快速解除???
微信加人频繁限制的技术分析与解决方案 1. 微信加人限制机制解析
|
存储 分布式计算 NoSQL
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
587 0
|
传感器 数据采集 移动开发
基于STM32的智能手环wifi连接手机APP(下)
基于STM32的智能手环wifi连接手机APP(下)
1010 0
|
机器学习/深度学习 自然语言处理 前端开发
前端大模型入门:Transformer.js 和 Xenova-引领浏览器端的机器学习变革
除了调用API接口使用Transformer技术,你是否想过在浏览器中运行大模型?Xenova团队推出的Transformer.js,基于JavaScript,让开发者能在浏览器中本地加载和执行预训练模型,无需依赖服务器。该库利用WebAssembly和WebGPU技术,大幅提升性能,尤其适合隐私保护、离线应用和低延迟交互场景。无论是NLP任务还是实时文本生成,Transformer.js都提供了强大支持,成为构建浏览器AI应用的核心工具。
2821 1
|
Android开发
跨境电商SaaS独立站的真面目...
跨境电商独立站自外贸交易开始,就一直存在,接触过电商的朋友应该都听过,但大部分人仅仅只是停留在听过的阶段,并没有真正的去了解它;独立站,顾名思义就是一个独立的网站,不依附任何平台,规则由自己设定。
|
存储 安全 Java
基于Java的qq截图工具(毕业设计含源码)
基于Java的qq截图工具(毕业设计含源码)
342 0
|
存储 SQL 关系型数据库
MySQl中的乐观锁是怎么实现的
MySQl中的乐观锁是怎么实现的
564 0
MySQl中的乐观锁是怎么实现的
|
安全 网络协议 Shell
Ubuntu端口转发
Ubuntu端口转发的相关配置
6465 0