加上Web UI,文本-图像模型Stable Diffusion变身绘图工具,生成艺术大片

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 加上Web UI,文本-图像模型Stable Diffusion变身绘图工具,生成艺术大片
对于艺术家和插图画家来说,这类绘图工具虽然省时省力,但如何保持自己的创作风格是一个大问题。


前段时间,来自慕尼黑大学和 Runway 的研究者,与Eleuther AI、LAION 等团队合作,共同开发了一种文本转图像模型 Stable Diffusion。这项研究入选CVPR 2022 Oral。

Stable Diffusion 可以在消费级 GPU 上的 10 GB VRAM 下运行,并在几秒钟内生成 512x512 像素的图像,无需预处理和后处理。

Stable Diffusion的生成效果是这样的。宇宙的演变:


生物的进化:


这成片质量妥妥达到了大片级别。试想一下,如果将Stable Diffusion的作图功能发展成为一种绘画工具,将其与Web UI相结合,会带来怎样的设计体验。现在,有这样一个项目,可以满足广大研究者的需求。



有了这个项目,没有系统学习UI知识的小伙伴,也可以上手操作。例如自己动手设计城堡,并且周围环境按自己喜好来设计:


在城堡外面安排一名侍卫,并让一位骑马的战士奔向城堡:


城堡上空的光线不好,想换种颜色,也以实现:


不过想要实现上述效果,还需要Gradio库,这是一个免费、开源的Python库,它允许用户为机器学习模型开发易于使用的可定制组件演示,还可以帮助用户构建一个可以互动的网络应用。

不过带有Gradio UI的原始脚本是由一位匿名用户编写的,现在该项目进行了一些修改:


借助这一项目,用户不再需要手动输入参数,需要做的是编写提示并调整滑块就可以了,其强大的设计工具,还可用于重新生成要更改的图像的特定部分,并且生成的图像失真少、质量还高。


该库还内置了GFPGAN选项,不到半秒就能修复失真人脸;此外还内置了RealESRGAN选项,用来提高图像的分辨率。

网友:文本转图像模型有利有弊

对于Stable Diffusion的这一应用,众多网友表示「赞极了」。

对于它的应用前景,更有人预测称,「未来几年用它做专辑封面将会变得更加疯狂。」

不过也有持相反意见的,认为「这是该技术对艺术家和插图画家有害的典型例子,他们不用付出太多天赋和努力就能生成不可思议的艺术图像。不过未来仍需要艺术家,只要他们将自己的风格融入到这些模型中。」

还有些网友认为,文本转图像有点像语言翻译领域正在经历的事情。借助机器学习模型生成的译文质量不一,然后译者对译文进行润色编辑。而由于生成的图像具有各种各样的伪影,艺术家们可能要做更多的修饰工作。


image.png

相关文章
|
1月前
|
数据处理
「Mac畅玩鸿蒙与硬件45」UI互动应用篇22 - 评分统计工具
本篇将带你实现一个评分统计工具,用户可以对多个选项进行评分。应用会实时更新每个选项的评分结果,并统计平均分。这一功能适合用于问卷调查或评分统计的场景。
157 65
|
17天前
|
人工智能 前端开发 API
Gemini Coder:基于 Google Gemini API 的开源 Web 应用生成工具,支持实时编辑和预览
Gemini Coder 是一款基于 Google Gemini API 的 AI 应用生成工具,支持通过文本描述快速生成代码,并提供实时代码编辑和预览功能,简化开发流程。
104 38
Gemini Coder:基于 Google Gemini API 的开源 Web 应用生成工具,支持实时编辑和预览
|
15天前
|
人工智能 编解码 自然语言处理
Aria-UI:港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型,整合动作历史信息实现更加准确的定位
Aria-UI 是香港大学与 Rhymes AI 联合开发的多模态模型,专为 GUI 智能交互设计,支持高分辨率图像处理,适用于自动化测试、用户交互辅助等场景。
85 11
Aria-UI:港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型,整合动作历史信息实现更加准确的定位
|
8天前
不要再责怪你的UI设计师为什么没有用rp?ps?figma?sketch?xd?如何免费转换非在线工具收费转换-本文将教会你常规ui设计源文件格式相互之间如何转换并且保持矢量图和标注注释问题-优雅草央千澈
不要再责怪你的UI设计师为什么没有用rp?ps?figma?sketch?xd?如何免费转换非在线工具收费转换-本文将教会你常规ui设计源文件格式相互之间如何转换并且保持矢量图和标注注释问题-优雅草央千澈
|
1月前
|
Web App开发 IDE 测试技术
Selenium:强大的 Web 自动化测试工具
Selenium 是一款强大的 Web 自动化测试工具,包括 Selenium IDE、WebDriver 和 Grid 三大组件,支持多种编程语言和跨平台操作。它能有效提高测试效率,解决跨浏览器兼容性问题,进行性能测试和数据驱动测试,尽管存在学习曲线较陡、不稳定等缺点,但其优势明显,是自动化测试领域的首选工具。
225 17
Selenium:强大的 Web 自动化测试工具
|
1月前
|
Java 开发者 微服务
Spring Boot 入门:简化 Java Web 开发的强大工具
Spring Boot 是一个开源的 Java 基础框架,用于创建独立、生产级别的基于Spring框架的应用程序。它旨在简化Spring应用的初始搭建以及开发过程。
85 6
Spring Boot 入门:简化 Java Web 开发的强大工具
|
2月前
|
人工智能 前端开发 计算机视觉
Inpaint-Web:纯浏览器端实现的开源图像处理工具
在刷短视频时,常看到情侣在景区拍照被路人“抢镜”,男朋友用手机将路人“P”掉,既贴心又有趣。最近我发现了一个纯前端实现的开源项目——inpaint-web,可在浏览器端删除照片中的部分内容,非常酷。该项目基于 WebGPU 和 WASM 技术,支持图像修复与放大,已在 GitHub 上获得 5.1k Star。项目地址:[GitHub](https://github.com/lxfater/inpaint-web)。
82 3
 Inpaint-Web:纯浏览器端实现的开源图像处理工具
|
2月前
|
前端开发 JavaScript 开发者
构建响应式设计的现代Web应用:实用技巧与工具
【10月更文挑战第24天】本文介绍了构建响应式Web应用的实用技巧和工具,涵盖流体网格布局、弹性图片、CSS媒体查询、CSS Grid和Flexbox、响应式导航菜单、图片和字体的响应式处理,以及测试和调试工具。掌握这些技能将帮助开发者提升用户体验和项目适应性。
|
3月前
|
JavaScript API 开发工具
(H5-Web3D-ThreeJS)在网页三维CAD中绘制窗户模型
本文介绍了如何使用mxcad3d在网页中创建一个简单的三维窗户模型。通过官方教程搭建环境,编写绘制窗户模型的代码,并在点击按钮后展示模型效果。最终模型包括窗框和玻璃部分,具备丰富的三维建模功能和便捷的API支持。
|
3月前
|
机器学习/深度学习 监控 数据挖掘
基于Django和百度飞桨模型的情感识别Web系统
基于Django和百度飞桨模型的情感识别Web系统
63 5

热门文章

最新文章