DALL-E 人工智能的艺术家

简介: DALL-E 人工智能的艺术家

*人工智能已经迎来第三次浪潮,一方面,人工智能已经应用于社会的方方面面,并日益发挥着无可替代的作用;另一方面,人工智能存在着局限性以及争议。你对人工智能的应用场景或人工智能的争议有什么理解呢?快来分享一下吧!


选择一: 人工智能的【能】


应用场景

超现实主义强调梦幻与现实的统一才是绝对的真实,而如今OpenAI创造的DALL·E图像生成器,能够直接通过文本描述生成类似超现实主义的图像,让机器也能拥有顶级画家、设计师的创造力。


人工智能技术

DALL.E:

论文链接:https://readpaper.com/paper/672206509969932288


应用现状

先感受一下DALL·E生成图像,下图是当我们输入文本"牛油果形状的扶手椅。仿梨型的扶手椅。"时的图片输出DALL·E果然生成了众多画风不同的超现实主义的图片,像真实存在的一样。

DALL·E的整体流程如下:


1.第一个阶段,先训练一个dVAE把每张256x256的RGB图片压缩成32x32的图片token,每个位置有8192种可能的取值(也就是说dVAE的encoder输出是维度为32x32x8192的logits,然后通过logits索引codebook的特征进行组合,codebook的embedding是可学习的)。


2.第二阶段,用BPE Encoder对文本进行编码,得到最多256个文本token,token数不满256的话padding到256,然后将256个文本token与1024个图像token进行拼接,得到长度为1280的数据,最后将拼接的数据输入Transformer中进行自回归训练。


3.推理阶段,给定一张候选图片和一条文本,通过transformer可以得到融合后的token,然后用dVAE的decoder生成图片,最后通过预训练好的CLIP计算出文本和生成图片的匹配分数,采样越多数量的图片,就可以通过CLIP得到不同采样图片的分数排序(详细过程可以看非官方实现DALLE-pytorch/dalle_pytorch.py)。


未来发展

DALL-E已经向我们展现了惊人的创造力,后续生成模型又会带给我们什么样的惊喜呢?

目录
相关文章
|
7月前
|
机器学习/深度学习 编解码 人工智能
麻省理工AI新研究可将马赛克变视频
【2月更文挑战第30天】麻省理工学院等机构的研究团队推出AI新技术FeatUp,可将低分辨率图像提升为高清视频,该技术在2024年ICLR会议上引起关注。FeatUp基于深度特征提取,通过多视角一致性损失恢复空间信息,提高视频清晰度。模型通用性强,适用于多种任务和现有应用。实验显示,它在图像超分辨率和端到端学习模型性能提升上超越其他方法。然而,尚存在对某些内容处理不完善和计算资源需求高的局限性。
119 2
麻省理工AI新研究可将马赛克变视频
|
人工智能
Doodle一下,AI上作画
Doodle一下,AI上作画
69 0
|
机器学习/深度学习 数据采集 人工智能
【AIGC】人工智能生成的漫画
【AIGC】人工智能生成的漫画
270 0
|
7月前
|
人工智能 搜索推荐 机器人
探索AIGC人工智能(Midjourney篇)(二)
探索AIGC人工智能(Midjourney篇)(二)
146 0
|
6月前
|
人工智能 算法 搜索推荐
AI在艺术创作中的应用
【6月更文挑战第1天】AI在艺术创作中的应用
259 3
|
7月前
|
机器学习/深度学习 传感器 人工智能
AI艺术创作领域
5月更文挑战第18天
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
AI绘画探索人工智能的未来
AI绘画探索人工智能的未来
|
7月前
|
机器学习/深度学习 人工智能 算法
人工智能绘画的时代下到底是谁在主导,是人类的想象力,还是AI的创造力?
人工智能绘画的时代下到底是谁在主导,是人类的想象力,还是AI的创造力?
|
7月前
|
人工智能 算法 JavaScript
探索AIGC人工智能(Midjourney篇)(四)
探索AIGC人工智能(Midjourney篇)(四)
140 0
|
7月前
|
人工智能 内存技术
探索AIGC人工智能(Midjourney篇)(一)
探索AIGC人工智能(Midjourney篇)(一)
224 0