要说本周AIGC开源爆火项目,腾讯的PhotoMaker
可以入选其一。而 PhotoMaker 是腾讯Arc于4天前开源上线到GitHub的,更有一众互联网科技领域大V体验推荐,当前Star已经有4.7k
了!
相信小编这篇文章发布时star预测可能达到5k+
了。而 PhotoMaker 究竟如何刚发布上线就爆火了呢?
根据众多博主的体验描述,给它最直接的定位就是一款风格百变的头像生成器。你以为它的功能仅仅如此嘛,当然不是,该模型工具不会根据原始输入图像固有的特征限制它的发挥,还可以改变人物的性别、年龄等,生成不同风格的全新图像。
接下来小编就跟大家一起来看看这款AI绘画工具 PhotoMaker
怎么就被无数人刷屏了!
项目介绍
PhotoMaker
是一款通过 堆叠 ID技术嵌入 定制出逼真的人体照片的开源工具。
一个可以创建任何风格的任何人的照片/绘画/头像的生成器。
能根据描述生成符合描述的人物照片。也能把几个不同人的照片特征混合在一起,创造出一个全新的人物形象。
还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真,效果自然。更加无需训练LoRA即可保持角色一致性。
🌠 主要特点:
PhotoMaker
使用的核心技术是“堆叠ID嵌入”。
这意味着它可以将多个身份证明(ID)图像的信息合并成一个统一的数据结构。这种方法不仅能捕捉到单个ID的细微特征,还能整合多个不同ID的特征,创造出新的、个性化的图像。
结合多张照片的特征
:PhotoMaker可以取多张照片,这些照片可以是同一个人的,也可以是不同人的。它分析这些照片中的特征,然后将它们结合起来,创造出一个新的、个性化的人物图像。灵活的文本控制
:与其他方法相比,PhotoMaker提供了更灵活的文本控制能力。用户可以通过文本提示来指导图像的生成,这使得创造出的图像不仅逼真,而且能更好地符合用户的具体要求。高效率和快速生成
:相比于需要大量微调的方法(如DreamBooth),PhotoMaker在保持身份信息的同时,提供了更快的生成速度。它能在短时间内(例如10秒)生成定制的人类照片,这对于需要快速生成结果的应用场景非常有利。高身份保真度
:PhotoMaker在生成图像时能更好地保持人物的身份特征。这对于需要精确保留人物特征的场景(如个性化肖像或身份识别)尤其重要。
主要功能:
根据文字描述制作照片
:你可以告诉它你想要的人物样子,它就能生成符合描述的人物照片。混合多个人的特征
:它可以把几个不同人的照片特征混合在一起,创造出一个全新的人物形象。改变年龄或性别
:比如,你可以把一张男士的照片转换成女士的样子,或者让照片中的人看起来年轻或年老。添加艺术风格
:它还能给照片加上不同的艺术效果,比如油画风格或卡通风格。现实化艺术作品/旧照片中的人物
:将艺术品或旧照片中的人物带入现代。
部署及使用
本地部署及搭建,小编这里就不展开续写了。
项目要求Python版本3.8及以上、Pytorch版本2.0及以上
。然后下载模型、训练模型、启动服务本地演示。
详细部署说明请到项目中查看。
其实官方已经提供了Demo模型!可在线体验,有现实版本和风格化版本,考虑十分周全。
现实版本模型:https://huggingface.co/spaces/TencentARC/PhotoMaker
风格化版本模型:https://huggingface.co/spaces/TencentARC/PhotoMaker-Style
使用步骤:
1️⃣ 上传您想要定制的人的图片。一张图片就可以,但更多的更好。(上传的图片中的人应占据图片的大部分区域)
2️⃣ 输入一个文本提示,确保将您想要定制的类别词与触发词img配对。
例如:man img(男人的图片)或woman img(女人的图片)或girl img(女孩的图片)。
3️⃣ 选择您喜欢的样式模板。
4️⃣ 点击提交按钮开始进行定制。
还有其他作者根据PhotoMaker,提供舒适的用户界面项目:
- https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker
- https://github.com/StartHua/Comfyui-Mine-PhotoMaker
- https://github.com/shiimizu/ComfyUI-PhotoMaker
组合使用场景示例
以下示例来源于
量子位
。
1、可以根据描述生成多种风格个人照片。
比如: 你见过这样的黑寡妇吗?
2、混合不同人物特征,生成全新人物形态。
比如: 奥特曼和乔布斯“生”的孩子,可能长这样?
3、修改年龄、性别以及照片年代。
比如: 小时候的马斯克,你见过吗?
总结
实验结果表明,与其他类似模型相比,PhotoMaker 具备高质量和多样化的生成能力,以及可编辑性、保真性。
此外,这一方法还能实现更多以往难实现的有趣功能。比如改变年龄或性别、将旧照片或艺术作品中的人物还原到现实中以及身份混合等。
参考链接🔗:
[1]: https://www.linkresearcher.com/theses/adba75a0-bb87-415a-ab81-e19de089f787