前言
都3202年了,再不拥有一套属于自己的个人数字形象就真的赶不上时代了❗️❗️❗️❗️
如果你还不知道如何生成自己的个人数字形象,请让我来为你介绍:
FaceChain——妙鸭相机的开源平替,可以用来打造个人数字形象的深度学习模型工具,仅需三张照片(划重点,仅需三张!!)即可生成属于你自己独有的个人数字形象替身,赶紧来计算巢体验吧!
服务创建
首先在计算巢控制台找到FaceChain社区版,点击正式创建,或直接点击这里。
第二步选择资源部署的地域和实例规格,填写实例密码。
⚠️注意,如果遇到实例规格列表为空的情况,可能是当前地域的库存不足,请切换其他地域重试!
第三步,填写软件登陆名和密码。⚠️一定要记住自己的密码,否则后面无法登陆软件⚠️
第四步,配置可用区和专有网络。
第五步,点击“下一步:确认订单”跳转,勾选“我已阅读并同意《计算巢服务协议》”,点击立即创建。
提交成功后点击去列表查看即可看到部署进度。
等待状态变为“已部署”后,点击详情跳转到服务实例详情页。
第六步,点击Endpoint,输入刚刚设置的用户名和密码即可登陆FaceChain界面开始创作啦!
形象定制
上传照片
第一步:点击选择图片上传,请务必一次性选择多张图片同时上传,且为了保证质量,选择清晰的头肩照为宜。
开始训练
第二步:在上面图片全部加载出来后,点击“开始训练”,然后就耐心等待吧~~~
这里由于后台会有下载模型和训练的过程,所以等待时间跟您的机器规格和所在地域有关,实测可能需要15-30分钟。但下载过一次之后下次再训练时就不需要下载了,只用等待几分钟就可以了!!!
直到输出信号出现“训练已经完成!”,这时候就可以愉快地进行下一步啦!!!
形象定制
第三步:生成形象!切换到“形象体验”tab,输入不大于6的生成图片数量(形象虽好,可不要贪多哦),点击“开始推理”,就可以开始期待自己的个人数字形象啦!
等待生成完毕后,即可获取自己的数字形象啦!
实现原理
AI 生成个人写真的能力来源于 Stable Diffusion 模型的文生图功能,即输入一段文本或一系列提示词,输出对应的图像。而影响个人写真生成效果的因素主要有两方面:写真风格信息和用户人物信息。
FaceChain分别使用线下训练的风格 LoRA 模型和线上训练的人脸 LoRA 模型来学习上述两方面的信息。LoRA 是一种具有较少可训练参数的微调模型,在 Stable Diffusion 中,可以通过对少量输入图像进行文生图训练的方式将输入图像的信息注入到 LoRA 模型中。因此,个人写真模型的能力分为训练与推理两个阶段,训练阶段生成用于微调 Stable Diffusion 模型的图像与文本标签数据,得到人脸 LoRA 模型;推理阶段基于人脸 LoRA 模型和风格 LoRA 模型生成个人写真图像。
训练阶段
训练阶段的输入是用户上传的包含清晰人脸区域的图像,输出是人脸 LoRA 模型。
具体来说,首先使用基于朝向判断的图像旋转模型,以及基于人脸检测和关键点模型的人脸精细化旋转方法,来处理用户上传图像,得到包含正向人脸的图像;接下来使用人体解析模型和人像美肤模型,以获得高质量的人脸训练图像;随后,该项目使用人脸属性模型和文本标注模型,结合标签后处理方法,产生训练图像的精细化标签;最后使用上述图像和标签数据微调 Stable Diffusion 模型得到人脸 LoRA 模型。
推理阶段
推理阶段的输入是训练阶段用户上传图像和预设的用于生成个人写真的输入 prompt,输出是个人写真图像。
在推理阶段,该项目首先将人脸 LoRA 模型和风格 LoRA 模型的权重融合到 Stable Diffusion 模型中;接下来使用 Stable Diffusion 模型的文生图功能,基于预设的 prompt 初步生成个人写真图像;随后,该项目使用人脸融合模型进一步改善上述写真图像的人脸细节,其中用于融合的模板人脸通过人脸质量评估模型在训练图像中进行挑选;最后再使用人脸识别模型计算生成的写真图像与模板人脸的相似度,以此对写真图像进行排序,并输出排名靠前的个人写真图像作为最终输出结果。
总结
简单几步,即可在计算巢中生成一套属于自己的数字形象,如此简单、便捷的方案,快来计算巢一探究竟吧!
参考
FaceChain项目:https://github.com/modelscope/facechain