一、背景说明
各类AI写真软件由于其精准的个人形象+精美的生成效果引爆了朋友圈传播，证件照满足了用户刚需，古装照等风格照满足了用户“美照”的需求。
FaceChain团队推出了开源人物写真项目，希望结合开源社区开发者的力量，可以让图片应用更有趣、更好玩、也有更多应用场景。该项目开源短短7天，star数已经突破3K：https://github.com/modelscope/facechain。大家可以在魔搭社区上一键体验。也可以下载我们的开源代码，安装到本地体验。如果觉得好的可以点个star，你们的鼓励是我们最大的动力，我们将不断推陈出新，扩展应用、玩法。
在初始版本支持基本证件照生成的基础上，在项目发布后一个星期不到的时间，FaceChain项目迅速迭代，除了支持更多风格和更自然的证件照以外，同时也添加了其他不同风格的支持。我们也把核心技术通过论文做了详细描述。在这里，我们主要对更新的功能进行展示和解读，并对核心的技术框架做展示。
二、效果展示
基础版本效果展示：
高阶功能：个性化prompt效果展示：
FaceChain本身基于框架化的设计，各个组件均具备插件化，定制化的能力。例如通过prompt自定义能力，即可允许用户进行DIY。例如这里，我们在基础形象照风格模型不变的情况下，尝试了如下几种自定义的prompt，效果如下：
自定义prompt：
图1、3：, a beautiful woman, suit style, tailored suit, brown suit, formal attire, looking_at_viewer, mole, transparent_background, raw photo, masterpiece, chinese, pure color background, solo, medium shot, high detail face, looking straight into the camera with shoulders parallel to the frame, slim body
图2：, a beautiful woman, clothes suit, ivory white, animal, mole, open_mouth, raw photo, masterpiece, chinese, pure color background, solo, medium shot, high detail face, looking straight into the camera with shoulders parallel to the frame, slim body
第二、三行：, a beautiful woman, clothes suit, ivory white, long curly hair, animal, mole, open_mouth, raw photo, masterpiece, chinese, pure color background, solo, medium shot, high detail face, looking straight into the camera with shoulders parallel to the frame, slim body
第四行：
The lord of the rings, ELF, Arwen Undomiel, beautiful, upper_body, best quality, Professional
效果展示：
高阶功能：现有风格lora效果展示：
FaceChain框架里的风格LoRA模型，同样是支持定制化的，这使得不同的风格化LoRA模型，都可以在FaceChain上实现一键体验。例如C站的《凤冠霞帔》模型（该风格lora模型出自：https://www.liblibai.com/modelinfo/f746450340a3a932c99be55c1a82d20c），在接入FaceChain做简单的打通后，替换原有的基础证件照风格模型之后，效果如下：
更多的风格模型大家可以自行从https://www.liblibai.com/，以及https://civitai.com/这两个网站去获取进一步体验更多风格的专属形象。大家如果有实现出效果较为满意或者惊艳风格的，也欢迎commit到FaceChain这个项目上来，成为该项目贡献的一员。
三、原理讲解（重点来了！）
这一部分我们为大家揭秘个人写真模型的核心技术点。
个人写真模型流程图
个人写真模型的能力来源于Stable Diffusion模型的文生图功能，输入一段文本或一系列提示词，输出对应的图像。我们考虑影响个人写真生成效果的主要因素：写真风格信息，以及用户人物信息。
为此，我们分别使用线下训练的风格LoRA模型和线上训练的人物LoRA模型以学习上述信息。LoRA是一种具有较少可训练参数的微调模型，在Stable Diffusion中，可以通过对少量输入图像进行文生图训练的方式将输入图像的信息注入到LoRA模型中。
因此，个人写真模型的能力分为训练与推断两个阶段：
- 训练阶段：
输入：用户上传的包含清晰人脸区域的图像
输出：人物LoRA模型
描述：经过标准、稳定的人像图前处理后，我们使用上述图像和标签数据微调Stable Diffusion模型得到人物LoRA模型。
- 推断阶段：
输入：训练阶段用户上传图像，预设的用于生成个人写真的输入提示词
输出：个人写真图像
描述：将人物LoRA模型和风格LoRA模型的权重融合到Stable Diffusion模型中；接下来，通过文生图能力生成专属形象指定风格的图片，最后作质量与相似度等排序的后处理。
技术原理解析直播回放请搜索《揭秘酷蛙FaceChain开源项目：3张照片打造AI个人写真》。
四、开源招募
FaceChain项目已开源，我们计划后续联合开源社区的力量不断打磨该开源项目，解锁更多高阶玩法，进行更深层次的算法创新，并发表相应顶会论文。如果你对该开源项目感兴趣，对该开源项目的未来有憧憬与信仰，想一起搞点事情，欢迎扫码加入：
初步需要打磨的模块如下：
1.）更多写真风格lora模型训练
2.）自适应基模+多lora融合模块探索
3.）专业的face prompt模型训练
4.）专业的SD人物写真基模训练
5.）人物属性的更多prompt探索
6.）swap face模块的打磨优化
7.）女性专业美颜后处理模块探索
8.）高阶应用探索：（例如：表情包、人物动态视频、游戏角色设计、影视动画角色设计等）
五、体验方式
关注子社区，精选文章抢先看~
更多精彩内容欢迎点击下方链接，了解更多viapi相关信息。
