酷蛙FaceChain开源项目迭代周记2023-08-19

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 酷蛙FaceChain开源项目(https://github.com/modelscope/facechain)上线首周即获取超过3K Star,并登顶GitHub Trending榜单TOP 1。

本周数据概览

酷蛙FaceChain开源项目(https://github.com/modelscope/facechain)上线首周即获取超过3K Star,并登顶GitHub Trending榜单TOP 1。

image.png


本周上新功能

1、基础版本效果:商务形象照/证件照

image.png

image.png



2、高阶功能:个性化prompt

FaceChain本身基于框架化的设计,各个组件均具备插件化,定制化的能力。例如通过prompt自定义能力,即可允许用户进行DIY。例如这里,我们在基础形象照风格模型不变的情况下,尝试了如下几种自定义的prompt,效果如下:


1)汉服

image.png


image.png



2)晚礼服

image.png

image.png



3)个性化:如指环王风格

自定义输入:The lord of the rings, ELF, Arwen Undomiel, beautiful, upper_body, best quality, Professional

 

image.png



3、高阶功能:风格化LoRA融合

FaceChain框架里的风格LoRA模型,同样是支持定制化的,这使得不同的风格化LoRA模型,都可以在FaceChain上实现一键体验。例如《凤冠霞帔》模型(该风格lora模型出自:https://www.liblibai.com/modelinfo/f746450340a3a932c99be55c1a82d20c),在接入FaceChain做简单的打通,替换原有的基础证件照风格模型之后,效果如下:


image.png


大家如果有实现出效果较为满意或者惊艳风格的,也欢迎commit到FaceChain这个项目上来,成为该项目贡献的一员。


4、还有一些工程化的改进


1)在魔搭notebook上已经支持50G磁盘+24G显存的免费体验环境

打开这个地址:https://modelscope.cn/my/mynotebook,按照以下4步就可以成功运行自己的Gradio

# Step1: 我的notebook -> PAI-DSW -> GPU环境
# Step2: Open the Terminal,clone FaceChain from github:
GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1
# Step3: Entry the Notebook cell:
import os
os.chdir('/mnt/workspace/facechain')
print(os.getcwd())
!pip3 install gradio
!python3 app.py
# Step4: click "public URL" or "local URL", upload your images to 
# train your own model and then generate your digital twin.


2)Gradio体验页面布局优化,并同时支持中、英双语

3)支持在colab上运行

4)代码进行重构,整体更加简洁

5)  透出完整prompt和部分超参数

6)  完善README介绍

7)  支持脚本化运行训练和推理


全球开发者招募


我们希望联合开源社区的力量持续、高效地打磨该开源项目,解锁更多高阶玩法(比如人物表情包、人物连环画故事、虚拟试衣间……),并进行更深层次的算法创新,发表相应顶会论文。

image.png


如果你对该开源项目感兴趣,对该开源项目的未来有憧憬与信仰,欢迎报名加入:https://www.yuque.com/forms/share/5892d145-99c3-406c-8785-13dcb50353b8



附录


1、原理讲解图文

3张照片打造专属形象!酷蛙FaceChain解密个人写真开源项目,人人AIGC!


2、图文没看过瘾,那就来看看项目组的直播详解吧

https://developer.aliyun.com/live/252626?spm=a2c6h.26396819.creator-center.8.75e93e18htMEyA


3、纯享直播完整版~

https://developer.aliyun.com/live/252626?spm=a2c6h.26396819.creator-center.8.75e93e18htMEyA


4、Github地址

https://github.com/modelscope/facechain


5、魔搭创空间应用地址(无门槛人人都可玩起来)

https://modelscope.cn/studios/CVstudio/cv_human_portrait/summary


最后,记得点击阅读原文报名加入项目组~

https://www.yuque.com/forms/share/5892d145-99c3-406c-8785-13dcb50353b8

相关文章
|
3月前
|
数据采集 人工智能 自然语言处理
Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效
【8月更文挑战第29天】豆包大模型与香港大学团队合作研发的ByteCheckpoint系统,旨在应对大语言模型(LLM)开发中的数据规模庞大、计算资源昂贵及训练过程不稳定的挑战。该系统通过统一检查点机制、细粒度资源管理和多模态数据处理等创新技术,显著提升了LLM的训练效率和模型性能,并已在多个实际场景中取得显著效果。
78 4
|
23天前
|
人工智能 自然语言处理 数据可视化
比 Copilot 快两倍以上,在我的开源项目 AI Godot 桌宠中用通义灵码解决问题
在我的开源项目 AI Godot 桌宠中用通义灵码解决问题。
|
2月前
|
测试技术
10人明星团队炼出首个微调Llama 3.1 405B!角色扮演一秒入戏,代码全开源
【9月更文挑战第13天】近日,由十位明星研究员组成的团队成功微调了Llama 3.1 405B 模型,推出名为Hermes 3的先进开源模型,在多个基准测试中表现卓越。Hermes 3采用“聊天”训练范式,具备强大的推理和创造能力,能更好地响应命令性陈述,使用户更容易与其互动并获得有用信息。此外,该模型支持系统提示和工具使用功能,使其在处理复杂任务时更加高效。尽管Hermes 3在多种合成推理任务和创造性应用中表现出色,但作为微调模型,其性能受限于基础模型,并且开源特性可能带来安全性和隐私性方面的挑战。论文详见[nousresearch.com]。
60 8
|
2月前
|
并行计算 IDE 物联网
开源代码大模型CodeFuse
蚂蚁集团在2023外滩大会上开源了自研代码生成模型CodeFuse,提供智能代码建议和实时支持,评测得分超越GPT-4和WizardCoder-34B。CodeFuse适用于开发助手、IDE插件等场景,现已在魔搭社区开放下载与体验,包括CodeFuse13B-4K和CodeFuse-CodeLlaMa34B-MFT两个版本,以及配套数据集CodeExercise-Python-27k和Evol-instruction-66k。
68 1
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
国内怎么使用Gemini ?gemini使用经验分享!
Gemini,是Google潜心研发的划时代大型语言模型(LLM),它如同一位博学多才的语言大师,精通文本生成、翻译、摘要和对话生成等多种自然语言处理任务。作为Google AI皇冠上的明珠,Gemini融合了尖端的科研成果和技术,将自然语言处理的准确性和效率提升到前所未有的高度。
|
3月前
|
人工智能 Kubernetes Cloud Native
利用通义灵码实现我的第一次开源贡献
本文将分享作者的开源之旅。
|
4月前
|
人工智能 算法
等不来OpenAI的Q*,华为诺亚探索LLM推理的秘密武器MindStar先来了
【7月更文挑战第13天】华为诺亚方舟实验室推出MindStar,一种增强LLM推理能力的搜索框架。MindStar通过PRM奖励模型和Beam/Levin Search策略选择最佳推理路径,提升开源模型如LLaMA-2-13B、Mistral-7B的性能,与GPT-3.5等闭源模型媲美,但成本更低。尽管推理成本高和需预训练PRM,MindStar为LLM推理研究开辟新途径。[论文链接](https://arxiv.org/pdf/2405.16265v4)
88 9
|
3月前
|
人工智能 开发工具 git
一看就会的 AI 换脸项目教程!5分钟速通明星大模型开源项目一键部署
有了通义灵码的帮助,很多明星大模型项目实操过程中遇到的问题:查找错误、解释代码、优化代码、查找文档、代码补全等等都可以用通义灵码一键解决,而且准确率很高,加上灵活的实操环境,项目跑起来会非常高效。关键是通义灵码个人版还免费!
|
4月前
|
人工智能 JSON 文字识别
开源VLM新标杆 InternVL 2.0 怎么用?部署、微调尽在魔搭社区!
7月4日下午,世界人工智能大会科学前沿论坛,上海人工智能实验室OpenGVLab发布了InternVL 2.0 版本,中文名书生·万象。
|
6月前
|
机器学习/深度学习 人工智能 算法
仅靠开源数据复刻出LLaMA3指令学习效果,在线迭代RLHF全流程解决方案来了
【5月更文挑战第27天】在线迭代RLHF方案使用开源数据复现LLaMA3指令学习效果,提供了一种动态收集和更新模型的新方法,提升大型语言模型的性能。通过代理偏好模型模拟人类反馈,降低训练成本,促进技术民主化。虽然面临数据利用、探索与利用平衡等挑战,且需解决长尾分布数据处理问题,该方案已在多基准测试中展现优秀性能,为LLM训练提供高效途径。论文链接:https://arxiv.org/pdf/2405.07863
64 1

热门文章

最新文章

下一篇
无影云桌面