PaddleGAN 表情迁移

简介: PaddleGAN 表情迁移

基于 [PaddleGAN] (https://github.com/PaddlePaddle/PaddleGAN)打造动态照片工具,无论是单人照还是多人合照皆可通用!


fork from: https://aistudio.baidu.com/aistudio/projectdetail/1603391


流程


image.png


下载 PaddleGAN


In [1]

# 从 github 上克隆 PaddleGAN 代码
#!git clone https://github.com/PaddlePaddle/PaddleGAN
!git clone https://gitee.com/paddlepaddle/PaddleGAN.git
%cd PaddleGAN
!git checkout develop


In [2]

# 安装所需依赖
!pip install -r requirements.txt
!pip install imageio-ffmpeg
!pip install moviepy
%cd applications/


执行命令


上传自己准备的人脸表情视频和照片(表情视频需要截取脸部区域)。将下面命令中的 source_image 参数和 driving_video 参数分别换成自己的图片和视频路径,然后运行命令,就可以完成表情动作迁移,程序运行成功后,会在

PaddleGAN/applications/output 文件夹生成名为result.mp4 的视频文件,该文件即为表情迁移后的视频。


本项目中提供了原始图片和驱动视频供展示使用。具体的各参数使用说明如下:


  • driving_video: 驱动视频,视频中人物的表情动作作为待迁移的对象
  • source_image: 原始图片,视频中人物的表情动作将迁移到该原始图片中的人物上
  • relative: 指示程序中使用视频和图片中人物关键点的相对坐标还是绝对坐标,建议使用相对坐标,若使用绝对坐标,会导致迁移后人物扭曲变形
  • adapt_scale: 根据关键点凸包自适应运动尺度
  • ratio:将框出来的人脸贴回原图时的区域占宽高的比例,默认为0.4,范围为【0.4,0.5】


注意,由于人脸检测后,需要将人脸裁剪出来,如果人脸靠得太近,会见到相邻的人脸,导致效果较差。


In [3] 注意这里有个 export 的语句比较关键。

!export PYTHONPATH=$PYTHONPATH:/home/aistudio/PaddleGAN && python -u tools/first-order-demo.py  --driving_video ~/work/driving_video.mp4  --source_image ~/work/油画.jpg --ratio 0.4 --relative --adapt_scale


最后一步:使用 moviepy 为生成的视频加上音乐

In [4]

from moviepy.editor import *
videoclip_1 = VideoFileClip("/home/aistudio/work/driving_video.mp4")
videoclip_2 = VideoFileClip("./output/result.mp4")
audio_1 = videoclip_1.audio
videoclip_3 = videoclip_2.set_audio(audio_1)
videoclip_3.write_videofile("./output/result_with_music.mp4", audio_codec="aac")



目录
相关文章
|
6月前
|
机器学习/深度学习 API 开发工具
视觉智能平台常见问题之实现卡通效果图如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
148 3
|
6月前
|
人工智能 搜索推荐 物联网
InstantID:一张照片,无需训练,秒级个人写真生成
InstantID 是由InstantX项目组推出的一种SOTA的tuning-free方法,只需单个图像即可实现 ID 保留生成,并支持各种下游任务。
|
6月前
|
机器学习/深度学习 人工智能 数据安全/隐私保护
免费交互式大模型在线图像去除水印.擦除.替换和增强照片项目代码(免费在线图像修复工具)
免费交互式大模型在线图像去除水印.擦除.替换和增强照片项目代码(免费在线图像修复工具)
|
15天前
|
机器学习/深度学习 人工智能 算法
青否数字人声音克隆算法升级,16个超真实直播声音模型免费送!
青否数字人的声音克隆算法全面升级,能够完美克隆真人的音调、语速、情感和呼吸。提供16种超真实的直播声音模型,支持3大AI直播类型和6大核心AIGC技术,60秒快速开播,助力商家轻松赚钱。AI讲品、互动和售卖功能强大,支持多平台直播,确保每场直播话术不重复,智能互动和真实感十足。新手小白也能轻松上手,有效规避违规风险。
|
3月前
|
存储 安全 Android开发
怎样找回删除的照片?照片恢复完整教程
不小心删除了重要的照片会让人头疼,幸运的是,很多时候我可以进行照片恢复。今天会给大家讨论一下删除照片恢复的概率,并且提供几个有效的照片恢复方法,帮助大家应对照片丢失问题。
怎样找回删除的照片?照片恢复完整教程
|
6月前
|
弹性计算 运维 Linux
地图在人物不在的存档修复
地图在人物不在的存档修复
|
4月前
|
语音技术
word文档生成视频,自动配音、背景音乐、自动字幕,另类创作工具
这是一个Markdown格式的摘要: --- 这款工具独特之处在于它允许用户通过在Word文档中添加文字和图片来创作视频,包括配音、字幕和背景音乐。软件界面虽显复杂,但生成视频只需四步:选择Word文档、添加音乐、设置保存路径、点击开始生成。最新版1.15b改进了字幕自动换行功能,支持手动调整,修复了网络错误、文件路径问题和图片缩放等错误。软件提供永久免费使用,支持离线生成(需自建TTS),并鼓励用户自定义TTS和特效插件。下载链接可在官方页面找到。 --- 请注意,实际字符数可能会根据Markdown格式的要求略有变动,但主要内容已经压缩在这个范围内。
|
6月前
|
存储 数据处理 API
视觉智能平台常见问题之通用视频生成接口声音和画面对不上如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
|
6月前
|
机器学习/深度学习 API Android开发
视觉智能平台常见问题之摄像头抓拍到包含人脸的照片如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
视觉智能平台常见问题之摄像头抓拍到包含人脸的照片如何解决
|
6月前
|
机器学习/深度学习 开发工具 计算机视觉
视觉智能平台常见问题之平台的换脸或者换人物到对应的某个图片里面去如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。