免责声明:
本案例所用安装包免费提供,无任何盈利目的。
大家好,我是风雨无阻。
想必大家经常看到,无论是在产品营销还是品牌推广时,很多人经常以数字人的方式来为自己创造财富。而市面上的数字人收费都比较昂贵,少则几千,多则上万。
那么如何才能免费制作属于自己的数字人视频呢?
其实很简单,只需要在stable diffusion上安装sadtalker插件就能轻松生成自己的数字人。
如果还没安装sadtalker插件的朋友,请查看我的上一篇文章AI 绘画Stable Diffusion 研究(十二)SD数字人制作工具SadTlaker插件安装教程。
今天我们就来演示 如何使用SadTlaker插件制作一个会说话的数字人视频。
大家跟着我的步骤,赶紧实操起来,看看效果。
1、准备图片
图片: 准备一张人物正面图片,我们可以用sd 文生图或图生图功能生成,也可以是其他的图片。
这里再演示一下,使用sd 图生图,生成一张正面图片的步骤。
(1)、去C站找一张正面图作为参考
(2)、下载大模型: majicMIX realistic 麦橘写实 ,并把它放到 models\Stable-diffusion 目录下
然后重启 Stable-diffusion 让模型生效。
\sd-webui-aki-v4.2\models\Stable-diffusion
(3)、下载图片,并上传到图生图,然后设置相关参数
- 上传图片
- 设置正向提示词 、反向提示词
- CLP 终止层数设置为:2
- 设置随机种子
- 设置采样方法
- 设置重绘制尺寸
- 开启面部修复(重要:不开启,人物面部会出现斑点或痣)
(4)、点击生成,可以获得一张人物正面图片
2、准备音频文件
音频文件格式: MP3或wav 文件。
音频文件允许的长度:由显存大小决定。
音频文件的生成:可以使用chatgpt 生成文案,再使用配音工具生成音频,保存起来。当然也可以自己录制音频,这里就不再详细演示。
这里为了演示,提前准备了一段 14s 左右的音频。
3、使用SadTlaker 合成数字人视频
(1)、功能栏区域,切换到SadTlaker 标签页
(2)、上传刚刚sd 生成好的人物正面图片
(3)、上传准备的音频文件
(4)、参数设置及详解
- 姿态样式: 人脸姿态,一共47个数字,每个姿态都不一样,大家可自行测试选择喜欢的姿态。
- 脸部模型分辨率:根据分辨率选择自己对口型的模型,如果图片较大就选择512。
- 预处理:这个设置,与图生图中的设置相同。
- 静止模式:更少的手势,需要和完整与处理一起使用。
- 使用GFPGAN 增强面部: 是否高清化处理
这是我的设置,如下:
(5)、点击“生成”按钮,合成视频
视频会在预览窗口显示视频处理状态,控制台也能看到处理进度。
只需等待处理完成即可。
A、使用预处理完整+静止模式的方式生成的视频:
SD插件SadTlaker制作的会说话的数人
B、使用预处理裁剪 方式生成的视频:
SD插件SadTlaker制作的会说话的数人2
对比效果:
A 方式生成的视频动作幅度更小,但是图片使用的是原尺寸。
B 方式生成的视频动作幅度更大,图片被裁剪,但是效果更真实自然一些。
好了,SD数字人制作教程就到此结束。