前一篇,我们详细介绍了使用 SadTlaker制作数字人视频案例,感兴趣的朋友请前往查看:AI 绘画Stable Diffusion 研究(十三)SD数字人制作工具SadTlaker使用教程。
对于没有安装 SadTlaker 插件的朋友,可以查看这篇文章:AI 绘画Stable Diffusion 研究(十二)SD数字人制作工具SadTlaker插件安装教程 。
想必用过 SadTlaker 的朋友都知道,目前使用 SadTlaker插件制作数字人说话的视频,有两个不太理想的地方:
(1)、 生成视频消耗的时间比较长。尤其是显卡和显存比较低的朋友,想要制作一个长时间的视频,效率更低。
笔者亲测:使用3060 12G显卡,制作一段15s 左右的视频,需要10分钟左右。
(2)、目前的SadTlaker 图片人物只能使用正面照,这样给人的感觉比较突兀。
那有没有其他方法制作数字人视频,既能达到让数字人张嘴说话的效果, 效率又更高,还可以使用非正面图的方式呢?
答案是有的,那就是今天的主题: SD 图生图制作人物张嘴说话图+剪映制作说话视频。
一、SD制作人物张嘴说话图
1、切换到SD 图生图->局部重绘界面 ,上传一张人物图片
2、反推正向提示词
3、改写正向提示词,让人物张嘴
没安装提示词插件的朋友,请查看这篇文章AI 绘画Stable Diffusion 研究(六)sd提示词插件,有详细安装步骤。
(1)、我们使用提示词插件, 在提示词处,先输入中文: 张嘴
提示词插件会自动将中文转换英文提示词。
如图:
(2)、为了让人物张嘴效果更明显,不被sd 忽略,我们需要增加张嘴提示词的权重
选择张嘴提示词, 会弹出权重操作按钮,然后我们点击三次,增加权重图标按钮,此时提示词输入框内会自动增加提示词的权重。
如图:
(3)、涂选重绘区域
在局部重绘界面,右侧选择画笔,ctrl+鼠标滚轮可调整画笔粗细。
(4)、调整重绘尺寸
(5)、启用controlnet ,保存人物姿势不变
- 启用controlnet
- 控制类型选择:openpose
- 预处理器:openpose_full
- 模型:control_v11p_sd15_openpose
(6)、点击生成,即可获得人物张嘴的图片
对比图如下:
上面我们已经获得了人物张嘴的图片,那么接下来,我们使用剪映,加上配音和字幕,即可制作人物开口说话视频了。
二、剪映制作人物开口说话视频
1、准备工作
- 安装剪映,具体的安装步骤这里就不再细说,很简单,请自行安装。
- 准备好人物张嘴和闭嘴的两张图
- 准备好音频文件
2、打开剪映点击开始制作
3、导入音频和图片
如图:
qyDT-1692773049806)(assets/image-20230823003231110.png)]