AI 绘画Stable Diffusion 研究(十四)SD 图生图+剪映制作人物说话视频(2)

简介: AI 绘画Stable Diffusion 研究(十四)SD 图生图+剪映制作人物说话视频

4、将音频拖入下方音频轨道


5、生成字幕

依次点击菜单栏上“文本”按钮,再点击左侧“智能字幕”按钮,接着点击“开始识别”按钮,生成字幕



字幕生成如下:


6、将图片拖入轨道,然后切换嘴型

(1)、怎么切换嘴型,使其看上去像说话的效果呢?


用过剪映的朋友肯定知道,剪映 1s 是30帧 。

那么正常人说话,大约1s 5 -6 个字。

因此我们可以计算出来大概 5帧 一个嘴型。

因此我们先使用闭嘴的图,然后在5帧的地方,切换张嘴的图即可实现。


(2)、制作步骤


  • step 1: 将张嘴的图和闭嘴的图分别导入到图片两个轨道上
  • step 2:将右侧轨道缩放拖到最右侧,可以清晰看见轨道上的帧数 ,如1f \2f\4f\6f
    如图:


step 3: 将定位线移到 5帧处,然后点击分割按钮,将张嘴和闭嘴图都分割开

如下:



step 4:处理闭嘴的图, 分割后,我们删除,前5帧,不用的闭嘴图

如下:



step 5: 继续往后数5帧,再分割


step 6: 删除张嘴、闭嘴图 多余的部分



step 7: 将张嘴、闭嘴拖入同一轨道,并且打组


选中两个片段,然后鼠标右键,新建复合片段,打组



现在的效果,就是闭嘴、张嘴的一个片段 。

打组后如图:


step 8: 复制粘贴多个片段,直到一句说完话为止

然后将图片末尾和字幕对齐。

如图:


step 9: 没说话的时候,使用闭嘴的图

注意:将图片末尾和空白处末尾对齐

如下:


step 10: 继续处理后面说话的部分, 重复步骤step 8,直到每句话处理完毕


step 11: 调整视频比例,9:16 再导出视频

右上角导出按钮,导出即可。



好了,这个视频制作就到此结束,看看效果吧:

SD 图生图+剪映制作人物说话视频

说实话,这个视频只是张嘴闭嘴的效果,没有脸部表情变化,确实显得比较生硬。

不过这里重点在于介绍制作思路和剪辑方法, 对于感兴趣的朋友可以尝试玩一下。

相关文章
|
18天前
|
人工智能 API 流计算
[AI Stability] 开源AI新利器:Stable Diffusion 3 Medium震撼发布!文本到图像再升级!
探索 Stable Diffusion 3 Medium(SD3),Stability AI 的最新开源模型,正在彻底改变文本到图像的生成。了解其功能、许可选项和集成可能性。
[AI Stability] 开源AI新利器:Stable Diffusion 3 Medium震撼发布!文本到图像再升级!
|
1天前
|
人工智能 算法 计算机视觉
无论真实还是AI视频,摩斯卡都能重建恢复4D动态可渲染场景
【6月更文挑战第30天】摩斯卡系统革命性地从单视角视频重建4D动态场景,融合2D视觉模型与物理优化,实现渲染。利用“Motion Scaffold”表示几何、外观和运动,即使在多视角输入困难时也能保证高质量重建与渲染。虽有输入质量和计算资源限制,但其创新性提升了动态场景处理的实用性和可控性。[arXiv:2405.17421](https://arxiv.org/pdf/2405.17421)
5 2
|
5天前
|
机器学习/深度学习 人工智能 算法
OpenAI发布全新AI视频模型Sora:引领视频创作新纪元
OpenAI发布全新AI视频模型Sora:引领视频创作新纪元
|
9天前
|
机器学习/深度学习 人工智能 算法
Stable Diffusion AI绘画
Stable Diffusion是人工智能领域的文本到图像生成模型,基于概率的连续扩散过程,学习数据潜在分布并生成新样本。模型使用Web UI进行交互,提供不同采样器如Euler和DPM++,后者常配以Karras算法。提示词对生成效果至关重要,可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外,模型文件(ckpt/safetensors)和Lora微调模型需存放在正确目录以确保功能正常。
|
17天前
|
人工智能 关系型数据库 Docker
【Django项目】 通过AI实现视频转文字
【Django项目】 通过AI实现视频转文字
|
24天前
|
人工智能 算法
AIGC创作活动 | 智"绘"AI,使用PAI创造风格百变绘画助手
使用阿里云人工智能平台PAIx Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理,实现文本驱动的图像编辑功能单卡即可完成AIGC图片风格变化、背景变化和主体变化等功能。让我们一同开启这场旅程,为您的图像编辑添上无限可能性的翅膀吧。
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
Python AI 绘画
Python AI 绘画
|
14天前
|
人工智能 开发工具 git
Python AI 绘画
Python AI 绘画
|
17天前
|
机器学习/深度学习 人工智能 监控
Sora - 探索AI视频模型的无限可能
Sora - 探索AI视频模型的无限可能
28 0
|
2月前
|
人工智能 Windows Python
Windows下体验Stable Diffusion 近距离感受AI魔法绘画
Windows下体验Stable Diffusion 近距离感受AI魔法绘画