AI帮你创造你的微电影
阿里云万相2.1系列为全球开发者提供高效、灵活的视频生成解决方案。万相2.1作为业界领先的开源视频生成模型,包含T2V-14B、T2V-1.3B等四款模型,支持文生视频、图生视频多模态任务,在VBench测评中以86.22%总分位列榜首,尤其在动态表现、多物体交互等维度表现卓越。
文生视频或者图生视频有着广阔的应用场景,从个人场景来说,可将你的图片安装指令变为视频用于取乐,也可用于制作短视频在各大视屏平台获取收益。
那么直接来看看阿里云计算巢基于万相2.1和ComfyUI推出的快速,高效的视频生成服务的效果。
Prompt:男人带上帽子。
当前一般的A10显卡生成个差不多7s的视频就到极限了。那么有没有什么方法可以生成长视频而且内容具备连续性呢?
调研了下,目前大概有三种做法:
- 用A100或更大显存的卡,将生成的帧调大。
- 采用首尾帧做法。将生成的几秒的短视频的尾帧抽出来,然后将这个尾帧作为下一次图生视频的首帧,最后用PR之类的工具拼接起来。
- 采用一些补帧的模型,将原始的断断续续的视频每隔xx帧补一帧,这样可将视频延长,具体做法可参考我们服务中内置的long-video.json工作流。
说完视频,再来看看文生图和图生图。内置的工作流自然在生成图片上更是不用说,不管是二次元还是真实世界,轻松拿捏!
想要开箱即用的尝试文生视频或图生视频功能可直接参考下方的部署说明步骤。
部署说明
- 访问计算巢 部署链接,按提示填写部署参数
- 填写实例参数 ,选择你想购买的方式和实例类型。
- 注意 如果您想要使用图生视频功能,为了降低爆RAM内存的可能,请选择60G以上的内存规格+A10以上的显卡规格。
- 根据需求选择新建专用网络或直接使用已有的专有网络。填写可用区和网络参数
- 点击立即创建,等待服务实例部署完成
- 服务实例部署完成后,点击实例ID进入到详情界面
- 访问服务实例的使用URL,这里我们采用安全代理直接访问。避免您的数据暴露到公网被别人获取
- 进入ComfyUI使用界面
使用流程
本服务已经内置了两个可以直接使用的工作流。其中涉及的插件和模型也已经准备好。
图生视频或文生视频功能
- 在下图处选择想要的功能。建议只选择一种进行使用,避免爆内存。
- 按图中指引选择工作流侧栏,选择wans.json并打开。
- 在此处选择示例图片或选择自己本机电脑上传。
- 在TextEncode处填写描述词。上面部分是你想要生成的内容,下面部分是你不想要生成的内容。
- 在ImageClip Encode处可设置图片的分辨率和帧数。本模型最高可设置720*720。
- 其余参数可参考官网:https://comfyui-wiki.com/zh/interface/node-options或以下文档:https://github.com/kijai/ComfyUI-WanVideoWrapper/blob/main/readme.md
文生图功能
- 工作流框处选择该工作流。
- 输入你想要的内容。
- 这里可以输入一些比较搞怪的内容,比如我这里是关羽大战白雪公主。
- 可以在此处设置图片的分辨率和图片的数量。如果想加快生产速度,可将batch_size设置为1.
- 等待图片的生成。
图生图功能
访问模版,或自己导入工作流使用。
如何下载模型
- 点击右上方的Manager
- 点击Model Manager
- 选择要使用的模型下载即可。
如何安装插件
接下载模型的第一步后,点击Install via Git URL。
更多有意思,又好玩又有深度的服务,请访问计算巢网址