【玩转AIGC系列】AIGC文本生成视频

简介: 本文介绍如何使用GPU云服务器搭建Stable Diffusion模型,并基于ModelScope框架,实现使用文本生成视频。

背景信息

自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。


本文基于阿里云GPU服务器和文本生成视频模型,采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现文本生成视频功能。


重要

  • 阿里云不对第三方模型“文本生成视频大模型”的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。关于模型的详细信息,请参见文本生成视频大模型
  • 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。

操作步骤

创建ECS实例

1.前往实例创建页

2.按照界面提示完成参数配置,创建一台ECS实例。需要注意的参数如下,其他参数的配置,请参见自定义购买实例

  • 实例:选择实例规格为ecs.gn7i-c16g1.4xlarge
  • 镜像:本文使用已部署好推理所需环境的云市场镜像,名称为ai-inference-solution
  • 公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps,以加快模型下载速度。

3.添加安全组规则。
在ECS实例安全组的入方向添加安全组规则并放行50000端口。具体操作,请参见添加安全组规则

4.创建完成后,在ECS实例页面,获取公网IP地址。
说明 :公网IP地址用于生成图片测试时访问WebUI服务。

下载并配置模型

1.使用root用户远程连接ECS实例。
该市场镜像中,运行环境及模型都安装在/root目录下,连接实例时需使用root用户。具体操作,请参见通过密码或密钥认证登录Linux实例

2.执行如下命令,下载v1-5-pruned-emaonly.safetensors模型。

cd ~/stable-diffusion-webui/models/Stable-diffusion
wget "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"

当显示如下图所示的回显信息时,说明已下载完成。

3.为Nginx添加用户登录验证。

该镜像预装了Nginx软件,用于登录鉴权,以防止非授权用户登录。

a.执行如下命令,创建登录用户和密码。
说明 :${UserName}请替换为您自定义的用户名,例如admin;'${Password}'请替换为您自定义的密码,例如ECS@test1234。

htpasswd -bc /etc/nginx/password ${UserName} '${Password}'

b.执行如下命令,重启Nginx。

systemctl restart nginx

c.执行如下命令,查看Nginx状态。

systemctl status nginx

当显示如下图所示的回显信息时,说明Nginx处于运行中。

d.执行如下命令,设置Nginx开机自启动。

systemctl enable nginx

文本生成视频

1.使用root用户远程连接ECS实例。
该市场镜像中,运行环境及模型都安装在/root目录下,连接实例时需使用root用户。具体操作,请参见通过密码或密钥认证登录Linux实例

2.执行如下命令,切换conda环境到modelscope中。

conda activate modelscope

3.执行如下命令,切换到scripts目录。

cd /root/scripts

4.执行如下脚本,生成视频。

./text2video.py

运行过程中,请根据提示输入英文文本,例如Clown fish swimming through the coral reef.

说明: 首次执行脚本时,会通过公网自动下载所需模型库,100 Mbps带宽下载时间大约为20分钟,请耐心等待。

  • 文件存放:生成的text2video.mp4视频文件存放在/root/scripts/output目录中。
  • 文件下载:在左上角顶部菜单栏,选择文件> 打开新文件树,找到目标文件后右键,单击下载文件即可。

了解更多AIGC实践和GPU优惠

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
人工智能 自然语言处理 开发者
AIGC创作活动 | 跟着UP主秋葉一起部署AI视频生成应用!
本次AI创作活动由 B 站知名 AI Up 主“秋葉aaaki”带您学习在阿里云 模型在线服务(PAI-EAS)中零代码、一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成Web应用,快速实现文本生成视频的AI生成解决方案,帮助您完成社交平台短视频内容生成、动画制作等任务。制作上传专属GIF视频,即有机会赢取乐歌M2S台式升降桌、天猫精灵、定制保温杯等好礼!
|
6月前
|
人工智能 vr&ar
AIGC领域又有大动作了!AI视频“黑马”Morph Studio 来袭,1080P高清画质视频免费生成!
AIGC领域又有大动作了!AI视频“黑马”Morph Studio 来袭,1080P高清画质视频免费生成!
196 2
|
人工智能 机器人 UED
AIGC革新,将文字或者LOGO融入AI视频基于PIKA-labs(Python3.10)
很多平台都会禁止用户使用带有网址或者二维码的头像以及文章配图,这样可以有效的防止用户的一些“导流”行为。当然,头像、文章或者视频现在都是AI来审,毕竟现在人工的成本实在太高,但是如果我们把文字元素直接融入图像或者视频之中,如此一来,AI也会很难识别出一些“导流”的元素。 本次我们依靠PIKA-labs平台,无需本地环境,直接简单粗暴输出带有文字元素的光影视频效果,基于Python3.10。
AIGC革新,将文字或者LOGO融入AI视频基于PIKA-labs(Python3.10)
|
6月前
|
人工智能 算法
52个AIGC视频生成算法模型介绍(中)
52个AIGC视频生成算法模型介绍(中)
314 4
|
3月前
|
机器学习/深度学习 自然语言处理 监控
|
AI芯片
AIGC视频生成/编辑技术调研报告
随着图像生成领域的研究飞速发展,基于diffusion的生成式模型取得效果上的大突破。在图像生成/编辑产品大爆发的今天,视频生成/编辑技术也引起了学术界和产业界的高度关注。该分享主要介绍视频生成/编辑的研究现状,包括不同技术路线的优劣势,以及该领域当下面临的核心问题与挑战。
1545 2
AIGC视频生成/编辑技术调研报告
|
3月前
|
人工智能 编解码 搜索推荐
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC-基于EAS服务快速部署一个AI视频生成
AIGC-基于EAS服务快速部署一个AI视频生成
|
4月前
|
算法 JavaScript
「AIGC算法」将word文档转换为纯文本
使用Node.js模块`mammoth`和`html-to-text`,该代码示例演示了如何将Word文档(.docx格式)转换为纯文本以适应AIGC的文本识别。流程包括将Word文档转化为HTML,然后进一步转换为纯文本,进行格式调整,并输出到控制台。转换过程中考虑了错误处理。提供的代码片段展示了具体的实现细节,包括关键库的导入和转换函数的调用。
44 0
|
5月前
|
人工智能 自然语言处理 搜索推荐
【AIGC】文本与音频生成引领行业革新
【AIGC】文本与音频生成引领行业革新
104 0