背景信息
自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。
本文基于阿里云GPU服务器和文本生成视频模型,采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现文本生成视频功能。
重要
- 阿里云不对第三方模型“文本生成视频大模型”的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。关于模型的详细信息,请参见文本生成视频大模型。
- 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。
操作步骤
创建ECS实例
1.前往实例创建页。
2.按照界面提示完成参数配置,创建一台ECS实例。需要注意的参数如下,其他参数的配置,请参见自定义购买实例。
- 实例:选择实例规格为ecs.gn7i-c16g1.4xlarge。
- 镜像:本文使用已部署好推理所需环境的云市场镜像,名称为ai-inference-solution。
- 公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps,以加快模型下载速度。
3.添加安全组规则。
在ECS实例安全组的入方向添加安全组规则并放行50000端口。具体操作,请参见添加安全组规则。
4.创建完成后,在ECS实例页面,获取公网IP地址。
说明 :公网IP地址用于生成图片测试时访问WebUI服务。
下载并配置模型
1.使用root用户远程连接ECS实例。
该市场镜像中,运行环境及模型都安装在/root
目录下,连接实例时需使用root用户。具体操作,请参见通过密码或密钥认证登录Linux实例。
2.执行如下命令,下载v1-5-pruned-emaonly.safetensors模型。
cd ~/stable-diffusion-webui/models/Stable-diffusion wget "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"
当显示如下图所示的回显信息时,说明已下载完成。
3.为Nginx添加用户登录验证。
该镜像预装了Nginx软件,用于登录鉴权,以防止非授权用户登录。
a.执行如下命令,创建登录用户和密码。
说明 :${UserName}
请替换为您自定义的用户名,例如admin;'${Password}'
请替换为您自定义的密码,例如ECS@test1234。
htpasswd -bc /etc/nginx/password ${UserName} '${Password}'
b.执行如下命令,重启Nginx。
systemctl restart nginx
c.执行如下命令,查看Nginx状态。
systemctl status nginx
当显示如下图所示的回显信息时,说明Nginx处于运行中。
d.执行如下命令,设置Nginx开机自启动。
systemctl enable nginx
文本生成视频
1.使用root用户远程连接ECS实例。
该市场镜像中,运行环境及模型都安装在/root
目录下,连接实例时需使用root用户。具体操作,请参见通过密码或密钥认证登录Linux实例。
2.执行如下命令,切换conda环境到modelscope中。
conda activate modelscope
3.执行如下命令,切换到scripts
目录。
cd /root/scripts
4.执行如下脚本,生成视频。
./text2video.py
运行过程中,请根据提示输入英文文本,例如Clown fish swimming through the coral reef.
。
说明: 首次执行脚本时,会通过公网自动下载所需模型库,100 Mbps带宽下载时间大约为20分钟,请耐心等待。
- 文件存放:生成的text2video.mp4视频文件存放在
/root/scripts/output
目录中。 - 文件下载:在左上角顶部菜单栏,选择文件> 打开新文件树,找到目标文件后右键,单击下载文件即可。
了解更多AIGC实践和GPU优惠