实验简介:
自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。本文基于阿里云GPU服务器和文本生成视频模型,采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现文本生成视频功能。
实验室地址:https://developer.aliyun.com/adc/scenario/cb9815d26b1d40f19b63b07e4377ff88
查看更多最佳实践:https://www.aliyun.com/daily-act/ecs/markets/aliyun/gpu/aigc
实验说明
1. 实验资源方式简介及开始实验
a.云起实验室是支持个人账户资源一种实验资源方式。
- 个人账户资源
- 使用您个人的云资源进行操作,资源归属于个人。
- 所有实验操作将保留至您的账号,请谨慎操作。
- 平台仅提供手册参考,不会对资源做任何操作。
- 说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。
b.准备开始实验。在实验开始前,请您选择个人账户资源,单击确认开启实验。
2. 创建ECS实例
本文使用的ai-inference-solution市场镜像中,内置了以下三个模型及运行环境。
v1-5-pruned-emaonly.safetensors:Stable Diffusion v1.5模型,一种潜在的text-to-image(文本到图像)的扩散模型,能够在给定任何文本输入的情况下生成逼真的图像。
说明:该模型中文提示词效果不好,建议使用英文提示词。
Taiyi-Stable-Diffusion-1B-Chinese-v0.1:太乙-中文模型,基于0.2亿筛选过的中文图文对训练,可以使用中文进行AI绘画。
Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1:太乙-动漫风格模型,首个开源的中文Stable Diffusion动漫模型,该模型是基于Taiyi-Stable-Diffusion-1B-Chinese-v0.1进行继续训练,经过100万筛选过的动漫中文图文对训练得到的。太乙-动漫风格模型不仅能够生成精美的动漫图像,还保留了太乙-中文模型对于中文概念强大的理解能力。
a.前往实例创建页。
b.按照界面提示完成参数配置,创建一台ECS实例。
需要注意的参数如下,其他参数的配置,请参见自定义购买实例。
- 实例:选择实例规格为ecs.gn7i-c16g1.4xlarge。
- 镜像:本文使用已部署好推理所需环境的云市场镜像,名称为ai-inference-solution。
- 公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps。以加快模型下载速度。
- 管理设置:为当前ECS实例设置登录密码,登录凭证选择自定义密码,登录名选择root,输入登录密码和确认密码。
- 在云服务ECS实例创建页面,选中服务协议,单击确认下单。
c.在创建成功对话框中,单击管理控制台。创建完成后,在ECS实例页面,获取公网IP地址。
d.在实例页面,等待状态变为运行中后,即可使用该云服务器ECS。
3. 文本生成视频
a.在实验室页面右侧,单击单击 图标,切换至Web Terminal。
输入ECS服务器登录用户名和密码,登录ECS
b.执行如下命令,切换conda环境到modelscope中。
conda activate modelscope
c.执行如下命令,切换到scripts目录。
cd /root/scripts
d.执行如下脚本,生成视频。
./text2video.py
运行过程中,请根据提示输入英文文本,例如Clown fish swimming through the coral reef.
说明:
- 首次执行脚本时,会通过公网自动下载所需模型库,100 Mbps带宽下载时间大约为20分钟,请耐心等待。
- 文件存放:生成的text2video.mp4视频文件存放在/root/scripts/output目录中。
- 文件下载:在左上角顶部菜单栏,选择文件> 打开新文件树,找到目标文件后右键,单击下载文件即可。
本文生成示例如下:
https://cloud.video.taobao.com/play/u/null/p/1/e/6/t/1/410129983769.mp4?SBizCode=xiaoer
*本次实验使用的文本生成的视频会与实际操作时有所差异,属于正常情况。
4. 清理释放须知
- 如果无需继续使用实例,可以登录ECS控制台,找到目标实例,在操作列单击,搜索并单击释放设置,根据界面提示释放实例。
- 如果需要继续使用实例,请您随时关注账户扣费情况,避免欠费。实例会因欠费而被自动停机,停机15天内实例将保留,15天后实例和数据都将被自动释放。