AI视频生成已成为当前热门应用之一。目前市面上有许多开源视频生成大模型可供选择,它们在不同领域展现了各自独特的性能。与此同时,AIGC开源工具ComfyUI也迅速在市场上崭露头角。作为一个基于节点流程式的AIGC生成工具WebUI,ComfyUI将AIGC流程拆分成工作节点,实现了精准的工作流定制和可复现性。
人工智能平台PAI起初是服务于阿里巴巴集团内部(例如淘宝、支付宝和高德)的机器学习平台,致力于让公司内部开发者更高效、简洁、标准地使用人工智能AI(Artificial Intelligence)技术。
随着PAI的不断发展,2018年PAI平台正式商业化,目前已经积累了数万的企业客户和个人开发者,是中国云端机器学习平台之一。PAI提供的服务:
可视化建模和分布式训练Designer,详情请参见可视化建模(Designer)。
Notebook交互式AI研发DSW(Data Science Workshop),详情请参见交互式建模(DSW)。
分布式训练DLC(Deep Learning Containers),详情请参见分布式训练(DLC)。
在线预测EAS(Elastic Algorithm Service),详情请参见模型在线服务(EAS)。
PAI依托于阿里云及阿里巴巴集团多年的应用及技术积累,具备以下多种优势。
AI 研发全生命周期全链路:
支持数据标注、模型开发、模型训练、模型优化、模型部署以及AI运维管控,是一站式AI平台。
拥有140+种优化的内置算法组件。
支持业内TensorFlow、PyTorch等多种深度学习框架。
提供多种模式、大数据引擎深度结合、多框架兼容、自定义镜像等核心能力。
提供云原生架构的AI开发、训练、部署的产品。
多样的产品输出方式:
公共云支持全托管、半托管。
支持AI 高性能计算集群和轻量化输出产品形态。
业内领先的AI优化:
高性能的训练框架,稀疏训练场景,支持数十亿到数百亿的稀疏特征规模,数百
亿到数千亿的样本规模,上千worker的分布式增量训练。
主流框架模型加速,使用PAI Blade提升RestNet50、Transformer+LM等十数个主流模型加速比。
该服务支持单独或组合使用。支持一站式机器学习,您只需准备好训练数据(存放到OSS或MaxCompute中),所有建模工作(包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境)都可以通过PAI实现。
对接DataWorks,支持 SQL、UDF、UDAF、MR等多种数据处理方式,灵活性高。
生成训练模型的实验流程支持DataWorks周期性调度,且调度任务区分生产环境和开发环境,从而实现数据安全隔离。
您可以通过EAS一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成Web应用,快速实现文本生成视频的AI生成解决方案,帮助您完成社交平台短视频内容生成、动画制作等任务
要使用EAS服务快速部署一个AI视频生成应用,您可以遵循以下步骤:
- 准备工作
开通与设置:确保您已开通EAS服务并在阿里云PAI平台上创建了默认工作空间。如果您使用RAM用户部署模型,需为其分配EAS的管理权限。 - 部署EAS服务
登录控制台:首先登录PAI控制台,在工作空间列表中选择您的工作空间。
进入模型部署页面:在工作空间内,导航至左侧的“模型部署 > 模型在线服务(EAS)”。
新建服务:
服务名称:输入一个自定义的服务名称,例如comfyui_svd_demo。
部署方式:选择“镜像部署AI-Web应用”。
镜像选择:从PAI平台镜像列表中选取comfyui,并选择最新版本的镜像。
运行命令:系统会自动配置运行命令为python main.py --listen --port 8000,端口默认为8000。
资源配置:
资源组种类:选择“公共资源组”。
资源配置方法:采用“常规资源配置”,并选择GPU类型资源,推荐配置为ml.gu7i.c16m60.1-gu30或在库存不足时选择ecs.gn6i-c16g1.4xlarge。
开始部署:点击“部署”,等待约5分钟直至部署完成。
- 启动ComfyUI并进行模型推理
单击目标服务的服务方式列下的查看Web应用。
在WebUI页面进行模型推理验证。
根据您自己的业务需要,选择文生图的模型和图生视频的模型,本方案使用默认配置。然后在CLIP文本编码器中输入Prompts,例如:Rocket takes off from the ground, fire, sky, airplane,单击提示词队列, 等待工作流运行完成即可获得AI生成的视频。
右键单击生成的视频,选择保存图像,即可将生成的视频保存到本地。
注意事项
资源选择:选择合适的GPU资源对性能和成本效益至关重要。
版本更新:镜像版本迭代迅速,请部署时选用最新版本以获取最佳性能和功能。
权限配置:确保RAM用户具有足够的EAS管理权限,避免部署过程中出现权限问题。
通过以上步骤,您将能够快速搭建起一个基于ComfyUI的AI视频生成应用,实现文本驱动的视频内容创作,适用于短视频、直播、动画制作等多种场景。