一、引言
随着短视频行业的快速增长,内容创作的速度和质量成为了市场竞争的关键要素。传统动画故事制作不仅复杂,而且成本高昂,这限制了创作者对市场热点的快速响应及创新实现。为了应对这一挑战,阿里云推出一款基于AI技术的剧本生成与动画创作解决方案。本文主要来体验这个方案的效果及反馈。
二、方案原理及架构介绍
2.1 方案原理
本方案利用函数计算 FC 构建 Web 服务,结合百炼模型服务和 ComfyUI 工具,实现了从故事剧本撰写、插图设计、声音合成和字幕添加到视频合成的一站式自动化流程。
2.2 架构介绍
该解决方案主要涉及的云产品:
1个函数计算 FC 应用:分别部署 ComfyUI 和 WebUI 两个函数。
1个对象存储 OSS Bucket:存储图片、音频、视频等。
百炼模型服务:调用 API 完成剧本生成,语音合成和字幕相关信息生成。
架构如下:
2.3 方案优势
降低技术门槛:无需专业的动画技术背景,只要你的脑洞足够大,就可以有更多的创意实现。
加速内容生产:通过自动化流程整合剧本撰写、插图设计、声音合成至视频合成,极大缩短了动画创作周期,使得创作者能够迅速响应市场变化,提高内容产出速度。
优化成本:减少了传统动画制作中的人力与设备成本,尤其是对于初创团队或个人创作者而言,显著降低了进入门槛,且支持按需调整资源,灵活管理成本。
三、一键部署
3.1 开通百炼服务
登录阿里云百炼大模型服务平台,若第一次使用需要开通服务,然后在主页右上角获取API-KEY。
3.2 创建对象存储OSS
登录OSS管理控制台。单击创建Bucket。然后单击完成创建。
3.3 部署函数计算
点击前往部署打开阿里提供的函数计算应用模板来进行一键部署。注意这里的区域需要与OSS在同一个区域。
四、方案验证
4.1 部署成功访问域名
耗时3-5分钟,部署成功之后点击域名,可以打开应用。
4.2 使用官方模板进行视频生成
1)鼠标移动到示例1,然后单击使用该示例。
2)单击生成视频,大概8-9分钟即可查看生成结果。
生成的视频也支持下载。
五、清理资源
5.1 删除对象存储OSS Bucket
需要先把文件列表中的内容删除。
删除Bucket。
5.2 删除函数计算FC应用
六、体验反馈
通过体验《AI剧本生成与动画创作》解决方案,其在内容创作上具有高效性、创新性、低成本等优势,基本满足了对日常动画制作的需求。下面是对本次测试的一些问题与建议。
1、方案中提到了使用ComfyUI 工具是否对应的是视觉模型/文本模型/语音模型这部分内容?
2、在应用中没有看到针对定制化续写功能,同时在方案验证中也没有涉及到。
3、本次体验过程中,函数计算部署耗时约4分钟,视频生成在9分钟左右,费用在1.38元左右。整体觉得视频生成时间略长,若是能在5分钟内,体验就更好了。
4、若有大量的剧本内容需要创作的话,是否支持本地化部署?
5、在体验过程中看到这里调用的百炼大模型,在实际生产中是否可以支持调用第三方的模型?
6、目前声音中只有男声和女声,在实际生产中是否能支持上传自定义声音,或者内置更多的声音可供选。
7、在视频生成过程中,当到插图生成时是否可以把已经生成完的插图实时预加载出来,这样用户可以不用一直面对空白。
8、在实际生产使用中,若正在生成视频过程中,需要修改部分提示词,是否可以增加暂停修改的功能?
9、目前只支持单个人物创作,希望可以支持两人或者多人的角色类型,这样可以大大丰富剧本的内容。
10、当上传一个动物照片时,人物描述识别不正确。或者说现在只能是人物,而不能使用动物。在实际生产中,想打造动物或者其他物体为主角的剧本动画,现在是无法满足。是否可以考虑增加动物、物体等识别,可以把剧本动画的创作范围进一步加大,释放使用者的脑洞。
11、当一个要生成的剧本内容比较多,若提示词超过1000字该如何处理?或者分解为两个500字,那么如何保证两次生成剧本的连贯性?