最近想了解 AI 生成动画/短视频这条技术路线，看了阿里云开源的一套「AI 剧本生成与动画创作」方案。它不是一个单一模型，而是把几个云产品拼成了一条完整流水线。这篇记录一下我拆解出来的架构思路和几个实际跑通时的注意点。
一、整体架构：四层拼接
这套方案的技术栈不复杂，但拼接方式值得一看。从官方架构图拆出来，是四层：
| 层级 | 组件 | 作用 |
|---|---|---|
| 计算层 | 函数计算 FC（杭州 region） | 跑 WebUI 和 ComfyUI，按需启停 |
| 生成层 | ComfyUI + 百炼模型服务 | ComfyUI 做图像生成，百炼提供 qwen-max（文本）、qwen-vl-max（视觉）、cosyvoice-v1/paraformer-v1（语音） |
| 存储层 | 对象存储 OSS | 存放上传的人设图、生成的分镜插画、配音片段、最终合成视频 |
| 交互层 | WebUI | 用户填文案、选音色、点生成，背后调 FC 的 API |
调用流程是：用户在 WebUI 提交请求 → FC 里的 WebUI 作为调度中心 → 分别调 ComfyUI 出图、调百炼模型写剧本和合成语音 → 中间产物写 OSS → 最后合成视频返回。
这个分层有个好处：每一层可以独立替换。比如你不想用 ComfyUI 出图，可以换成其他图像模型；不想用 FC，也可以把 WebUI 部署到自己的服务器上，只要模型服务和 OSS 能联通就行。
二、实际操作流程：三步出片
WebUI 把流程压得很薄，打开后主要三步：
第一步：文案设置。 上传人物形象参考图（JPG/PNG，单张不超过 10MB），写人物描述，再填剧本提示词（上限 1000 字）。这里的提示词质量直接决定后面分镜和剧情的贴合度——和直接调大模型 API 一样，上下文越具体，返工越少。
第二步：音频设置。 选旁白音色（男声/女声），支持试听。这一步对应 cosyvoice 语音合成，把旁白文本转成配音轨道。
第三步：生成视频。 点生成后，系统自动走完分镜插画生成、配音、字幕、视频合成整个链路。不需要自己在 ComfyUI 里搭节点，也不需要在剪辑软件里对音画轨道。
三、几个技术上值得注意的点
1. 剧本是续写式生成，不是一次性出完整剧本。 官方支持剧本策划与续写，可以调整剧本类型、梗概、风格。实际用下来，这种"先出骨架再续写"的方式比一次性生成完整长剧本效果稳定——因为长文本一次性生成容易前后矛盾，分段续写可以随时纠偏。
2. 角色一致性靠参考图驱动。 不是纯文本描述角色长相，而是上传一张人设参考图，后续所有分镜都围绕这个形象生成。做系列内容时这一点很关键：每集用同一张参考图，主角形象就不会飘。纯文本描述很难做到跨分镜一致。
3. 中间产物全部走 OSS。 生成的插画、音频片段都存在对象存储里。测试阶段要注意及时清理不需要的中间文件，否则存储费用会积少成多——这是跑云服务的通用经验，不只是这套方案。
4. FC 按需启停是成本控制的关键。 函数计算是按调用量计费的，不是一直开着。不用的时候 WebUI 不占资源，下次提交请求再冷启动。对个人创作者来说，这种模式比自己租一台常驻 GPU 实例划算得多。
四、什么场景适合，什么场景要谨慎
这套方案适合的方向：
- 短视频/动画短剧：旁白驱动、卡通风格、更新频率中等
- 教育科普内容：把知识点做成卡通解说，比纯 PPT 录屏生动
- 游戏/品牌宣传短片：快速出预告片、角色介绍类内容
- 真人内容卡通化：把真人出镜转成动漫形象，规避肖像问题
需要谨慎的场景：
- 精细 3D 动画：目前 AI 生成精度到不了这个级别
- 口型严格同步的内容：语音合成和画面匹配还需要人工校对
- 对美术风格有精确要求的项目：AI 生成的画面风格不可控，需要多次抽卡
五、跑通时的一个体会
AI 动画工具最大的价值不是"一键出成片"，而是把原来需要四个工具、四个人配合的流程（编剧、插画、配音、剪辑）压缩到一个 WebUI 里。它出的是初稿和粗剪，你还是得审稿、改提示词、定最终版。把它当成一个初级制作团队而不是自动流水线，预期会合理很多。
想自己跑一遍的，可以从官方方案页跟着部署教程走，整体流程不复杂——查看官方方案页，了解技术架构和部署方式。
你在做 AI 动画时卡在哪一步？是剧本生成还是画面一致性？评论区交流。
