❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 任务分解：将复杂的视频生成任务分解为多个子任务，每个子任务由专门的代理处理。
2. 迭代循环：通过设计、生成和重新设计三个阶段的迭代循环，逐步优化视频内容。
3. 多代理协作：多个专业化的代理协作，确保视频生成的准确性和文本对齐度。

正文

GenMAC 是什么

GenMAC是由香港大学、清华大学和微软研究院联合推出的多代理协作框架，专门用于解决文本到视频生成中的复杂场景生成问题。该框架通过将任务分解为设计、生成和重新设计三个阶段，并在生成与重新设计之间建立迭代循环，逐步验证和优化视频内容。

在重新设计阶段，框架进一步细分为验证、建议、修正和输出结构化四个子任务，由专门的代理顺序执行。通过自适应自路由机制，选择适合当前场景的代理，实现更准确的视频生成。

GenMAC 的主要功能

• 组合文本到视频生成：根据复杂的组合文本提示生成视频，处理多对象、属性绑定、时间动态和对象间交互的场景。
• 迭代工作流程：通过设计、生成和重新设计三个阶段的迭代循环，逐步完善视频内容。
• 多代理协作：使用多个专业化的多模态大型语言模型（MLLM）代理，每个代理负责处理特定的子任务，实现集体智能。
• 任务分解：重新设计阶段被分解为验证、建议、修正和输出结构化四个子任务，由不同的代理顺序执行。
• 自适应自路由机制：根据不同的生成场景，自适应地选择最适合的代理进行修正。
• 提高场景准确性和文本对齐：通过多代理协作和迭代细化，提高视频场景的准确性和与文本提示的对齐度。

GenMAC 的技术原理

• 任务分解与角色专业化：将复杂的视频生成任务分解为更简单的子任务，为每个子任务分配专门的代理，每个代理都有特定的角色和职责。
• 迭代循环：在生成和重新设计阶段之间设置迭代循环，模型逐步验证和修正生成的视频，更好地符合文本提示。
• 代理协作：
  • 验证代理：检查视频内容与文本提示的对齐情况。
  • 建议代理：基于验证结果提出修正建议，选择适合的修正代理。
  • 修正代理：根据建议调整视频设计，如布局和指导比例。
  • 输出结构化代理：将修正结果转化为结构化格式，为下一次迭代生成提供输入。
• 自适应自路由：根据不同的生成需求和场景，自适应地选择最适合的修正代理，处理一致性、时间动态和空间动态等问题。
• 跨阶段信息流：在设计、生成和重新设计阶段之间，信息（如布局、指导比例和文本提示）不断更新和传递，实现更准确的视频生成。

资源

• 项目官网：https://karine-h.github.io/GenMAC/
• GitHub 仓库：https://github.com/Karine-Huang/GenMAC
• arXiv 技术论文：https://arxiv.org/pdf/2412.04440

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦