开发者社区 问答 正文

Sora的整体框架可以拆分为哪些主要部分?

Sora的整体框架可以拆分为哪些主要部分?

展开
收起
夹心789 2024-06-28 23:05:22 44 分享 版权
1 条回答
写回答
取消 提交回答
  • Sora的整体框架可以拆分为两个主要部分,即视觉编码器/解码器和以文本提示词为条件的扩散模型。
    • 视觉编码器/解码器:编码器将原始视频映射到 patches,解码器把 patches 还原回视频
    • 扩散模型(文本提示词为条件):以文本提示词为条件,生成 patches
    image.png

    2024-06-28 23:40:31
    赞同 4 展开评论
问答地址: