时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了(1)

简介: 时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了



在 AI 绘画领域,阿里提出的 Composer 和斯坦福提出的基于 Stable diffusion 的 ControlNet 引领了可控图像生成的理论发展。但是,业界在可控视频生成上的探索依旧处于相对空白的状态。


相比于图像生成,可控的视频更加复杂,因为除了视频内容的空间的可控性之外,还需要满足时间维度的可控性。基于此,阿里巴巴和蚂蚁集团的研究团队率先做出尝试并提出了 VideoComposer,即通过组合式生成范式同时实现视频在时间和空间两个维度上的可控性。




前段时间,阿里巴巴在魔搭社区和 Hugging Face 低调开源了文生视频大模型,意外地受到国内外开发者的广泛关注,该模型生成的视频甚至得到马斯克本尊的回应,模型在魔搭社区上连续多天获得单日上万次国际访问量。



Text-to-Video 在推特


VideoComposer 作为该研究团队的最新成果,又一次受到了国际社区的广泛关注。




VideoComposer 在推特



相关文章
|
1月前
|
人工智能 搜索推荐 区块链
元宇宙构建者:探索虚拟世界的无限可能性
在科技飞速发展的今天,元宇宙正逐步从科幻概念变为现实。本文探讨元宇宙构建者的角色、挑战与技术创新,以及他们如何塑造未来数字世界的愿景。构建者不仅需推动技术进步,还要关注社会伦理、隐私保护和数据安全,确保元宇宙的健康发展。
|
2月前
|
人工智能 自然语言处理 BI
从数据积累到大模型的智能飞跃,你准备好了吗?
在数据驱动的时代,人工智能(AI)正重塑世界。蚂蚁集团的师文汇在「DATA+AI」论坛上发表演讲,阐述了《数据驱动的AI原生应用与开放框架》。他指出,AI应用经历了从数据积累到大模型的智能飞跃,数据已成为智能应用成功的关键。师文汇强调,构建智能应用需结合优质大模型与行业数据。演讲还介绍了AI原生应用的研发变革与挑战,包括编程模型转变、研发范式的不确定性及与现有系统的交互等问题。此外,他还分享了AI原生应用框架的思考与探索,提出了泛ETL、实验反馈机制及应对不确定性等解决方案,并展示了DB-GPT在政企、金融等多个领域的应用案例。
|
7月前
|
人工智能 安全 人机交互
我对计算机领域未来发展的期望和畅想
我期待未来计算机领域融合人性与智能,AI伙伴懂得人类情感,量子计算带来革命性变化。数字鸿沟将缩小,信息普惠全球,同时关注环保与可持续性,发展绿色计算。计算机系统将更安全,抵御网络威胁,保护用户隐私。最后,希望计算机科学教育普及,激发更多人投身科技创新,共创美好未来。
499 0
|
人工智能 机器人 人机交互
空间智能化的速度,连ChatGPT都低估了
过去相当长一段时间里,诸如此类的话题可能仅限在设计师的圈子里讨论。可当智能设备越来越流行,用户需求逐渐从PC、手机延伸到整个生活空间,交互已然成为人感知空间智能进化的起点。
105 0
|
机器学习/深度学习 编解码 PHP
时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了(2)
时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了(2)
302 0
|
安全 架构师 测试技术
【真实感受】超越专业局限,职场人拓展更多可能性!
【真实感受】超越专业局限,职场人拓展更多可能性!
114 0
|
机器学习/深度学习 人工智能 芯片
摩尔定律失效怎么办?神经形态计算专家:把重点变成树突学习
摩尔定律失效怎么办?神经形态计算专家:把重点变成树突学习
110 0
|
传感器 机器学习/深度学习 人工智能
「纯视觉」与「多传感器」路线之争背后,久未解决的3大难题
「纯视觉」与「多传感器」路线之争背后,久未解决的3大难题
378 0
|
人工智能 边缘计算 搜索推荐
就餐这件小事,如何被AI计算深度改变?
天天嚷着营养均衡、保持身材,临了却不知道该吃什么、怎么吃;
就餐这件小事,如何被AI计算深度改变?
|
数据库 Android开发
不断提升自己创造溢价的能力,工作感悟
不断提升自己创造溢价的能力,工作感悟