AnchorCrafter:中科院联合腾讯推出的AI虚拟主播带货视频制作技术

本文涉及的产品
视觉智能开放平台,图像通用资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频通用资源包5000点
简介: AnchorCrafter是由中科院和腾讯联合推出的一项AI虚拟主播带货视频制作技术。该技术基于扩散模型,能够自动生成高保真度的主播风格产品推广视频,通过整合人-物交互(HOI)技术,实现对物体外观和运动控制的高度还原。AnchorCrafter在物体外观保持、交互感知以及视频质量方面优于现有方法,为在线广告和消费者参与提供了新的可能性。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 技术背景:AnchorCrafter基于扩散模型,整合人-物交互技术,实现高保真度视频生成。
  2. 主要功能:包括高质量视频生成、人-物交互集成、外观保持、运动控制等。
  3. 应用场景:适用于在线购物平台、社交媒体营销、电视广告制作等多个领域。

正文

AnchorCrafter 是什么

公众号: 蚝油菜花 - AnchorCrafter

AnchorCrafter是基于扩散模型的智能视频制作系统,专门用于自动生成具有高保真度的主播风格产品推广视频。该系统通过整合人-物交互(HOI)技术到姿态引导的人体视频生成中,实现了对物体外观和运动控制的高度还原,以及对复杂人物-物体交互的有效管理。

AnchorCrafter采用了HOI-appearance perception和HOI-motion injection技术,以及HOI-region reweighting loss训练目标,增强了物体细节的学习,确保视频生成过程中人物外观和动作的一致性。

AnchorCrafter 的主要功能

  • 高质量视频生成:自动创建高保真度的主播风格产品推广视频。
  • 人-物交互(HOI)集成:将人物与物体的交互自然地融入视频中,提升视频的真实感和互动性。
  • 外观保持:在视频中保持物体的外观细节,确保从多视角观察时物体的外观准确无误。
  • 运动控制:精确控制物体的运动轨迹,与人物动作协调一致。
  • 互遮挡管理:处理人物与物体交互时的遮挡问题,保持视频的连贯性和自然性。
  • 细节增强学习:基于HOI-region reweighting loss在训练过程中增强对物体细节的学习。

AnchorCrafter 的技术原理

  • 视频扩散模型:基于扩散模型架构,使用扩散UNet和变分自编码器(VAE)处理视频帧,将视频序列编码到潜在空间,从噪声中重建高质量的视频帧。
  • HOI-外观感知(HOI-appearance perception)
    • 多视角特征融合:使用多视角物体参考图像来提取物体的外观特征,增强模型对物体形状和纹理的识别能力。
    • 人-物双适配器:基于替换UNet中的交叉注意力层,实现人物和物体特征的更好分离,避免外观纠缠。
  • HOI-运动注入(HOI-motion injection)
    • 物体轨迹控制:使用深度图作为输入,基于轻量级卷积网络处理深度信息,控制视频中物体的运动轨迹。
    • 互遮挡处理:结合3D手部网格输入,处理人物手部与物体交互时的遮挡问题,确保交互的自然性和准确性。
  • HOI区域重加权损失(HOI-region reweighting loss):在训练过程中,增加手部-物体交互区域的权重,让模型更加关注这些区域,提高物体细节的学习和生成质量。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC技术深度解析:生成式AI的革命性突破与产业应用实战
蒋星熠Jaxonic,AI技术探索者,深耕生成式AI领域。本文系统解析AIGC核心技术,涵盖Transformer架构、主流模型对比与实战应用,分享文本生成、图像创作等场景的实践经验,展望技术趋势与产业前景,助力开发者构建完整认知体系,共赴AI原生时代。
65 1
|
9天前
|
机器学习/深度学习 人工智能 资源调度
嵌入式AI领域关键技术的理论基础
本内容系统讲解嵌入式AI领域关键技术的数学理论基础,涵盖神经网络量化、剪枝、知识蒸馏与架构搜索的核心原理。深入探讨量化中的信息论与优化方法、稀疏网络的数学建模、蒸馏中的信息传递机制,以及神经架构搜索的优化框架,为在资源受限环境下实现高效AI推理提供理论支撑。
41 5
|
9天前
|
存储 机器学习/深度学习 人工智能
​​解锁AI检索的7大Embedding技术:从稀疏到多向量,一文掌握!​
本文系统解析七种主流文本嵌入技术,包括 Sparse、Dense、Quantized、Binary、Matryoshka 和 Multi-Vector 方法,结合适用场景提供实用选型建议,助你高效构建文本检索系统。
81 0
|
14天前
|
人工智能 安全 数据库
AI编程:普通人难以逾越的技术高墙-优雅草卓伊凡
AI编程:普通人难以逾越的技术高墙-优雅草卓伊凡
121 15
|
14天前
|
人工智能 JSON 前端开发
Agentic AI崛起:九大核心技术定义未来人机交互模式​
本文系统梳理AI智能体架构设计的九大核心技术,涵盖智能体基础、多智能体协作、知识增强、模型优化、工具调用、协议标准化及人机交互等关键领域,助力构建高效、智能、协同的AI应用体系。建议点赞收藏,持续关注AI架构前沿技术。
273 1
|
15天前
|
数据采集 Web App开发 人工智能
如何让AI“看懂”网页?拆解 Browser-Use 的三大核心技术模块
Browser-Use 是一种基于大语言模型(LLM)的浏览器自动化技术,通过融合视觉理解、DOM解析和动作预测等模块,实现对复杂网页任务的自主操作。它突破了传统固定选择器和流程编排的限制,具备任务规划与语义理解能力,可完成注册、比价、填报等多步骤操作。其核心功能包括视觉与HTML融合解析、多标签管理、元素追踪、自定义动作、自纠错机制,并支持任意LLM模型。Browser-Use标志着浏览器自动化从“规则驱动”向“认知驱动”的跃迁,大幅降低维护成本,提升复杂任务的处理效率与适应性。
415 27
|
2天前
|
边缘计算 人工智能 算法
AI在智慧能源管理中的边缘计算应用
AI在智慧能源管理中的边缘计算应用
47 13
|
2天前
|
人工智能 Cloud Native 中间件
划重点|云栖大会「AI 原生应用架构论坛」看点梳理
本场论坛将系统性阐述 AI 原生应用架构的新范式、演进趋势与技术突破,并分享来自真实生产环境下的一线实践经验与思考。
|
3天前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。

热门文章

最新文章