计算机视觉

SNOOPI是一个创新的AI文本到图像生成框架，通过增强单步扩散模型的指导，显著提升模型性能和控制力。该框架包括PG-SB和NASA两种技术，分别用于增强训练稳定性和整合负面提示。SNOOPI在多个评估指标上超越基线模型，尤其在HPSv2得分达到31.08，成为单步扩散模型的新标杆。

Aurora是xAI为Grok AI助手推出的新图像生成模型，专注于生成高逼真度的图像，特别是在人物和风景图像方面。该模型支持文本到图像的生成，并能处理包括公共人物和版权形象在内的多种图像生成请求。Aurora的可用性因用户等级而异，免费用户每天能生成三张图像，而Premium用户则可享受无限制访问。

ConsisID是由北京大学和鹏城实验室等机构联合推出的文本到视频生成模型，专注于保持视频中人物身份的一致性。该模型采用频率分解技术和免调优的Diffusion Transformer架构，能够在多个评估维度上超越现有技术，推动身份一致性视频生成技术的发展。

MagicDriveDiT是由华为联合港中文等机构推出的一种新型自动驾驶高分辨率长视频生成方法。该方法基于DiT架构，通过流匹配增强模型的可扩展性，并采用渐进式训练策略处理复杂场景。MagicDriveDiT能够生成高分辨率的长视频，提供对视频内容的精确控制，适用于自动驾驶系统的测试与验证、感知模型训练、场景重建与模拟以及数据增强等多个应用场景。

PersonaCraft是由首尔国立大学推出的创新技术，能够从单一参考图像生成多个人物的逼真全身图像。该技术结合了扩散模型和3D人类建模，有效处理人物间的遮挡问题，并支持用户自定义身体形状调整，为多人图像合成树立了新标准。

腾讯推出的开源视频生成模型HunyuanVideo，拥有130亿参数，是目前参数量最大的开源视频模型之一。该模型具备物理模拟、高文本语义还原度、动作一致性和电影级画质等特性，能生成带有背景音乐的视频，推动了视频生成技术的发展和应用。

EfficientTAM是Meta AI推出的轻量级视频对象分割和跟踪模型，旨在解决SAM 2模型在移动设备上部署时的高计算复杂度问题。该模型采用非层次化Vision Transformer（ViT）作为图像编码器，并引入高效记忆模块，以降低计算复杂度，同时保持高质量的分割结果。EfficientTAM在多个视频分割基准测试中表现出与SAM 2相当的性能，具有更快的处理速度和更少的参数，特别适用于移动设备上的视频对象分割应用。

GeneMAN是由上海AI实验室、北京大学、南洋理工大学和上海交通大学联合推出的3D人体模型创建框架。该框架能够从单张图片中生成高保真度的3D人体模型，适用于多种应用场景，如虚拟试衣、游戏和娱乐、增强现实和虚拟现实等。

StableAnimator是由复旦大学、微软亚洲研究院、虎牙公司和卡内基梅隆大学联合推出的端到端身份一致性视频扩散框架。该框架能够根据一张参考图像和一系列姿态，直接合成高保真度且保持人物身份一致性的视频，无需任何后处理工具。本文详细介绍了StableAnimator的主要功能、技术原理以及如何运行该框架。

AnchorCrafter是由中科院和腾讯联合推出的一项AI虚拟主播带货视频制作技术。该技术基于扩散模型，能够自动生成高保真度的主播风格产品推广视频，通过整合人-物交互（HOI）技术，实现对物体外观和运动控制的高度还原。AnchorCrafter在物体外观保持、交互感知以及视频质量方面优于现有方法，为在线广告和消费者参与提供了新的可能性。

MVGenMaster是由复旦大学、阿里巴巴达摩院和湖潘实验室联合推出的多视图扩散模型，专注于新视角合成（NVS）任务。该模型通过整合3D先验信息，显著提升了NVS的泛化和3D一致性，并能从单一图像生成多达100个新视图。此外，研究团队还推出了包含160万场景的大型多视图图像数据集MvD-1M，以支持模型的训练和优化。

Magic Copy 是一款开源的 AI 抠图工具，支持 Chrome 浏览器扩展。它基于 Meta 的 Segment Anything Model 技术，能够自动识别图像中的前景对象并提取出来，简化用户从图片中提取特定元素的过程，提高工作效率。

Make-It-Animatable是由中国科学技术大学和腾讯联合推出的数据驱动框架，能够在不到一秒内将任何3D人形模型转换为可用于动画的状态。该框架支持多种3D数据格式，并采用从粗到细的表示策略和结构感知建模，显著提升了动画准备的质量和速度。

iDP3是由斯坦福大学联合多所高校推出的改进型3D视觉运动策略，旨在提升人形机器人在多样化环境中的自主操作能力。该策略基于自我中心的3D视觉表征，无需精确相机校准和点云分割，显著提高了机器人在未见过的环境中的实用性和灵活性。

OminiControl 是一个高度通用且参数高效的 AI 图像生成框架，专为扩散变换器模型设计，能够实现图像主题控制和空间精确控制。该框架通过引入极少量的额外参数（0.1%），支持主题驱动控制和空间对齐控制，适用于多种图像生成任务。

Fancy123是由华中科技大学和华南理工大学联合推出的3D网格生成技术，能够从单张图片生成高质量的3D网格。该技术通过即插即用的变形技术，解决了多视图图像的局部不一致性，提高了网格对输入图像的保真度，并确保了高清晰度。Fancy123在定性和定量实验中表现出色，能够无缝集成到现有的单图像到3D的方法中。

SAM 2.1是由Meta（Facebook的母公司）推出的先进视觉分割模型，专为图像和视频处理设计。该模型基于Transformer架构和流式记忆设计，实现了实时视频处理，并引入了数据增强技术，提升了对视觉相似物体和小物体的识别能力。SAM 2.1的主要功能包括图像和视频分割、实时视频处理、用户交互式分割、多对象跟踪以及改进的遮挡处理能力。

Sketch2Lineart是一款基于人工智能的绘画工具，能够自动将手绘草图转换成清晰的线条画。该工具支持多种功能，如草图转线稿、自动描述生成、细节调整和风格定制等，适用于艺术创作、产品设计、教育培训等多个领域。

Find3D是由加州理工学院推出的3D部件分割模型，能够根据任意文本查询分割任意对象的任何部分。该模型利用强大的数据引擎自动从互联网上的3D资产生成训练数据，并通过对比训练方法训练出一个可扩展的3D模型。Find3D在多个数据集上表现出色，显著提升了平均交并比（mIoU），并能处理来自iPhone照片和AI生成图像的野外3D构建。

EchoMimicV2是阿里蚂蚁集团推出的开源数字人项目，能够生成完整的数字人半身动画。该项目基于参考图片、音频剪辑和手部姿势序列，通过音频-姿势动态协调策略生成高质量动画视频，确保音频内容与半身动作的一致性。EchoMimicV2不仅支持中文和英文驱动，还简化了动画生成过程中的复杂条件，适用于虚拟主播、在线教育、娱乐和游戏等多个应用场景。

LEOPARD是由腾讯AI Lab西雅图实验室推出的视觉语言模型，专为处理含有大量文本的多图像任务设计。该模型通过自适应高分辨率多图像编码模块和大规模多模态指令调优数据集，在多个基准测试中表现卓越，适用于自动化文档理解、教育和学术研究、商业智能和数据分析等多个应用场景。

南洋理工大学与UCAS团队联合推出了一种新型视图合成方法——ViewExtrapolator。该方法基于稳定视频扩散（SVD）技术，能够在不进行微调的情况下，高效生成超出训练视图范围的新视角图像，显著减少伪影，提升视觉质量。ViewExtrapolator具有广泛的应用前景，尤其在虚拟现实、3D内容创建、电影制作等领域。

MVPaint是由腾讯PCG联合多所高校共同推出的3D纹理生成框架，基于同步多视角扩散技术，实现高分辨率、无缝且多视图一致的3D纹理生成。该框架包含三个核心模块：同步多视角生成、空间感知3D修补和UV细化，显著提升3D模型的纹理生成效果。

OneDiffusion 是一个开源的扩散模型，能够无缝支持双向图像合成和理解。它基于统一的训练框架，支持多种任务，如文本到图像生成、条件图像生成和图像理解等。OneDiffusion 通过流匹配框架和序列建模技术，实现了高度的灵活性和可扩展性。

LTX Video是由Lightricks推出的开源AI视频生成模型，能够在4秒内生成5秒的高质量视频。该模型基于2亿参数的DiT架构，确保帧间平滑运动和结构一致性，支持长视频制作，适用于多种场景，如游戏图形升级和电子商务广告变体制作。

OmniBooth是由华为诺亚方舟实验室和港科大研究团队联合推出的图像生成框架，支持基于文本提示或图像参考进行空间控制和实例级定制。该框架通过用户定义的掩码和相关联的文本或图像指导，精确控制图像中对象的位置和属性，提升文本到图像合成技术的可控性和实用性。

Stable Diffusion 介绍与入门，简单的介绍