计算机视觉

OminiControl 是一个高度通用且参数高效的 AI 图像生成框架，专为扩散变换器模型设计，能够实现图像主题控制和空间精确控制。该框架通过引入极少量的额外参数（0.1%），支持主题驱动控制和空间对齐控制，适用于多种图像生成任务。

DreamActor-M1是字节跳动研发的AI图像动画框架，通过混合引导机制实现高保真人物动画生成，支持多语言语音驱动和形状自适应功能。

I2V3D 是由香港城市大学和微软联合开发的图像到视频生成框架，支持将静态图像转换为动态视频，基于3D几何引导实现精确的动画控制，适用于动画制作、视频编辑和内容创作等领域。

ART 是一种新型的多层透明图像生成技术，支持根据全局文本提示和匿名区域布局生成多个独立的透明图层，具有高效的生成机制和强大的透明度处理能力。

CogView-3-Flash 是智谱推出的首个免费AI图像生成模型，支持多种分辨率，快速生成高质量图像，广泛应用于广告、设计、艺术创作等领域。

PersonaMagic 是一种创新的高保真人脸定制技术，通过阶段调节的文本条件策略和动态嵌入学习，能够根据单张图像生成个性化角色，广泛应用于娱乐、游戏、影视等领域。

VideoVAE+ 是香港科技大学推出的先进跨模态视频变分自编码器，通过时空分离压缩机制和文本指导，实现了高效视频压缩与精准重建。

Genesis是由卡内基梅隆大学联合20多所研究机构开源的生成式物理引擎，能够模拟世界万物，具有高度的物理准确性和快速的模拟速度，适用于机器人仿真、游戏开发、电影特效制作等多个领域。

BrushEdit是由腾讯、北京大学等机构联合推出的先进图像编辑框架，结合多模态大型语言模型和双分支图像修复模型，支持基于指令引导的图像编辑和修复。

Leffa 是 Meta 开源的图像生成框架，通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本，适用于多种扩散模型，展现了良好的模型无关性和泛化能力。

OneDiffusion 是一个开源的扩散模型，能够无缝支持双向图像合成和理解。它基于统一的训练框架，支持多种任务，如文本到图像生成、条件图像生成和图像理解等。OneDiffusion 通过流匹配框架和序列建模技术，实现了高度的灵活性和可扩展性。

香港大学与Adobe联合研发的ObjectMover模型，通过视频生成先验迁移技术，实现图像中物体的自然移动、删除和插入，自动保持光影一致性。

VideoGrain 是悉尼科技大学和浙江大学推出的零样本多粒度视频编辑框架，基于调节时空交叉注意力和自注意力机制，实现类别级、实例级和部件级的精细视频修改，保持时间一致性，显著优于现有方法。

北京大学、Hedra Inc. 和 Nvidia 联合推出的 Magic 1-For-1 模型，优化内存消耗和推理延迟，快速生成高质量视频片段。

BEN2 是由 Prama LLC 开发的深度学习模型，专注于从图像和视频中快速移除背景并提取前景，支持高分辨率处理和GPU加速。

DiffSplat 是由北京大学和字节跳动联合推出的一个高效 3D 生成框架，能够在 1-2 秒内从文本提示或单视图图像生成高质量的 3D 高斯点阵，并确保多视图下的一致性。

SHMT 是阿里达摩院与武汉理工等机构联合研发的自监督化妆转移技术，支持高效妆容迁移与动态对齐，适用于图像处理、虚拟试妆等多个领域。

VideoRefer 是浙江大学与阿里达摩学院联合推出的视频对象感知与推理技术，支持细粒度视频对象理解、复杂关系分析及多模态交互，适用于视频剪辑、教育、安防等多个领域。

Inf-DiT 是清华大学与智谱AI联合推出的基于扩散模型的图像上采样方法，能够生成超高分辨率图像，突破传统扩散模型的内存限制，适用于多种实际应用场景。

VMix 是一款创新的即插即用美学适配器，通过解耦文本提示和交叉注意力混合控制，显著提升图像生成的美学质量，支持多源输入和高质量视频处理。

VersaGen 是一款生成式 AI 代理，专注于文本到图像合成中的视觉控制能力，支持多种视觉控制类型，并通过优化策略提升图像生成质量和用户体验。

LeviTor是由南京大学、蚂蚁集团等机构联合推出的3D目标轨迹控制视频合成技术，通过结合深度信息和K-means聚类点控制视频中3D物体的轨迹，无需显式的3D轨迹跟踪。

AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型，能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略，实现了色彩和风格的准确传递，适用于动画制作、游戏开发和数字艺术创作等多个领域。

FreeScale是一个无需微调的推理框架，旨在提升扩散模型生成高分辨率图像和视频的能力。该框架通过处理和融合不同尺度的信息，首次实现了8K分辨率图像的生成，显著提高了生成内容的质量和保真度，同时减少了推理时间。

Meta Motivo 是 Meta 公司推出的 AI 模型，旨在控制数字智能体的全身动作，提升元宇宙体验的真实性。该模型通过无监督强化学习算法，能够实现零样本学习、行为模仿与生成、多任务泛化等功能，适用于机器人控制、虚拟助手、游戏角色动画等多个应用场景。

ClotheDreamer是由上海大学、上海交通大学、复旦大学和腾讯优图实验室联合推出的3D服装生成技术，能够根据文本描述生成高保真、可穿戴的3D服装资产，适用于虚拟试穿和物理精确动画。

StableAnimator是由复旦大学、微软亚洲研究院、虎牙公司和卡内基梅隆大学联合推出的端到端身份一致性视频扩散框架。该框架能够根据一张参考图像和一系列姿态，直接合成高保真度且保持人物身份一致性的视频，无需任何后处理工具。本文详细介绍了StableAnimator的主要功能、技术原理以及如何运行该框架。

LEOPARD是由腾讯AI Lab西雅图实验室推出的视觉语言模型，专为处理含有大量文本的多图像任务设计。该模型通过自适应高分辨率多图像编码模块和大规模多模态指令调优数据集，在多个基准测试中表现卓越，适用于自动化文档理解、教育和学术研究、商业智能和数据分析等多个应用场景。

ACTalker是由香港科技大学联合腾讯、清华大学研发的端到端视频扩散框架，采用并行Mamba结构和多信号控制技术，能生成高度逼真的说话人头部视频。

Amodal3R是一种创新的条件式3D生成模型，通过掩码加权多头交叉注意力机制和遮挡感知层，能够从部分可见的2D图像中重建完整3D形态，仅用合成数据训练即可实现真实场景的高精度重建。

MIDI-3D 是一种先进的 AI 3D 场景生成技术，能够将单张图像快速转化为高保真度的 360 度 3D 场景，具有强大的全局感知能力和细节表现力，适用于游戏开发、虚拟现实、室内设计等多个领域。

ENEL是由上海AI Lab推出的无编码器3D大型多模态模型，能够在多个3D任务中实现高效语义编码和几何结构理解，如3D对象分类、字幕生成和视觉问答。

VITRON 是由 Skywork AI、新加坡国立大学和南洋理工大学联合推出的像素级视觉大模型，支持图像与视频的理解、生成、分割和编辑，适用于多种视觉任务。

StoryWeaver 是厦门大学与网易伏羲联合推出的 AI 模型，通过知识图谱和角色定制技术，实现高质量的故事可视化。

VidTok 是微软开源的一款先进的视频分词器，支持连续和离散分词化，能够高效地将视频内容转换为视觉 Token，适用于多种应用场景。

DynamicControl 是腾讯优图联合南洋理工等机构推出的动态条件控制图像生成新框架，通过自适应选择不同条件，显著增强了图像生成的可控性。

Aurora是xAI为Grok AI助手推出的新图像生成模型，专注于生成高逼真度的图像，特别是在人物和风景图像方面。该模型支持文本到图像的生成，并能处理包括公共人物和版权形象在内的多种图像生成请求。Aurora的可用性因用户等级而异，免费用户每天能生成三张图像，而Premium用户则可享受无限制访问。

MagicDriveDiT是由华为联合港中文等机构推出的一种新型自动驾驶高分辨率长视频生成方法。该方法基于DiT架构，通过流匹配增强模型的可扩展性，并采用渐进式训练策略处理复杂场景。MagicDriveDiT能够生成高分辨率的长视频，提供对视频内容的精确控制，适用于自动驾驶系统的测试与验证、感知模型训练、场景重建与模拟以及数据增强等多个应用场景。

PersonaCraft是由首尔国立大学推出的创新技术，能够从单一参考图像生成多个人物的逼真全身图像。该技术结合了扩散模型和3D人类建模，有效处理人物间的遮挡问题，并支持用户自定义身体形状调整，为多人图像合成树立了新标准。

Make-It-Animatable是由中国科学技术大学和腾讯联合推出的数据驱动框架，能够在不到一秒内将任何3D人形模型转换为可用于动画的状态。该框架支持多种3D数据格式，并采用从粗到细的表示策略和结构感知建模，显著提升了动画准备的质量和速度。

iDP3是由斯坦福大学联合多所高校推出的改进型3D视觉运动策略，旨在提升人形机器人在多样化环境中的自主操作能力。该策略基于自我中心的3D视觉表征，无需精确相机校准和点云分割，显著提高了机器人在未见过的环境中的实用性和灵活性。

Find3D是由加州理工学院推出的3D部件分割模型，能够根据任意文本查询分割任意对象的任何部分。该模型利用强大的数据引擎自动从互联网上的3D资产生成训练数据，并通过对比训练方法训练出一个可扩展的3D模型。Find3D在多个数据集上表现出色，显著提升了平均交并比（mIoU），并能处理来自iPhone照片和AI生成图像的野外3D构建。

FlashVideo 是字节跳动和香港大学联合推出的高分辨率视频生成框架，通过两阶段方法显著降低计算成本，快速生成高质量视频。

X-Dyna 是由字节跳动联合斯坦福等高校推出的动画生成框架，基于扩散模型实现单张图像动画化，支持面部表情和身体动作控制，生成高质量动态细节。