VidTok:微软开源的视频分词器,能够将视频内容转换为视觉 Token

简介: VidTok 是微软开源的一款先进的视频分词器,支持连续和离散分词化,能够高效地将视频内容转换为视觉 Token,适用于多种应用场景。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

原文链接:https://mp.weixin.qq.com/s/uQI_XVSuxyXZJB4OQ6UoIw


🚀 快速阅读

  1. 功能:VidTok 支持连续和离散分词化,能够高效压缩视频数据并保持高质量重建。
  2. 技术:采用混合模型架构和有限标量量化技术,提升训练稳定性和重建性能。
  3. 应用:适用于视频生成、视频内容高效建模和数据压缩等场景。

正文(附运行示例)

VidTok 是什么

公众号: 蚝油菜花 - vidtok

VidTok(Video Tokenizer)是微软开源的一款先进的视频分词器,通过高效的算法将视频内容转换成一系列“视频词”。它支持连续和离散分词化,具有灵活的压缩率和多样化的隐空间,适用于不同的应用场景。

VidTok 采用混合模型架构设计,结合了卷积层和上/下采样模块,以减少计算复杂度同时保持高质量重建。此外,VidTok 引入了有限标量量化技术,解决了传统向量量化中的训练不稳定性和码本崩溃问题。

VidTok 的主要功能

  • 视频分词化:VidTok 能将原始的高维视频数据(如图像和视频帧)转换为更为紧凑的视觉 Token。
  • 高效压缩:VidTok 在不同的压缩率设定下工作,能有效地压缩视频数据,同时保持视频质量。
  • 连续和离散分词化:VidTok 支持连续型和离散型两种分词化方法,适应不同的模型和应用需求。
  • 因果和非因果模型支持:VidTok 支持因果型和非因果型模型,因果模型只依赖历史帧进行 Tokenization,非因果模型则可以基于历史帧和未来帧信息。
  • 多样化的隐空间支持:VidTok 支持不同大小的隐空间,适应不同的视频压缩率和模型复杂度。
  • 高性能重建:VidTok 在多个视频质量评估指标上表现出色,包括 PSNR、SSIM、FVD 和 LPIPS,提供了高质量的视频重建。

VidTok 的技术原理

  • 高效的混合模型架构设计:VidTok 采用了经典的 3D 编码器-解码器结构,并创新性地结合了 3D、2D 和 1D 卷积,有效地解耦空间和时间采样。
  • 先进的量化技术:VidTok 引入了有限标量量化(FSQ)技术,是一种无需显式学习码本的量化方法,显著提高了模型的训练稳定性和重建性能。
  • 增强的训练策略:VidTok 采用分阶段训练策略,首先在低分辨率视频上对完整模型进行预训练,然后仅在高分辨率视频上微调解码器。

如何运行 VidTok

1. 克隆仓库并进入 VidTok 文件夹:

git clone https://github.com/microsoft/VidTok
cd VidTok

2. 使用 Conda 创建环境并激活:

conda env create -f environment.yaml
conda activate vidtok

3. 下载预训练模型并放入 checkpoints 文件夹,然后运行以下命令进行推理:

import torch
from scripts.inference_evaluate import load_model_from_config

cfg_path = "configs/vidtok_kl_causal_488_4chn.yaml"
ckpt_path = "checkpoints/vidtok_kl_causal_488_4chn.ckpt"
is_causal = True

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")    
model = load_model_from_config(cfg_path, ckpt_path)
model.to(device).eval()

num_frames = 17 if is_causal else 16
x_input = (torch.rand(1, 3, num_frames, 256, 256) * 2 - 1).to(device)
_, x_recon, _ = model(x_input)
assert x_input.shape == x_recon.shape

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
编解码 弹性计算 人工智能
|
15天前
|
人工智能 并行计算 调度
本地 AI 一键部署工具 LocModel:Windows 端集成画图、视频生成、Agent 的开源模型运行方案
LocModel 是专为 Windows 设计的一站式本地 AI 工具,支持零配置启动、自动硬件检测、GGUF 模型一键加载、文生图/视频生成及 Agent 自动化任务。适配 8G 显存,内置显存分片调度,轻松实现 AI 漫剧批量创作与离线大模型调用。(239 字)
|
8月前
|
人工智能 机器人 Linux
阿里云/本地部署OpenClaw+Qwen+飞书集成多Agent协同实战:一人公司全流程搭建指南
在自媒体运营、内容创作、技术开发等场景中,单人承担全流程工作效率受限。基于OpenClaw智能代理框架、通义千问大模型与飞书协作平台,可搭建**1个主控Agent+6个专业Worker**的完整AI团队,实现任务自动拆解、分工执行、进度协同、成果整合,真正以单人之力完成公司级运作。本文完整覆盖多Agent定义、配置、飞书接入、2026年阿里云与本地全平台部署、大模型API配置及问题排查,所有代码可直接复用。
1627 7
|
8月前
|
人工智能 Linux API
OpenClaw零成本部署指南:Windows/Mac/Linux/阿里云搭建+两个免费大模型API配置攻略
2026年,OpenClaw(昵称“小龙虾”)作为开源免费的AI自动化工具,凭借“自动操作电脑、写文件、搜信息、执行任务”的核心能力,成为普通人提升效率的利器。但市面上充斥着收费5000元的“智商税教程”“加密包”,甚至暗藏木马风险,让很多用户望而却步。事实上,OpenClaw本体永久免费,只需绑定免费大模型API即可使用,全程无套路、不收费、不加密。本文将复刻Windows系统零成本部署流程,补充2026年MacOS/Linux本地部署及阿里云云端部署步骤,详解阿里云百炼Coding Plan免费大模型API配置方法,搭配美团龙猫API的免费使用攻略,同时整理部署和使用中的常见问题解答,让普
3310 0
|
6月前
|
机器学习/深度学习 人工智能 算法
Skill Factory:三天手搓面向Harness设计的技能工厂(附AI coding实践)
文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。
Skill Factory:三天手搓面向Harness设计的技能工厂(附AI coding实践)
|
4月前
|
人工智能 自然语言处理 算法
2026年阿里云百炼Token Plan全解:套餐配置、接入流程与定价规则
2026年阿里云百炼平台推出的Token Plan团队版,是面向企业与团队的标准化大模型订阅方案,以统一Credits计量、三档坐席订阅、灵活共享用量为核心,覆盖团队AI办公、代码开发、模型推理、多模态交互等全场景。该方案替代传统按量计费的不确定性,提供固定月费+额度管控模式,同时兼容主流AI工具与开源智能体,接入流程标准化,是团队规模化使用大模型的优选方案。
1187 0
|
7月前
|
缓存 自然语言处理
阿里百炼Token Plan团队版支持哪些模型,Credits计费机制规则是什么?
阿里云百炼Token Plan团队版支持Qwen3.6-plus、GLM-5等文本模型及Qwen-Image、WAN2.7等图像模型,统一以Credits计费:按模型类型、Token量、思考模式等动态消耗,优先抵扣月度额度,再用共享包,耗尽则暂停服务。
|
8月前
|
安全 JavaScript API
OpenClaw进阶保姆级指南!阿里云/本地部署+百炼API配置+集成7个高价值Skill 及实战避坑指南
OpenClaw爆火后,不少用户陷入“技能焦虑”——GitHub上1000+Skills让人眼花缭乱,盲目安装后不仅没提升效率,反而因权限风险、功能冲突、稳定性问题陷入困扰。参考文章作者翻遍GitHub后发现,真正实用、安全、稳定的技能仅占少数,多数只是Demo级工具,甚至存在误删文件等安全隐患。
889 10
|
9月前
|
自然语言处理 算法
大模型应用:大模型的词元化处理详解:BPE、WordPiece、Unigram.11
本文详解大模型中文词元化三大核心算法:BPE(基于频率合并)、WordPiece(基于似然增益合并)和Unigram(自顶向下概率筛选)。通过原理、流程、代码与示例对比,揭示其在中文分词中的适用性与优化要点,强调语料质量、参数配置及中文特性适配的关键作用。(239字)
1610 2
|
机器学习/深度学习 自然语言处理 测试技术
Qwen3技术报告首次全公开!“混合推理模型”是这样炼成的
近日,通义千问Qwen3系列模型已开源,其技术报告也正式发布。Qwen3系列包含密集模型和混合专家(MoE)模型,参数规模从0.6B到235B不等。该模型引入了“思考模式”与“非思考模式”的动态切换机制,并采用思考预算机制优化推理性能。Qwen3支持119种语言及方言,较前代显著提升多语言能力,在多个基准测试中表现领先。此外,通过强到弱蒸馏技术,轻量级模型性能优异,且计算资源需求更低。所有Qwen3模型均采用Apache 2.0协议开源,便于社区开发与应用。
8670 30

热门文章

最新文章