❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦
🎥 "短剧团队今夜无眠!昆仑万维开源影视级AI:33种微表情精准控制,400动作组合秒出片"
大家好,我是蚝油菜花。当同行还在为演员档期发愁时,前沿团队已经用AI批量生产短剧了!
传统短剧制作三大痛点:
- 🚫 专业演员日薪过万,微表情NG20次是常态
- 🚫 复杂动作戏需要武指+替身,成本几何级暴涨
- 🚫 后期渲染动辄数小时,创意在等待中消磨殆尽...
今天揭秘的 SkyReels-V1 ,正在掀起影视创作革命!这个由昆仑万维开源的首个AI短剧生成模型:
- ✅ 基于千万级好莱坞影像训练,输出电影级光影质感
- ✅ 精准控制33种微表情与400+动作组合,连手指颤动都自然
- ✅ 自研推理框架加持,3090显卡就能跑4K视频
已有团队用它日更10集短剧,接下来我们将实测:如何用AI把剧本直接变影视成片!
🚀 快速阅读
SkyReels-V1 是昆仑万维开源的首个面向AI短剧创作的视频生成模型,基于千万级高质量影视数据进行微调。
- 核心功能:支持高质量影视级视频生成、33种细腻表情和400多种自然动作组合。
- 技术原理:采用自研推理框架SkyReels-Infer,大幅提升推理效率,支持多GPU并行和低显存优化。
SkyReels-V1 是什么
SkyReels-V1 是昆仑万维开源的首个面向AI短剧创作的视频生成模型。该模型基于在千万级高质量影视数据上进行微调,实现影视级的人物微表情和肢体动作生成,支持33种细腻表情与400多种自然动作组合,高度还原真实情感表达。模型支持文生视频(Text-to-Video)和图生视频(Image-to-Video),在开源视频生成模型中达到SOTA水平。
SkyReels-V1 基于自研推理框架SkyReels-Infer,大幅提升了推理效率,支持多GPU并行和低显存优化,能够在消费级显卡上高效生成高质量视频。通过这些技术,SkyReels-V1 为AI短剧创作提供了强大的工具,简化了视频制作流程,提升了效率。
SkyReels-V1 的主要功能
- 高质量影视级视频生成:支持生成具有电影级光影效果、细腻人物表情和自然肢体动作的视频内容。每一帧画面在构图、演员站位和相机角度上都具备高质量的影视质感。
- 表情和动作的精细控制:支持33种细腻的人物表情和400多种自然动作组合,能够生成大笑、怒吼、惊讶、哭泣等微表情。
- 文生视频与图生视频:支持Text-to-Video(文生视频)和Image-to-Video(图生视频)两种生成方式。
- 多场景支持:支持处理单人镜头和多人构图,适用于复杂的场景和情感表达。
SkyReels-V1 的技术原理
- 自研数据清洗与标注管线:使用高质量的影视数据(如好莱坞电影、电视剧等)进行训练,基于自研数据清洗和标注管线,对人物表情、动作、场景等进行精细化标注,提升模型对人类表演的理解能力。
- 多阶段预训练与微调:
- 阶段1:模型域适应预训练,将基础模型适配到人类中心视频领域。
- 阶段2:将文本到视频模型转换为图像到视频模型,在相同数据集上进行预训练。
- 阶段3:在高质量子集上进行微调,确保模型在复杂视频生成任务中的高性能。
- 多模态理解与生成:结合人物表情、动作、场景和剧情的多模态理解,构建行为语义单元和人物空间位置感知技术,实现精准的人物表演生成。
- 高效的推理优化:采用FP8量化、参数级卸载(offload)和优化的注意力机制(如SageAttn),大幅降低显存占用并提升推理速度。支持多GPU并行推理,基于分布式计算进一步提高生成效率。
如何运行 SkyReels-V1
1. 克隆仓库
git clone https://github.com/SkyworkAI/SkyReels-V1 cd skyreelsinfer
AI 代码解读
2. 安装依赖
推荐使用CUDA 12.2版本进行手动安装。
pip install -r requirements.txt
AI 代码解读
当有足够的VRAM时(例如A800),可以直接运行无损版本。
3. 生成视频示例
SkyReelsModel = "Skywork/SkyReels-V1-Hunyuan-T2V" python3 video_generate.py \ --model_id ${SkyReelsModel} \ --task_type t2v \ --guidance_scale 6.0 \ --height 544 \ --width 960 \ --num_frames 97 \ --prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" \ --embedded_guidance_scale 1.0
AI 代码解读
4. 使用 FP8 量化和 offload 优化
python3 video_generate.py \ --model_id ${SkyReelsModel} \ --task_type t2v \ --guidance_scale 6.0 \ --height 544 \ --width 960 \ --num_frames 97 \ --prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" \ --embedded_guidance_scale 1.0 \ --quant \ --offload \ --high_cpu_memory \ --parameters_level
AI 代码解读
5. 多GPU并行推理
python3 video_generate.py \ --model_id ${SkyReelsModel} \ --guidance_scale 6.0 \ --height 544 \ --width 960 \ --num_frames 97 \ --prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" \ --embedded_guidance_scale 1.0 \ --quant \ --offload \ --high_cpu_memory \ --gpu_num $GPU_NUM
AI 代码解读
资源
- GitHub 仓库:https://github.com/SkyworkAI/SkyReels-V1
- HuggingFace 仓库:https://huggingface.co/collections/Skywork/skyreels-v1-67b34676ff65b4ec02d16307
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦