开发者学堂课程【视频云技术入门-1024程序员节创造营公益课：智能媒体生产 ICE 使用及原理介绍（一）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/902/detail/14335
智能媒体生产 ICE 使用及原理介绍（一）
目录：
一、架构与服务层次
二、ICE
三、时间线
四、三一站式开发接入
一、架构与服务层次
视频生产与消费全链路
采集——生产制作——管理——分发——消费
互联网流量：70%以上来自视频
专业拍摄——民用设备——专业非编包括一键美颜和在线剪辑
人工编审——包括智能媒资和智能审核
节目单——按需个性化 观看——互动
趋势：从人工到智能，从小众到大众，从被动接收到个性互动
二、ICE
ICE 解决什么问题
云上生产制作
1.云端剪辑制作合成(导出)
2.素材库管理与公共素材的使
3规模化剪辑制作合成
4.专业、高效剪辑制作合成
5.Al 能力辅助生产制作
6. 无干预的全智能生产制作
2、ICE 整体流程
内容资源库（素材库+成片库）——智能生产制作——影像内容消费
内容资源库（素材库+成片库）可以自制 外购 PGC/UGC 直播流，包括音视频 图片 元数据 富文本 故事板，之后进行智能分析与处理包括人脸 语音 OCR NLP 场景 镜头 抠像 色彩，再进行内容创作者包括移动端制作 Web 制作工具 模板工厂生产制作 AL辅助生产制作等
3、ICE 技术架构
场景 剪切拼接拆条 字幕生产 音频处理 图文包装 同频多轨 转场特效 模板化生
实时制作 智能剪辑 SaaS服务/页面 素材管理 成片管理 发布管理
媒资管理/搜索页面 生产制作页面 ......
智能时间线编排
创作类(如:集锦、拆条)
增强类(如:智能字幕)
替换类(如:背景替换)
原子 AIl 算法
Face OCR Label Pose ASR DNAShot Category NLP
生产工具(多端:Web/Mobile/PC)
故事板
Manual Timeline
Al Timeline
效果编辑 播放器
Preview 渲染引擎
AP
生产制作服务
模板工厂
Timeline 处理中心
渲染合成
多层视频 多轨混音
智能引擎 特效
内容库 音视资源库 直播流 模板库 云制作工程 人物库 标签库 版权节目 镜头库
4、ICE 服务层次
WebSDK
云端一体 可分可合的 PaaS（云服务）/PaaS+(WedSDK)
标准剪辑
资源 视觉音频/效果轨道。青视图文素材。速镇/转场特效
交互 剪切拼撞，多层视频/图像叠加，多轨混查. 效果编辑，预览
直播剪辑
资源直播流 (未停止，停止后转点播均支持)
交互 双播放器(直播源，剪辑后片段)。单轨剪切
模板工厂剪辑
资源 轨道。素材，效果与标准剪辑一致
交互 依题时间线创建模板。模板可变参数替换
大子组件
剪期时间线(多轨.多素材.多种效果)
剪辑播放器(素材播放.时间线效果预览与播放)
云服务
OpenAPI
剪辑制作 标准剪辑 提交剪辑合成作业 查询剪辑合成作业
直播剪辑 提交直播剪辑作业 查询直播剪辑作业
云剪辑工程 剪辑工程的增删改查
剪辑工程素材的增删查
内容库 内容库资源的增删改查
公共素材库（标签）的获取
公共内容平台相关服务
智能任务 ASR 智能字幕，视频/图片横转竖、视频/图片智能模糊。视频图片绿幕抠像。智能语音任务的提交
只能任务的获取，删除
模板工厂 模块的增 删 该 查
公共配置 事件通知的设置和获取
事件通知 MNP 回调 Http 回调 剪辑合成回调
5、ICE 基本概念
素材 用于剪辑制作的原材料。类型可以是视频、纯音频、图片、独立字幕等。
时间线 音视图文多层轨道、多个素材、多类效果按照视频创作思路编排的过程和结果，同时也是剪辑合成的依据，这是ICE最重要的数据结构，也是整个视频生产制作的核心。
模块 将时间线的素材编排规律、转场/滤镜/特效规律以及其他规律予以抽象并进行固定化、标准化的结果。模板相比较时间线，使用起来更方便，也更容易进行规模化制作。
云剪辑工程 用于描述一次视频创作过程中涉及的数据。-般包括基本元数据(如标题、创建时间等)，本次视频创作所需的素材，以及描述实际视频创作内容的时间线。
剪辑合成任务 当视频创作完成后，可将最终制作好的时间线或模板提交合成，生成新的媒体资源。媒体资源的合成是一一个异步的过程，剪辑合成任务则描述了任务从开始创建到最终完成的过程。
成片 剪辑制作合成(导出)的目标产物。成片在这里是个广义的概念，针对当次剪辑的输出。因此，这次的成片也可作为下次的素材继续进行创作。
智能任务 在剪辑制作及合成的过程中，我们可以对素材或者生成目标媒体资源的过程进行智能处理，智能任务则用来描述对应的智能处理过程。
6、ICE 核心链路与设计规则
核心链路
输入———处理——输出
输入
ICE 内容库
来源: VOD 媒资. OSS 对象、直播流
类型:音视图文.直播流等泛媒体资源
处理
剪辑、包装、渲染与合成
●最核心的对象:时间线 Timeline
●过程:剪辑合成服务的异步处理
●高级管理:云剪辑工程及素材管理
●提效:模板工厂、并行剪辑、智能生产
输出
ICE 内容库
●目标: VOD 媒资. OSS 对象
●最核心设计规则:源文件输入输出
●类型:视频、纯音频,动图、字幕、时间线等
源文件输入输出规则
ICE 剪辑输入（素材等）
内容库资源有原始文件和转码输出文件 0—N，而原始文件可以转码为转码输出文件，原始文件合成原始文件,之后转码成转码输出文件 0—N，一起构成内容库资源
●目标媒体资源分所率
在没有手动指定的情况下。与 Timeline 所使用的素材源文件分辨率有关:取其最大宽高。
例如: Timeline 使用了3个素材， 其源文件分辨率分别为: 1280x720, 1920x1080, 720x1280,则目标成片的分解率为1920x1280
●目标媒体资源码率
在没有手动指定的情况下，与Timeline所使用的素材源文件码率有关，取其最大码率(若超过码率上限则以码率上限为准)
●目标媒体资源格式
在没有手动指定的情况下，默认视频的格式为 H.264/mp4;音倾为 aac
内容库设计—开发性 灵活性 跨产品协作分为四个部分
A 范媒体管理 视频 纯音频 图片 字幕 直播流等
B 跨产品融合 ICE 媒资 VOD 媒资 直播流
C 开放性 用户内容库 公共素材库（内容）
D 统一管理范围 素材（源） 成品（目标） 临时资源
