开发者学堂课程【视频云技术入门-1024程序员节创造营公益课：智能媒体生产 ICE 使用及原理介绍（二）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/902/detail/14335
智能媒体生产 ICE 使用及原理介绍（二）
三、时间线
1、时间线—设计
统一架构与协议：同一套世家线协议 端（WebSDK）云（OpenAPI）一致
专业非编（Apple/Aciod/Adobe 等）多轨 素材 效果的设计各异
传统 EDL 单轨 定义素材 不定义效果和舞台
取舍与平衡
1FX 轨道可独立出现->增加移动的灵活性
保留轨道素材，原始素材仅引用-> 增加易用性
按素材类型多轨设计->保证通用性和可扩展性
舞台/画布:自动+自定义
2、时间线—数据结构详细—轨道素材（条目）
TimeLine 包括：
1VideoTrack[]-- VideoTrackClip[]
2AudioTrack]-- AudioTrackClip[]
3ImageTrack[]-- ImageTrackClip[]
4Subt3itleTrack[]- SubtitleTrackClip[]
5EffectTrack[]--EffectTrackltem[]
其中1和2是最简单模式
-ImageTrack. SubtitleTrack. EffectTrack 也可以统一设置为 VideoTrack(逻辑:都属于“图像/视觉"领域).
—SubtitleTrack. EffectTrack 通过
VideoTrack--Type 区分，值为 Subtitle
.Effect
ImageTrack 及图片素材通过
VideoTrackClip--Type 区分，值为 Ilmage
(Track--Type 仍为 Video)
3时间线—数据结构详细—轨道素材（条目）属性
TrackClip 包括：
Mediald 素材片段对应的 ICE 内容库资源 ld,或 VOD Mediald
Mediald 素材片段对应的 OSS 地址。
Type 素材片段类型。取值: Video({视频); Audio(音频); Image(图片); Text(字幕文本)
In 素材片段相对于完整素材的入点。图片素材可忽略该字段
Out 素材片段相对于完整素材的出点。图片素材可忽略该字段
Duration 素材片段的时长。一般为图片素材使用，音视频素材在填写了 In.Out 后可忽略该字段
Timelineln 素材片段相对于时间线的入点。不填则会按照素材片段顺序相接的方式自动计算 TimelineIn
TimelineOut 素材片段相对于时间线的出点。不填则会按照素材片段顺序相接的方式自动计算 TimelineOut
Effects 素材片段的效果列表
注意
1、Mediald 和 Mediald 有且仅有一个不为空
2、 In.Out 和 Timelineln.
TimelineOut 的区別，一个相対源，一个相对目标
4、时间线—数据结构详情—效果（基本效果/滤镜/转场/特效）
Effect 包括：
Text DeWattermark Crop Pad Scale VFX Volume Filter AFade Transition
5、时间线—降低门槛—模板工厂
与时间线合成类似，模板工厂的设计也完全是端(WebSDK) 云(OpenAPI) 一致的
模板能力可以通过 OpenAPI 调用，实现规模化生产制作;也可以在 WebSDK/ 控制台进行交互操作与提交
公共模板库 编排 特效 字幕 图片 Html 主题
自定义模板 设计师生态
门槛包括使用门槛和创意门槛
Template 包括 Templated 和 ClipsParam,完整之后为 Timeline,Timeline 包括Track/Layer Clip Effect(AL) Scene/Canvas
模板工厂—高级模板
专业制作能力+量产
高级模板
●完美结合 Adobe 设计师生态
●内置70个官网模板
●支持使用 Adobe AfterEffect 制作视频
-使用 VE Exporter 插件导出
-模板工厂服务注册模板
-使用模板工厂服务批量生成视频
专业化 高并发 规模化 低门槛 低成本
规模化生产制作—效率提高
明确的时间线编排方式——不明确的时间线编排方式——AL 能力——视频云 AL 服务
可以分为四个部分创意 素材 剪辑与包装 渲染与合成
各自缺点和改进优势
创意 门槛高 烧脑 ——模板工厂 智能剧本
素材 收集难 挑选难 ——素材 AL 分析 素材智能搜索
剪辑与包装 工具复杂 ——协作不便
渲染与合成 渲染耗时久 并行能力差——云端规模化优势 高倍速剪辑合成
四、一站式开发接入
1一站式开发接入—核心要点
剪辑制作与合成包括智能处理 内容管理 全局管理
异步处理过程:提交任务--接收回调/查询任务状态
三种调用方式: 1) 直接调用 OpenAPI; 2) 通过阿里云 ICE 控制台发起调用:3)在自己的系统集成 WebSDK 发起调用
流程1：使用 Timeline 直接进行剪辑合成（最简流程）
客户
Start 核心参数：Timeline
合成目标设置：OutputMediaConfig
回调服务 方式1
查询合成状态及信息 方式2 使用 Jobid 查询
查询合成目标资源信息 方式3 使用 Mediald 查询
ICE
提交剪辑合成作业服务 SubmitMediaProducingJob 同步返回 Jobld、Projectld、
Mediald
合成完成回调(事件通知) ProduceMediaComplete
查询剪辑合成作业服务 GetMediaProducingJob
获取媒资内容信息服务 GetMedialnfo
流程2：使用标准模板进行剪辑合成
使用 OpenAPI 发起标准剪辑合成，核心参数为 Temlateld.ClipsParam.前提：自定义模板已创建 or 使用系统模板。和第一个流程一样，只是参数不同
流程3：使用高级模板进行剪辑合成
使用 OpenAPI 发起标准剪辑合成，核心参数为 Temlateld.ClipsParam. 前提：自定义模板已创建 or 使用系统模板
客户
Start
下载并安装 VE Exporter 插件
基于 AE 创作，使用 VE 插件 导出模板 Zip 文件，上传到 OSS
提交高级模板合成
回调服务方式1
查询合成状态及信息查询合成目标资源信息 方式2使用 Jobid 查询和使用 Mediald 查询
ICE 和流程12同
流程4：直播剪辑
使用 OpenAPI 发起直播剪辑合成，核心数据 Clip,LiveStreamConfig
客户
Start 核心数据 Clip,LiveStreamConfig 合成设置 MediaProduceConfig
目标设置: OutputMediaConfig
查询合成状态及信息 方式2使用 Jobid 查询
查询合成目标资源信息 使用 Mediald 查询
ICE
提交直播剪辑作业服务 SubmitMediaProducingJob 同步返回 Jobld、Projectld、
Mediald
查询直播剪辑作业服务 GetMediaProducingJo
获取媒资内容信息服务 GetMedialnfo
流程5：使用 Web 工具进行剪辑并提交合成
使用阿里云控制台;或者集成 WebSDK 在客户自己的业务页面进行剪辑与提交合成
●标准剪辑-时间线、标准剪辑-模板、直播剪辑都支持在 Web 端进行剪辑制作与效果预览
●当制作完成后，如果使用阿里云控制台，则可以直接在界面上提交合成(导出视频) ,如果使用集成 WebSDK 到自己的业务界面，则可以调用
SubmitMediaProducingJob (标准剪辑)或 SubmitLiveEditingJob (直播剪辑)
流程6：剪辑工具管理与使用工程 id 提交合成
●适用于对剪辑工程进行深入管理，并经由云剪辑工程提交合成作业的场景
方式1
1. 创建云剪辑工程，创建时直接指定工程的 Timeline 数据，对应的CreateEditingProject 接口
2. 根据工程 ID 合成, 对应的 SubmitMediaProducingJob, SubmitLiveEditingJob 接口.
方式2
1.创建云剪辑工程，创建时根据需要指定工程的 Timeline 数据(也可以在创建的时候不指定)，对应 CreateEditingProject 接口。
2. 更新云剪辑工程的 Timeline 数据， 对应 UpdateEditingProject 接口。
3.根据工程 ID 合成，对应 SubmitMediaProducingJob. SubmitLiveEditingJob 接口。
流程7：内容库资源注册
支持对 OSS Object VOD Media 发起注册，注册之后会生成 ICEMediald 以方便统一管理与后续的剪辑制作
客户
Start 核心参数: inoutURL 同时可设置多个媒资元数据字段
查询内容库资源信息 使用 Mediald 查询
ICE
内容库资源注册服务 RegisterMedialnfo 同步返回 Mediald
源文件 mediainfo9tr
获取媒资内容消息服务 GetMedialnfo
流程8：智能任务处理
在素材分析阶段，剪辑于包装阶段进行智能分析或处理
客户
Start 核心参数 INoutFile
查询智能任务结果信息 使用 Jobid 查询
ICE
提交智能任务服务SubmitASRJob SubmitH2VJob SubmitDelogoJob SubmitMattingJob
SubmitAudioProduceJob 同步返回 Jobld
获取智能任务结果服务 GetSmartHandleJob
1.调用 SubmitMediaProducingJob 后, 如果直接使用 Timeline 进行提交且 Projectld(云剪辑工程 ld )未填写时，会自动创建-个云剪辑工程
2.当剪辑合成完成(可能成功,也可能失败)后，客户可以通过2种途径获取相关状态及信息:
1)接收ProduceMediaComplete 事件通知(http 回调、 mns 两种方式)
2) Job 提交成功后，主动查询 Btw:基于效率考虑，建议使用第1种回调的方式，也可以2种方式结合使用
3.合成的目标资源为一个新资源
