智能媒体生产 ICE 使用及原理介绍(一)|学习笔记

简介: 快速学习智能媒体生产 ICE 使用及原理介绍(一)

开发者学堂课程【视频云技术入门-1024程序员节创造营公益课智能媒体生产 ICE 使用及原理介绍(一)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/902/detail/14335


智能媒体生产 ICE 使用及原理介绍(一)


目录:

一、架构与服务层次

二、ICE

三、时间线

四、三一站式开发接入

 

一、架构与服务层次

image.png

频生产与消费全链路

采集——生产制作——管理——分发——消费

互联网流量:70%以上来自视频

专业拍摄——民用设备——专业非编包括一键美颜和在线剪辑

人工编审——包括智能媒资和智能审核

节目单——按需个性化 观看——互动

趋势:从人工到智能,从小众到大众,从被动接收到个性互动

 

二、ICE

ICE 解决什么问题

image.png

云上生产制作

1.云端剪辑制作合成(导出)
2.素材库管理与公共素材的使
3规模化剪辑制作合成
4.专业、高效剪辑制作合成
5.Al 能力辅助生产制作

6. 无干预的全智能生产制作
2、ICE 整体流程

内容资源库(素材库+成片库)——智能生产制作——影像内容消费

内容资源库(素材库+成片库)可以自制 外购 PGC/UGC 直播流,包括音视频 图片 元数据 富文本 故事板,之后进行智能分析与处理包括人脸 语音 OCR NLP 场景 镜头 抠像 色彩,再进行内容创作者包括移动端制作 Web 制作工具 模板工厂生产制作 AL辅助生产制作等

3、ICE 技术架构

场景 剪切拼接拆条 字幕生产 音频处理   图文包装 同频多轨 转场特效 模板化生

实时制作 智能剪辑 SaaS服务/页面 素材管理 成片管理 发布管理 

媒资管理/搜索页面 生产制作页面 ......

智能时间线编排          

创作类(如:集锦、拆条)

增强类(如:智能字幕)

替换类(如:背景替换)

原子 AIl 算法

Face OCR Label Pose ASR DNAShot Category NLP

工具(多端:Web/Mobile/PC)  

故事板

Manual Timeline

Al Timeline

效果编辑  播放器

Preview 渲染引擎

AP

生产制作服务

模板工厂

Timeline 处理中心

渲染合成

多层视频 多轨混音

智能引擎  特效

内容库 音视资源库 直播流 模板云制作工程 人物库 标签库 版权节目 镜头库

4、ICE 服务层次

WebSDK

云端一体 可分可合的 PaaS(云服务)/PaaS+(WedSDK)

标准剪辑

资源 视觉音频/效果轨道。青视图文素材。速镇/转场特效
交互 剪切拼撞多层视频/图像多轨混查. 效果编辑,预览

直播剪辑
资源直播流 (停止停止后转点播均支持)

交互 双播器(直播源,剪辑后片段)。单轨剪切

模板工厂剪辑
资源 轨道。素材,效果与标准剪辑一致
依题时间线创建模板。模板可变参数替换
大子组件
剪期时间线(多轨.多素材.多种效果)
剪辑播放器(素材播放.时间线效果预览与播放)

云服务
OpenAPI
剪辑制作 标准剪辑 提交剪辑合成作业 查询剪辑合成作业

直播剪辑 提交直播剪辑作业 查询直播剪辑作业

云剪辑工程 剪辑工程的增删改查

剪辑工程素材的增删查
内容库 内容库资源的增删改查

公共素材库(标签)的获取

公共内容平台相关服务
智能任务 ASR 智能字幕,视频/图片横转竖、视频/图片智能模糊。视频图片绿幕抠像。智能语音任务的提交

只能任务的获取,删除
模板工厂 模块的增 删 该 查

公共配置 事件通知的设置和获取

事件通知 MNP 回调 Http 回调 剪辑合成回调

5、ICE 基本概念

素材 用于剪辑制作的原材料。类型可以是视频、纯音频、图片、独立字幕等。
时间线 音视图文多层轨道、多个素材、多类效果按照视频创作思路编排的过程和结果,同时也是剪辑合成的依据,这是ICE最重要的数据结构,也是整个视频生产制作的核心。
模块 将时间线的素材编排规律、转场/滤镜/特效规律以及其他规律予以抽象并进行固定化、标准化的结果。模板相比较时间线,使用起来更方便,也更容易进行规模化制作。
云剪辑工程 用于描述一次视频创作过程中涉及的数据。-般包括基本元数据(如标题、创建时间等),本次视频创作所需的素材,以及描述实际视频创作内容的时间线。
剪辑合成任务 当视频创作完成后,可将最终制作好的时间线或模板提交合成,生成新的媒体资源。媒体资源的合成是一一个异步的过程,剪辑合成任务则描述了任务从开始创建到最终完成的过程。
成片 剪辑制作合成(导出)的目标产物。成片在这里是个广义的概念,针对当次剪辑的输出。因此,这次的成片也可作为下次的素材继续进行创作。
智能任务 在剪辑制作及合成的过程中,我们可以对素材或者生成目标媒体资源的过程进行智能处理,智能任务则用来描述对应的智能处理过程。

6、ICE 核心链路与设计规则

核心链路

输入———处理——输出

输入

ICE 内容库
来源: VOD 媒资. OSS 对象、直播流
类型:音视图文.直播流等泛媒体资源

处理

剪辑、包装、渲染与合成
●最核心的对象:时间线 Timeline

●过程:剪辑合成服务的异步处理

●高级管理:云剪辑工程及素材管理

●提效:模板工厂、并行剪辑、智能生产

输出

ICE 内容库
●目标: VOD 媒资. OSS 对象
●最核心设计规则:源文件输入输出

●类型:视频、纯音频,动图、字幕、时间线等

源文件输入输出规则

ICE 剪辑输入(素材等)

内容库资源有原始文件和转码输出文件 0—N,而原始文件可以转码为转码输出文件,原始文件合成原始文件,之后转码成转码输出文件 0—N,一起构成内容库资源

●目标媒体资源分所率
在没有手动指定的情况下。与 Timeline 所使用的素材源文件分辨率有关:取其最大宽高。
例如: Timeline 使用了3个素材, 其源文件分辨率分别为: 1280x720, 1920x1080, 720x1280,则目标成片的分解率为1920x1280
●目标媒体资源码率
在没有手动指定的情况下,与Timeline所使用的素材源文件码有关,取其最大码(若超过码率上限则以码上限为准)
●目标媒体资源格式
在没有手动指定的情况下,默认视频的格式为 H.264/mp4;音倾为 aac

内容库设计—开发性 灵活性 跨产品协作分为四个部分

image.png

A 范媒体管理  视频 纯音频 图片 字幕 直播流等

B 跨产品融合 ICE 媒资 VOD 媒资 直播流

C 开放性 用户内容库 公共素材库(内容)

D 统一管理范围 素材(源) 成品(目标) 临时资源

 

相关文章
|
5月前
|
人工智能 算法 机器人
《探秘移动游戏的物理魔法:引擎应用与性能进阶指南》
物理引擎是移动游戏中实现真实感和趣味性的核心技术,通过模拟重力、碰撞、惯性等物理现象,增强沉浸感。在赛车游戏、解谜游戏等不同类型中,物理引擎发挥着独特作用,如《愤怒的小鸟》利用Box2D精准模拟碰撞效果。然而,移动设备性能有限,需优化物理模拟,包括控制物体数量、调整更新频率、简化模型等。未来,随着硬件升级和AI融合,物理引擎将实现更复杂的效果,如流体模拟和智能动态调整,同时工具的易用性提升也将助力开发者创造更精彩的游戏体验。
152 13
|
7月前
|
机器学习/深度学习 人工智能 DataWorks
《AI牵手DataWorks,实时数据分析“一路狂飙”》
在大数据时代,数据是企业的生命线,实时数据分析能力至关重要。阿里巴巴的DataWorks作为强大的数据中台工具,结合人工智能(AI)技术,彻底改写了实时数据分析格局。传统方法面临数据量增长、复杂结构及缺乏自适应能力等挑战,而AI通过机器学习和深度学习算法,实现了智能预警、个性化推荐和实时风险评估等应用场景,显著提升了数据分析的速度和精度。成功案例显示,某互联网公司引入AI赋能的DataWorks后,用户活跃度提升30%,购买转化率提高20%。未来,AI与新兴技术的融合将进一步推动实时数据分析的发展。
288 6
|
11月前
|
测试技术 Python
手动解决Python模块和包依赖冲突的具体步骤是什么?
需要注意的是,手动解决依赖冲突可能需要一定的时间和经验,并且需要谨慎操作,避免引入新的问题。在实际操作中,还可以结合使用其他方法,如虚拟环境等,来更好地管理和解决依赖冲突😉。
|
9月前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案。
732 5
|
11月前
|
前端开发 JavaScript 开发者
HMR 插件的优点和缺点
【10月更文挑战第23天】HMR 插件的优点远远超过其缺点。它为前端开发带来了巨大的便利和效率提升,使开发者能够更加专注于代码的编写和优化。然而,在使用过程中也需要注意可能出现的问题,并根据实际情况进行适当的调整和优化。
|
Java 关系型数据库 MySQL
分布式系列教程(18) -分布式配置中心Apollo安装与详解
分布式系列教程(18) -分布式配置中心Apollo安装与详解
1280 0
|
JSON 算法 安全
金润·核验通-银行卡二要素验证接口文档
银行卡二要素验证接口介绍:比对身份证号、银行卡号的一致性,核验持卡人信息真实性 更新时间:实时 接口类型:API接口 数据优势:直连官方数据,合法合规、权威、精确 数据安全:仅确认通过与不通过,保护个人信息安全 计费方式:核验计费,详情请咨询
金润·核验通-银行卡二要素验证接口文档
|
运维 关系型数据库 MySQL
在Linux中,MySQL数据库日常运维中涉及哪些关键任务?
在Linux中,MySQL数据库日常运维中涉及哪些关键任务?
|
前端开发 数据可视化 安全
漏刻有时数据可视化大屏常见问题(8)count(): Parameter must be an array or an object that implements Countable
漏刻有时数据可视化大屏常见问题(8)count(): Parameter must be an array or an object that implements Countable
492 1
|
Windows 网络安全 数据安全/隐私保护