[1024]-智能视频生产技术训练营学习总结-阿里云开发者社区

开发者社区> 无敌小将> 正文

[1024]-智能视频生产技术训练营学习总结

简介: 开营前夕,我们在控制台开通智能媒体生产ICE(Intelligent Cloud Editor),通过官方文档介绍了解ICE是一款教育行业、新媒体行业、营销行业、直播平台等内容制作者提供在的线剪辑工具,通过人工智能与剪辑工具有机结合将专业剪辑工具普适化,辅助进行视频内容的高效生产。通过了解,我发现这款工具制作功能丰富,提供专业的音视频剪辑、直播拆条、专业字幕、转场过渡、特效滤镜等多种包装功能,满足短视频、教学视频等各类视频制作的需求。并且视频制作流程模板化,大幅提升视频生产效率。其次跨平台(移动端、PC、H5页面)工程互通和内置丰富生态。
+关注继续查看

开营前夕,我们在控制台开通智能媒体生产ICE(Intelligent Cloud Editor)通过官方文档介绍了解ICE是一款教育行业、新媒体行业、营销行业、直播平台等内容制作者提供在线剪辑工具,通过人工智能与剪辑工具有机结合将专业剪辑工具普适化,辅助进行视频内容高效生产。通过了解,我发现这款工具制作功能丰富提供专业的音视频剪辑、直播拆条、专业字幕、转场过渡、特效滤镜等多种包装功能,满足短视频、教学视频各类视频制作的需求并且视频制作流程模板化,大幅提升视频生产效率。其次跨平台移动端、PC、H5页面)工程互通和内置丰富生态

智能媒体生产ICE地址:

https://ice.console.aliyun.com/

 

开通ICE过程也非常的简单,只需要开通服务,完成对应授权就可以看到主界面。

image.pngimage.png



然后,我们还体验Retina视频云AI体验馆卡通智绘并生成卡通头像

https://retina.aliyun.com/

image.pngimage.png


基于用户自拍照高度还原脸部特征,利用先进的生成对抗网络及迁移学习技术,将我们提供的照片快速转化为独一无二、得到了一张个人特色的卡通形象。非常的形象生动。

image.png

课程总共分为四天。

第一节课主要介绍了视频AI与视频智能生产。

主要普及了一些应用场景和ICE功能的基础知识。在视频AI方面,介绍了一些案例。一个是视频AI自动化标签实现了更科学化、精准化的自动化标签的案例。第二个案例是高频率智能审核,可以对直播画面中实现不同粒度(高频截帧、关键帧截帧)来实现涉黄、暴、政广告等不良场景的实时审核,大幅节省人工审核人力成本,降低违规风险。这些场景广泛存在我们的日常生活中。媒体处理提供智能生产、媒体审核、视频DNA、智能标签等视频AI服务。

更多: https://help.aliyun.com/document_detail/335173.html

接着,介绍了智能媒体生产ICE ,它主要功能包括:媒资管理、云端剪辑、智能处理、模板工场等。这里简单给大家介绍一下,媒资管理主要是利用OSS提供可靠的云端存储能力,基于视频指纹特征与视频内容理解,实现多模态的搜索与查重能力,比如视频搜视频、以图搜视频、以图搜图等功能,能让我们快速检索到视频素材。云端剪辑主要是在线提供专业级的视频制作能力。智能处理包含很多AI的功能,比如智能字幕、智能配音、抠图等。模板工场中提供了强大的需求复用能力,在使用只需要传入关键参数及素材即可生产视频。这就是ICE主要四个功能。

 

第二节课智能媒体处理使用及原理。

讲解媒体处理的大技术框架,结合场景和实践介绍重点能力的技术底层逻辑:

首先介绍了智能生产全路径:采集、编辑、存储、管理、分发的流程中AI越来越多的进行各个环节的赋能。介绍了视频AI的原理、了解如何评价AI模型效果(精度、召回率)。目前现状AI还只是辅助视频生产,生产视频的主体还是人。例如以图搜图、视频。智能横转竖都是一些具体应用。

在视频内容理解模块中,介绍智能审核、智能标签、视频检索这些主要能力和算法流程。

音视频智能处理模块中,频处理(绿幕抠图、横转竖),音频处理(副歌识别、节奏识别)等等的能力和流程。

最后介绍了MPS服务平台和使用流程。如何调用MPS服务接口。

本课老师分享的问题分享给大家:

问题:如何实现视频相似度的检索?答案:使用视频指纹技术或视频DNA技术

 

第三课:介绍了ICE的整体架构。

ICE的定位就在于云上生产制作的领域。ICE整体服务提供一个云端一体,可分可合的Pass(云服务)/PasS +(WebSDk)。ICE的基本概念,比如素材,时间线、模板、云编辑工程、剪辑合成任务、成片、智能任务等。一站式开发接入,核心要点就是剪辑制作与合成,有三种调用方式:1)直接调用OpenAPI  2)通过阿里云ICE控制台发起调用 3)在自己的系统集成WebSDK发起调用。 并介绍了8个使用流程。

在本课结尾老师分享了一个有趣的问题,分享给大家:

问题:如何将多张照片制作成一个短视频?

答案1:  直接传入timeline(时间线)参数,把照片/时长/效果等参数设置到时间线上,然后提交剪辑合成作业;

答案2:  使用模板工厂,先制作一个模板,再把图片作为覆盖参数,结合模板id,提交剪辑合成作业

 

 

最后一课带来了一个ICE实战,主要是这节点比较简单主要介绍了时间线里面的一些基本概念,比如轨道Track、素材Clip、效果Effect。介绍了Timeline数据结构。和制作卡点相册的流程。1.调用接口,获取音频节奏点信息(提交智能生产任务)(异步)

2.拿到节奏信息封装时间线

3.提交合成作业,合成视频(异步)

今日问题:制作卡点相册需要用到几个接口?

答案:4个。分别是提交智能生产作业、查询智能生产作业、提交剪辑合成作业、查询剪辑合成作业

 

学完课程了,我们已经知道如何生产内容,但是如何使用内容呢?目前主流的应用场景是什么呢?而且为了延伸自己的知识体系,我还了解相关的视频点播和直播的基础知识、常用的视频通信协议,掌握阿里云视频点播服务和视频直播服务的使用方法,目前我们处于云计算广泛的流行的时代与人工智能、大数据相关服务深度结合,成本快速下降,使得原本距离普通民众比较遥远的视频点播和直播技术开始变得流行起来。并且通过学习能自己在云上部署视频点播和直播系统。

 

目前,越来越多的业务都加入了视频点播、简单来说点播,解决了我们想看什么就看什么,想什么时候看就可以时候看的问题。用户发送点播请求,通过vod视频点播系统从偏远库中检索出资源,以音频、视频码流文件形式通过网络传输到用户终端进行播放。比如我们的视频网站、短视频、在线教育、广电传媒都是有广泛的应用场景。

 

使用的协议HTML、HTML5这些都是主流使用到的协议,我就不过多向大家介绍。我们知道传统点播的业务资源消耗大,IT成本很高,而且还涉及到内容版权保护、内容的合规管控处理等诸多问题。阿里云的视频点播(ApsaraVideo VoD,简称VoD)是集视频采集、编辑、上传、媒体资源管理、自动化转码处理(窄带高清™)、视频审核分析、分发加速于一体的一站式音视频点播解决方案。

 

产品详情:https://www.aliyun.com/product/vod

image.png

产品架构

 

用户可以通过控制台、API、SDK等多种方式将视频上传到点播平台。可以按需对视频进行基础处理、特效处理和加密处理等操作。可将处理后的视频分发到各种平台,方便客户更好的体验视频服务。

image.png

 

视频直播服务(ApsaraVideo Live)是基于领先的内容接入与分发网络和大规模分布式实时转码技术打造的音视频直播平台,提供便捷接入、高清流畅、低延迟、高并发的音视频直播服务。直播3.0让“直播+”更普惠,推动全行业数字化转型。比如:一个最简单的例子,我们现在推广一个商品,在生活中直播+电商效果远远超过文字加图片。视频直播基本流程如下:

image.png

 

在直播中我们关注低延时、低卡顿率、多码率格式化,多终端、互动性等。我们也会遇到传统点播场景中的一些痛点。阿里云视频直播给我们提供了视频直播服务(ApsaraVideo Live)是基于领先的内容接入、分发网络和大规模分布式实时转码技术打造的音视频直播平台,提供便捷接入、高清流畅、低延迟、高并发的音视频直播服务。

image.png

 

感兴趣同学可以在官方文档中了解一下。

https://help.aliyun.com/document_detail/198676.html

 

 

 

===========================================================

最后推荐实验2个:

 

轻松定制跨终端视频点播平台,在这个实验中,实验会提供一个既开通媒体转码服务,又开通视频点播服务的阿里云账号,让用户同时体验视频点播在阿里云上的两种不同实现方式。

https://edu.aliyun.com/lab/courses/974fed2f79bd4e2286f37bd5d7ac530a/detail

 

 

快速部署低延时直播平台之FFmpeg

https://edu.aliyun.com/lab/courses/86202d2132c841369a4ec1b258683851/detail

 

 

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
总结CSS3新特性(颜色篇)
颜色: CSS3新增加了hsl(), hsla(), rgb(),rgba()四个函数来创建color值; hsl(): hsl函数:h(色调),s(饱和度),l(亮度); 色调:为0-360之间的数值[经实验,可以为小数]; 饱和度与亮度:均为百分比; 下图截自http://www.
752 0
前端智能化 2020 年中总结和反思
与大家分享阿里前端在智能化方向上的实践和思考
3256 0
【云栖号案例 | 物联网&人工智能】鸿达公司高效复工稳产 生产管理效率提升50%
疫情期间,制造业面临巨大生存压力。企业选择方案中三个SaaS模块化应用,进行了有效的复工复产安排,帮助企业复工生产管理效率提升50%以上。
1237 0
Flink SQL CDC 上线!我们总结了 13 条生产实践经验
针对平台现在存在的问题,我们提出了把报表的数据实时化的方案。该方案主要通过 Flink SQL CDC + Elasticsearch 实现。Flink SQL 支持 CDC 模式的数据同步,将 MySQL 中的全增量数据实时地采集、预计算、并同步到 Elasticsearch 中,Elasticsearch 作为我们的实时报表和即席分析引擎。
13606 0
如何让智能客服成为企业的生产力工具?
2021年10月21日,阿里巴巴达摩院“新一代企业智能服务论坛”在杭州圆满举行。达摩院产品创新中心阿里云智能客服业务总经理王巍巍分享了阿里云智能客服最新进展,包括全渠道全场覆盖的云上产品矩阵,从智能服务向智能营销场景延伸的解决方案,国内首创的智能策略中心;号召客户和生态伙伴共同探讨智能服务行业未来发展动向。
13835 0
+关注
无敌小将
网络/信息安全/网络规划设计师、CISP、ACA(全科目)/ACP(云计算/云安全/大数据)/ACE、MVP等。拥有 PRINCE2 专家级、ITIL、ISO27001等多项国际认证。 发表数篇学术文章在国内/国际期刊、书籍,拥有多项发明专利。主要研究DevSecOps、信息安全及区块链。
93
文章
2141
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载