开发者学堂课程【视频云技术入门-1024程序员节创造营公益课:视频 AI 与智能生产(二)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/902/detail/14334
视频 AI 与智能生产(二)
六、视频生产—赛事分析
体育赛事分析
赛事支持
奥运会、世界杯、世锦赛等赛事运动、如主流运动(足球、篮球、网球、羽毛球、乒乓球、排球等)、小众运动(高尔夫球、棒球、曲棍球、壁球等)、极限运动(跳伞、冲浪、滑板)、涉水/冬季运动(游泳、滑冰、滑雪、跳水等)、健体运动(举重、俯卧撑、深蹲、仰卧起坐等)、格斗运动等。
场馆场地识别
覆盖各个国家奥运会、世界杯、世锦赛等著名体育场馆地标识别,如鸟巢、水立方等;覆盖各个运动种类场地识别,如篮球场、足球场、滑冰场、滑雪场、空手道馆、游泳馆、曲棍球馆等。
人员信息、角色分析
运动员识别
包含中外运动员、足球、篮球、排球、
网球、泳坛、体操等名宿。
角色识别
包含裁判、观众、守门员、球员
运动履历分析
提供所识别人物的生平资料
特定运动员片段集锦
出场率分析
远景、近景、特写提取
赛事文本/音频信息提取
比分信息实时识别
识别当前赛事比分,辅助关键时刻镜头提取
球队信息、赛事信息提取
提取画面中的球队信息,赛事场次
赛事溯源
对赛事进行溯源,定位原场次比赛
解说提取/字幕提取
关键词提取
对关键词分析,如进球、打门等,
获取关键时刻
七、如何提升生产力
视频云从音视频的生产、 转码、管理、分发,到客户端的播放体验,打造全链路技术服务
八、核心能力-媒资管理
云端存储
媒资数据存储于对象存储 OSS 或点播 VOD,提供稳定可靠的云端存储服务,支持素材即传即用,
多模检索
基于视频指纹特征与视频内容理解,实现多模态的搜索与查重能力,主要包含以视频搜视频、以图搜视频、以图搜图等功能,帮助用户快速检索到视频素材。
使用方式:
方式一可视化管理
管理地址待2月4日正式发布后更新
方式二 API 管理
通过开放的 API 接口,对内容库进行增删改查管理。
接口文档参见:
https://help aliyun.com/document _detail/197841.htm
九、核心能力-智能处理
智能字幕
将视频或音频中的声音,自动转化为字幕添加编辑项目中,并支持导出为字幕文件。
智能配音
支持将字幕文件通过语音合成的方式,智能生成音频文件。
绿幕抠图
支持对绿幕视频,一键式抠成透明底视频素材。
人像抠图
支持对人像视频,一键式抠成透明底只保留人像部分的视频素材。
智能裁剪
对横屏的视频内容,可根据关注主体,智能裁剪为9:16视频素材。
智能拆条
根据 ppt 标题、场景、关键词等,将长视频自动裁剪为多个短视频
使用方式:
方式一可视化批量智能处理
在 ice 控制台批量发起智能处理,并在线查看、下载处理结果
方式二可视化智能处理实时纠错
在浏览器或 SDK 封装的剪辑工具中,发起智能处理任务。如右侧2图所示,发起「智能拆条」任务
方式三 API 剪辑
通过开放的 API 接口,对素材进行智能处理。处理完成后异步回调。
十、核心能力-模板工厂
自定义+海量系统模板
普通模板:对时间线进行了封装,把常用的时间线定义成模板
高级模板:基于 AE 文件实现炫酷动效模板
模板复用
当有同样的需求出现时,只需要传入动态素材即可快速合成视频
十一、行业案例—数字教育
素质教育行业内容即核心资产,内容形式灵活覆盖直播、点播,同时有丰富的短视频投放需求。对源内容的剪辑实时性要求较高,对可视化拆条有明确需求。智能媒体生产为素质教育行体在云端录制剪辑、直播剪辑、智能拆条方面提供了全方位的服务支撑。
快速搭建基于云端媒资的可视化编辑组件
利用基于浏览器的云端渲染的核心技术能力,为客户打造基于云端大媒资的可视化处理组件,1-2天即可集成至业务环境中,实现云上剪辑合成的全流程剪辑服务。
直播实时剪辑、直播转点播收录剪辑
支持直播实时快剪、收录精剪,满足客户对实时性要求高的场景第-时间抢占发布先机
课后精彩回顾高光片段实时生成
基于自定义拆条规则或智能拆条算法,提供批量化实时精彩片段提取及合成服务,利用回顾内容加强家长在课程中的参与感,构建教学-回顾-续费的闭环。