视频 AI 与智能生产(二)|学习笔记

简介: 快速学习视频 AI 与智能生产(二)

开发者学堂课程【视频云技术入门-1024程序员节创造营公益课视频 AI 与智能生产(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/902/detail/14334


视频 AI 与智能生产(二)


六、视频生产—赛事分析

体育赛事分析

赛事支持

奥运会、世界杯、世锦赛等赛事运动、如主流运动(足球、篮球、网球、羽毛球、乒乓球、排球等)、小众运动(高尔夫球、棒球、曲棍球、壁球等)、极限运动(跳伞、冲浪、滑板)、涉水/冬季运动(游泳、滑冰、滑雪、跳水等)、健体运动(举重、俯卧撑、深蹲、仰卧起坐等)、格斗运动等。

场馆场地识别

覆盖各个国家奥运会、世界杯、世锦赛等著名体育场馆地标识别,如鸟巢、水立方等;覆盖各个运动种类场地识别,如篮球场、足球场、滑冰场、滑雪场、空手道馆、游泳馆、曲棍球馆等。

人员信息、角色分析

运动员识别

包含中外运动员、足球、篮球、排球、

网球、泳坛、体操等名宿。

角色识别

包含裁判、观众、守门员、球员

运动履历分析

提供所识别人物的生平资料

特定运动员片段集锦

出场率分析

远景、近景、特写提取

赛事文本/音频信息提取

比分信息实时识别

识别当前赛事比分,辅助关键时刻镜头提取

球队信息、赛事信息提取

提取画面中的球队信息,赛事场次

赛事溯源

对赛事进行溯源,定位原场次比赛

解说提取/字幕提取

关键词提取

对关键词分析,如进球、打门等,

获取关键时刻

 

七、如何提升生产力

视频云从音视频的生产、 转码、管理、分发,到客户端的播放体验,打造全链路技术服务

image.png


八、核心能力-媒资管理

云端存储

媒资数据存储于对象存储 OSS 或点播 VOD,提供稳定可靠的云端存储服务,支持素材即传即用,

多模检索

基于视频指纹特征与视频内容理解,实现多模态的搜索与查重能力,主要包含以视频搜视频、以图搜视频、以图搜图等功能,帮助用户快速检索到视频素材。

使用方式:

方式一可视化管理

管理地址待2月4日正式发布后更新

方式二 API 管理

通过开放的 API 接口,对内容库进行增删改查管理。

接口文档参见:

https://help aliyun.com/document _detail/197841.htm

 

九、核心能力-智能处理

智能字幕

将视频或音频中的声音,自动转化为字幕添加编辑项目中,并支持导出为字幕文件。

智能配音

支持将字幕文件通过语音合成的方式,智能生成音频文件。

绿幕抠图

支持对绿幕视频,一键式抠成透明底视频素材。

人像抠图

支持对人像视频,一键式抠成透明底只保留人像部分的视频素材。

智能裁剪

对横屏的视频内容,可根据关注主体,智能裁剪为9:16视频素材。

智能拆条

根据 ppt 标题、场景、关键词等,将长视频自动裁剪为多个短视频

使用方式:

方式一可视化批量智能处理

ice 控制台批量发起智能处理,并在线查看、下载处理结果

方式二可视化智能处理实时纠错

在浏览器或 SDK 封装的剪辑工具中,发起智能处理任务。如右侧2图所示,发起「智能拆条」任务

方式三 API 剪辑

通过开放的 API 接口,对素材进行智能处理。处理完成后异步回调。

 

十、核心能力-模板工厂

自定义+海量系统模板

普通模板:对时间线进行了封装,把常用的时间线定义成模板

高级模板:基于 AE 文件实现炫酷动效模板

模板复用

当有同样的需求出现时,只需要传入动态素材即可快速合成视频

 

十一、行业案例—数字教育

素质教育行业内容即核心资产,内容形式灵活覆盖直播、点播,同时有丰富的短视频投放需求。对源内容的剪辑实时性要求较高,对可视化拆条有明确需求。智能媒体生产为素质教育行体在云端录制剪辑、直播剪辑、智能拆条方面提供了全方位的服务支撑。

快速搭建基于云端媒资的可视化编辑组件

利用基于浏览器的云端渲染的核心技术能力,为客户打造基于云端大媒资的可视化处理组件,1-2天即可集成至业务环境中,实现云上剪辑合成的全流程剪辑服务。

直播实时剪辑、直播转点播收录剪辑

支持直播实时快剪、收录精剪,满足客户对实时性要求高的场景第-时间抢占发布先机

课后精彩回顾高光片段实时生成

基于自定义拆条规则或智能拆条算法,提供批量化实时精彩片段提取及合成服务,利用回顾内容加强家长在课程中的参与感,构建教学-回顾-续费的闭环。

相关文章
|
4天前
|
机器学习/深度学习 人工智能 算法
【AI问爱答-双十一返场周】第二场企业办公视频
【AI问爱答-双十一返场周】探讨AI大模型时代对企业办公的影响。AI员工旨在辅助而非替代人类,通过深度学习、大规模训练数据和自我监督学习提升效率。视频介绍生成式智能工具如全妙系列,助力企业内容生产。关注AI问爱答,了解更多AI技术与应用。
|
17天前
|
传感器 人工智能 监控
AI与物联网的融合:开启智能化未来的新篇章
AI与物联网的融合:开启智能化未来的新篇章
240 96
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
Emotion-LLaMA:用 AI 读懂、听懂、看懂情绪,精准捕捉文本、音频和视频中的复杂情绪
Emotion-LLaMA 是一款多模态情绪识别与推理模型,融合音频、视觉和文本输入,通过特定情绪编码器整合信息,广泛应用于人机交互、教育、心理健康等领域。
36 11
Emotion-LLaMA:用 AI 读懂、听懂、看懂情绪,精准捕捉文本、音频和视频中的复杂情绪
|
11天前
|
存储 人工智能 自然语言处理
AI Agent与SaaS工具协同发展的未来:企业智能化的全新范式
AI Agent以自主性和智能化为核心,适合复杂任务的动态执行;而SaaS工具则注重服务的完整性和易用性,适合标准化业务需求。
69 14
AI Agent与SaaS工具协同发展的未来:企业智能化的全新范式
|
12天前
|
机器学习/深度学习 人工智能 算法
AI在体育分析与预测中的深度应用:变革体育界的智能力量
AI在体育分析与预测中的深度应用:变革体育界的智能力量
77 31
|
17天前
|
机器学习/深度学习 人工智能 资源调度
基于AI的运维资源调度:效率与智能的双重提升
基于AI的运维资源调度:效率与智能的双重提升
110 16
基于AI的运维资源调度:效率与智能的双重提升
|
7天前
|
人工智能 运维 负载均衡
智能运维新时代:AI在云资源管理中的应用与实践
智能运维新时代:AI在云资源管理中的应用与实践
82 23
|
16天前
|
存储 人工智能 开发框架
Eliza:TypeScript 版开源 AI Agent 开发框架,快速搭建智能、个性的 Agents 系统
Eliza 是一个开源的多代理模拟框架,支持多平台连接、多模型集成,能够快速构建智能、高效的AI系统。
123 8
Eliza:TypeScript 版开源 AI Agent 开发框架,快速搭建智能、个性的 Agents 系统
|
11天前
|
人工智能 自然语言处理 监控
从数据洞察到动态优化:SaaS+AI引领智能化服务新时代
SaaS(软件即服务)结合AI(人工智能),正引领企业解决方案向智能化转型。SaaS+AI大幅提升了工作效率与决策质量。它能自动完成重复任务、简化设置流程、主动识别并解决潜在问题,还能根据用户需求提供个性化推荐和动态优化配置。
58 1
从数据洞察到动态优化:SaaS+AI引领智能化服务新时代
|
17天前
|
机器学习/深度学习 人工智能 编解码
VideoVAE+:AI 生成视频高保真重建和跨模态重建工具,基于文本信息指导视频重建,提升视频细节质量
VideoVAE+ 是香港科技大学推出的先进跨模态视频变分自编码器,通过时空分离压缩机制和文本指导,实现了高效视频压缩与精准重建。
62 7
VideoVAE+:AI 生成视频高保真重建和跨模态重建工具,基于文本信息指导视频重建,提升视频细节质量

热门文章

最新文章