视频 AI 与智能生产(二)|学习笔记

简介: 快速学习视频 AI 与智能生产(二)

开发者学堂课程【视频云技术入门-1024程序员节创造营公益课视频 AI 与智能生产(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/902/detail/14334


视频 AI 与智能生产(二)


六、视频生产—赛事分析

体育赛事分析

赛事支持

奥运会、世界杯、世锦赛等赛事运动、如主流运动(足球、篮球、网球、羽毛球、乒乓球、排球等)、小众运动(高尔夫球、棒球、曲棍球、壁球等)、极限运动(跳伞、冲浪、滑板)、涉水/冬季运动(游泳、滑冰、滑雪、跳水等)、健体运动(举重、俯卧撑、深蹲、仰卧起坐等)、格斗运动等。

场馆场地识别

覆盖各个国家奥运会、世界杯、世锦赛等著名体育场馆地标识别,如鸟巢、水立方等;覆盖各个运动种类场地识别,如篮球场、足球场、滑冰场、滑雪场、空手道馆、游泳馆、曲棍球馆等。

人员信息、角色分析

运动员识别

包含中外运动员、足球、篮球、排球、

网球、泳坛、体操等名宿。

角色识别

包含裁判、观众、守门员、球员

运动履历分析

提供所识别人物的生平资料

特定运动员片段集锦

出场率分析

远景、近景、特写提取

赛事文本/音频信息提取

比分信息实时识别

识别当前赛事比分,辅助关键时刻镜头提取

球队信息、赛事信息提取

提取画面中的球队信息,赛事场次

赛事溯源

对赛事进行溯源,定位原场次比赛

解说提取/字幕提取

关键词提取

对关键词分析,如进球、打门等,

获取关键时刻

 

七、如何提升生产力

视频云从音视频的生产、 转码、管理、分发,到客户端的播放体验,打造全链路技术服务

image.png


八、核心能力-媒资管理

云端存储

媒资数据存储于对象存储 OSS 或点播 VOD,提供稳定可靠的云端存储服务,支持素材即传即用,

多模检索

基于视频指纹特征与视频内容理解,实现多模态的搜索与查重能力,主要包含以视频搜视频、以图搜视频、以图搜图等功能,帮助用户快速检索到视频素材。

使用方式:

方式一可视化管理

管理地址待2月4日正式发布后更新

方式二 API 管理

通过开放的 API 接口,对内容库进行增删改查管理。

接口文档参见:

https://help aliyun.com/document _detail/197841.htm

 

九、核心能力-智能处理

智能字幕

将视频或音频中的声音,自动转化为字幕添加编辑项目中,并支持导出为字幕文件。

智能配音

支持将字幕文件通过语音合成的方式,智能生成音频文件。

绿幕抠图

支持对绿幕视频,一键式抠成透明底视频素材。

人像抠图

支持对人像视频,一键式抠成透明底只保留人像部分的视频素材。

智能裁剪

对横屏的视频内容,可根据关注主体,智能裁剪为9:16视频素材。

智能拆条

根据 ppt 标题、场景、关键词等,将长视频自动裁剪为多个短视频

使用方式:

方式一可视化批量智能处理

ice 控制台批量发起智能处理,并在线查看、下载处理结果

方式二可视化智能处理实时纠错

在浏览器或 SDK 封装的剪辑工具中,发起智能处理任务。如右侧2图所示,发起「智能拆条」任务

方式三 API 剪辑

通过开放的 API 接口,对素材进行智能处理。处理完成后异步回调。

 

十、核心能力-模板工厂

自定义+海量系统模板

普通模板:对时间线进行了封装,把常用的时间线定义成模板

高级模板:基于 AE 文件实现炫酷动效模板

模板复用

当有同样的需求出现时,只需要传入动态素材即可快速合成视频

 

十一、行业案例—数字教育

素质教育行业内容即核心资产,内容形式灵活覆盖直播、点播,同时有丰富的短视频投放需求。对源内容的剪辑实时性要求较高,对可视化拆条有明确需求。智能媒体生产为素质教育行体在云端录制剪辑、直播剪辑、智能拆条方面提供了全方位的服务支撑。

快速搭建基于云端媒资的可视化编辑组件

利用基于浏览器的云端渲染的核心技术能力,为客户打造基于云端大媒资的可视化处理组件,1-2天即可集成至业务环境中,实现云上剪辑合成的全流程剪辑服务。

直播实时剪辑、直播转点播收录剪辑

支持直播实时快剪、收录精剪,满足客户对实时性要求高的场景第-时间抢占发布先机

课后精彩回顾高光片段实时生成

基于自定义拆条规则或智能拆条算法,提供批量化实时精彩片段提取及合成服务,利用回顾内容加强家长在课程中的参与感,构建教学-回顾-续费的闭环。

相关文章
|
11天前
|
数据采集 存储 人工智能
代理IP与AI自我进化:探索未来智能的新边界
在AI快速发展的今天,数据获取成为制约其进步的关键因素。代理IP技术通过匿名性和灵活性,帮助AI突破地域限制、绕过反爬虫机制,提升数据质量和模型训练效率,促进AI自我进化。本文通过实例和代码,探讨了代理IP在AI发展中的作用及潜在价值,强调了合理使用代理IP的重要性。
19 1
|
6天前
|
机器学习/深度学习 人工智能 UED
OOTDiffusion:开源AI虚拟试衣工具,智能适配性别和体型自动调整衣物
OOTDiffusion是一款开源的AI虚拟试衣工具,能够智能适配不同性别和体型,自动调整衣物尺寸和形状,生成自然贴合的试穿效果。该工具支持半身和全身试穿模式,操作简单,适合服装电商、时尚行业从业者及AI试穿技术爱好者使用。
82 27
OOTDiffusion:开源AI虚拟试衣工具,智能适配性别和体型自动调整衣物
|
18天前
|
人工智能 自然语言处理 算法
具身智能高校实训解决方案 ----从AI大模型+机器人到通用具身智能
在具身智能的发展历程中,AI 大模型的出现成为了关键的推动力量。高校作为培养未来科技人才的摇篮,需要紧跟这一前沿趋势,开展具身智能实训课程。通过将 AI 大模型与具备 3D 视觉的机器人相结合,为学生搭建一个实践平台。
172 64
|
6天前
|
机器学习/深度学习 Web App开发 人工智能
Amurex:开源AI会议助手,提供实时建议、智能摘要、快速回顾关键信息
Amurex是一款开源的AI会议助手,提供实时建议、智能摘要、快速回顾关键信息等功能,帮助用户提升会议效率。本文将详细介绍Amurex的功能、技术原理以及如何运行和使用该工具。
59 18
Amurex:开源AI会议助手,提供实时建议、智能摘要、快速回顾关键信息
|
5天前
|
人工智能 自然语言处理 前端开发
Director:构建视频智能体的 AI 框架,用自然语言执行搜索、编辑、合成和生成等复杂视频任务
Director 是一个构建视频智能体的 AI 框架,用户可以通过自然语言命令执行复杂的视频任务,如搜索、编辑、合成和生成视频内容。该框架基于 VideoDB 的“视频即数据”基础设施,集成了多个预构建的视频代理和 AI API,支持高度定制化,适用于开发者和创作者。
57 9
Director:构建视频智能体的 AI 框架,用自然语言执行搜索、编辑、合成和生成等复杂视频任务
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
MMAudio:开源 AI 音频合成项目,根据视频或文本生成同步的音频
MMAudio 是一个基于多模态联合训练的高质量 AI 音频合成项目,能够根据视频内容或文本描述生成同步的音频。该项目适用于影视制作、游戏开发、虚拟现实等多种场景,提升用户体验。
36 7
MMAudio:开源 AI 音频合成项目,根据视频或文本生成同步的音频
|
12天前
|
机器学习/深度学习 存储 人工智能
EfficientTAM:Meta AI推出的视频对象分割和跟踪模型
EfficientTAM是Meta AI推出的轻量级视频对象分割和跟踪模型,旨在解决SAM 2模型在移动设备上部署时的高计算复杂度问题。该模型采用非层次化Vision Transformer(ViT)作为图像编码器,并引入高效记忆模块,以降低计算复杂度,同时保持高质量的分割结果。EfficientTAM在多个视频分割基准测试中表现出与SAM 2相当的性能,具有更快的处理速度和更少的参数,特别适用于移动设备上的视频对象分割应用。
30 9
EfficientTAM:Meta AI推出的视频对象分割和跟踪模型
|
24天前
|
人工智能 物联网 Shell
今日 AI 开源|共 12 项|开源的DIY健康追踪项目,基于低成本的智能戒指构建私人的健康监测应用
本文介绍了多个开源项目,涵盖了从量子计算错误纠正到视频生成和编辑的广泛应用领域。这些项目展示了AI技术在不同领域的创新和应用潜力。
142 10
今日 AI 开源|共 12 项|开源的DIY健康追踪项目,基于低成本的智能戒指构建私人的健康监测应用
|
22天前
|
人工智能 自然语言处理 前端开发
VideoChat:高效学习新神器!一键解读音视频内容,结合 AI 生成总结内容、思维导图和智能问答
VideoChat 是一款智能音视频内容解读助手,支持批量上传音视频文件并自动转录为文字。通过 AI 技术,它能快速生成内容总结、详细解读和思维导图,并提供智能对话功能,帮助用户更高效地理解和分析音视频内容。
87 6
VideoChat:高效学习新神器!一键解读音视频内容,结合 AI 生成总结内容、思维导图和智能问答
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
LTX Video:Lightricks推出的开源AI视频生成模型
LTX Video是由Lightricks推出的开源AI视频生成模型,能够在4秒内生成5秒的高质量视频。该模型基于2亿参数的DiT架构,确保帧间平滑运动和结构一致性,支持长视频制作,适用于多种场景,如游戏图形升级和电子商务广告变体制作。
73 1
LTX Video:Lightricks推出的开源AI视频生成模型

热门文章

最新文章