智能媒体处理使用与原理(二)|学习笔记

简介: 快速学习智能媒体处理使用与原理(二)

发者学堂课程【视频云技术入门-1024程序员节创造营公益课智能媒体处理使用与原理(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/902/detail/14336


智能媒体处理使用与原理(二)


三、音视频智能处理

1、绿幕抠图
传媒影视制作必备工具
输入:
1.蓝幕或绿幕视频,分辨率不超过4K

2.需要替换的背景图片
输出:
1.替换背景后的视频
典型应用场景:

●影视制作

●多人云会议

●元宇宙
抠图质量评价点:

●边缘溢色
●透明体反光

●运动模糊

●地面阴影

2横转竖

移动端分发必备工具

人工制作横转竖视频的难点
a 剪裁目标区域后,前后帧难以对齐
b 目标移动比较快的场景需要逐帧剪裁工作量巨大
c 需要专业剪辑软件和制作人员成本高,速度慢

智能横转竖的算法流程
镜头分割——主体选择——镜头追踪——路径平滑

其他视频智能处理能力

阿里云视频云目前提供的视频 AI 能力

的阿里云开发者训练
其他视频智能处理能力阿里云视频云目前提供的视频 AI 能力
ROI 提取●绿幕抠图●横转竖
智能擦除●去图标●去字幕
关键信息提炼●智能封面●视频摘要
结构化分析●字幕提取●PPT 拆条

3副歌识别

副歌-歌曲中的高潮片段,自动识别副歌加速推荐分发,提升点击转化率
歌曲——音乐段落检测——副歌段落提取——副歌段落精调——副歌片段

示例({"result": [{"start": 72.38,

"end": 102.38,

"title": "副歌"}

 }

}

4、节奏检测

识别音乐中的多层次的节奏点

应用场景包括视频制作:

如鬼畜视频音乐推荐:帮助分类音乐

示例

{

"result: 'success" ,

"Beatlist":["0.46" ,"0.96" ,'1.45", ,"1.96". ,"2.46" ,2.99" ,"3.48","3.98","4.48","4.98" ,"5.47","5.96" ,"6.46"],"DownBeatlist":[

"0.46","2.46" ,"4.48" ,"6.46"]

}

5其他音频智能处理能力

●混音

●ASR (语音识别)

●TTS (语音合成)

 

四、MPS 服务介绍

1NPS 服务介绍

媒体处理

阿里云媒体处理(ApsaraVideo Media Processing,原 MTS)是-

多媒体数据处理服务。它经济。弹性和高可扩展的转换方法,将多媒

体数据转码成适合在全平台播放的格式。并基于海量数据深度学习,

对媒体的内容、文字语音、场凰多模志分析,实现智能审核。内容理

解、智能编机。

Input Media File——Output Media File (如横转竖)
Input Media File_——Output Analyzed Data (如智能标签)

输入媒体文件支持:●OSS 文件

●网络 URL 地址

如何调用 MPS 接口

开通 MPS 产品:https://www.aliyun.com/product/mts
使用 RAM 服务获取

AccessKey:https://ram.console.aliyun.com/manage/ak

仔细阅读 MPS API 文档:

https://help aliyun.com/document_detail/29210.html
选择编程语言,安装依赖模块,可参考:

https://help.aliyun.com/document_detail/188024.html .

5.编写代码

目录
打赏
0
0
0
0
55
分享
相关文章
【开源视频联动物联网平台】视频AI智能分析部署方式
【开源视频联动物联网平台】视频AI智能分析部署方式
524 3
视频AI,助力体育赛事转播走进智能时代
2018俄罗斯世界杯经过近20天的激战,已经进入到最关键的阶段。本次赛事除了精彩纷呈的比赛之外,还加入很多高科技的元素,例如门线、VAR技术等等。让本届世界杯成为科技含量最高的一届世界杯。
2954 0
优化求解器之MPS文件的格式简介
在使用MindOpt优化求解器解决实际问题时,其中重要的一环在于如何建立优化模型,以及存储优化模型以便于作为求解器的输入文件。存储优化模型的文件,其关键在于定义一种清晰的格式,用来说明优化模型的数学结构和相关的数据。接下来我们将发布一系列文章,对常见的MPS/LP等格式的模型文件和命名规范进行简要的介绍。
优化求解器之MPS文件的格式简介
​MCP协议深度解析:原理、应用与物联网时代的机遇-优雅草卓伊凡
​MCP协议深度解析:原理、应用与物联网时代的机遇-优雅草卓伊凡
338 40
​MCP协议深度解析:原理、应用与物联网时代的机遇-优雅草卓伊凡
物联网技术在物流领域的应用会遇到哪些挑战?
物联网技术在物流领域的应用会遇到哪些挑战?
500 60
【技巧】如何在github主页放一条贪吃蛇
本文介绍了如何在GitHub主页上添加贪吃蛇动画,包括设置主页、生成提交记录动画和使用GitHub Action运行工作流程。通过详细步骤和截图演示,展示了从创建仓库到最终展示SVG动画的全过程,并提供了额外的个性化展示内容和相关文章推荐,旨在为读者带来乐趣并提升GitHub页面的趣味性。
288 0
【技巧】如何在github主页放一条贪吃蛇
数据结构基础详解(C语言): 树与二叉树的应用_哈夫曼树与哈夫曼曼编码_并查集_二叉排序树_平衡二叉树
本文详细介绍了树与二叉树的应用,涵盖哈夫曼树与哈夫曼编码、并查集以及二叉排序树等内容。首先讲解了哈夫曼树的构造方法及其在数据压缩中的应用;接着介绍了并查集的基本概念、存储结构及优化方法;随后探讨了二叉排序树的定义、查找、插入和删除操作;最后阐述了平衡二叉树的概念及其在保证树平衡状态下的插入和删除操作。通过本文,读者可以全面了解树与二叉树在实际问题中的应用技巧和优化策略。
248 2
Go语言map这么查询 才是高手风范
Go语言map这么查询 才是高手风范
384 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问