智能媒体处理使用与原理(二)|学习笔记

简介: 快速学习智能媒体处理使用与原理(二)

开发者学堂课程【视频云技术入门-1024程序员节创造营公益课:智能媒体处理使用与原理(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/902/detail/14336


智能媒体处理使用与原理(二)


三、音视频智能处理

1、绿幕抠图
传媒影视制作必备工具
输入:
1.蓝幕或绿幕视频,分辨率不超过4K

2.需要替换的背景图片
输出:
1.替换背景后的视频
典型应用场景:

●影视制作

●多人云会议

●元宇宙
抠图质量评价点:

●边缘溢色
●透明体反光

●运动模糊

●地面阴影

2横转竖

移动端分发必备工具

人工制作横转竖视频的难点
a 剪裁目标区域后,前后帧难以对齐
b 目标移动比较快的场景需要逐帧剪裁工作量巨大
c 需要专业剪辑软件和制作人员成本高,速度慢

智能横转竖的算法流程
镜头分割——主体选择——镜头追踪——路径平滑

其他视频智能处理能力

阿里云视频云目前提供的视频 AI 能力

的阿里云开发者训练
其他视频智能处理能力阿里云视频云目前提供的视频 AI 能力
ROI 提取●绿幕抠图●横转竖
智能擦除●去图标●去字幕
关键信息提炼●智能封面●视频摘要
结构化分析●字幕提取●PPT 拆条

3副歌识别

副歌-歌曲中的高潮片段,自动识别副歌加速推荐分发,提升点击转化率
歌曲——音乐段落检测——副歌段落提取——副歌段落精调——副歌片段

示例({"result": [{"start": 72.38,

"end": 102.38,

"title": "副歌"}

 }

}

4、节奏检测

识别音乐中的多层次的节奏点

应用场景包括视频制作:

如鬼畜视频和音乐推荐:帮助分类音乐

示例

{

"result: 'success" ,

"Beatlist":["0.46" ,"0.96" ,'1.45", ,"1.96". ,"2.46" ,2.99" ,"3.48","3.98","4.48","4.98" ,"5.47","5.96" ,"6.46"],"DownBeatlist":[

"0.46","2.46" ,"4.48" ,"6.46"]

}

5其他音频智能处理能力

●混音

●ASR (语音识别)

●TTS (语音合成)

 

四、MPS 服务介绍

1NPS 服务介绍

媒体处理

阿里云媒体处理(ApsaraVideo Media Processing,原 MTS)是-

多媒体数据处理服务。它经济。弹性和高可扩展的转换方法,将多媒

体数据转码成适合在全平台播放的格式。并基于海量数据深度学习,

对媒体的内容、文字语音、场凰多模志分析,实现智能审核。内容理

解、智能编机。

Input Media File——Output Media File (如横转竖)
Input Media File_——Output Analyzed Data (如智能标签)

输入媒体文件支持:●OSS 文件

●网络 URL 地址

如何调用 MPS 接口

开通 MPS 产品:https://www.aliyun.com/product/mts
使用 RAM 服务获取

AccessKey:https://ram.console.aliyun.com/manage/ak

仔细阅读 MPS API 文档:

https://help aliyun.com/document_detail/29210.html
选择编程语言,安装依赖模块,可参考:

https://help.aliyun.com/document_detail/188024.html .

5.编写代码

相关文章
|
人工智能 边缘计算 监控
【开源视频联动物联网平台】视频AI智能分析部署方式
【开源视频联动物联网平台】视频AI智能分析部署方式
1157 3
|
机器学习/深度学习 人工智能 小程序
智能媒体处理使用与原理(一)|学习笔记
快速学习智能媒体处理使用与原理(一)
559 0
智能媒体处理使用与原理(一)|学习笔记
|
人工智能
智能媒体处理使用技巧
智能AI与视频制作
444 0
|
机器学习/深度学习 人工智能 语音技术
视频AI,助力体育赛事转播走进智能时代
2018俄罗斯世界杯经过近20天的激战,已经进入到最关键的阶段。本次赛事除了精彩纷呈的比赛之外,还加入很多高科技的元素,例如门线、VAR技术等等。让本届世界杯成为科技含量最高的一届世界杯。
3336 0
|
算法 网络安全 数据安全/隐私保护
【密码学】手摸手带你手算AES
本文带着大家手动计算了一下完整的简化版AES的整个流程,其实主要都参考了密码学与网络安全这本书,大部分的公式都是从这本书上来的,我是真的喜欢这个例子,麻雀虽小,五脏俱全,用来学习AES的入门感觉非常的合适,如果能够完整的自己手算下来这个例子,然后再去看完整版的AES算法,会简单非常多,主要就是规模扩大了一下,核心的流程还是上面这一套。最后,感谢能看到这里的读者,如果本文对大佬们理解AES有一点点的帮助,也不枉我手动敲了这么多的公式和矩阵了。
1747 0
【密码学】手摸手带你手算AES
|
Web App开发 监控 安全
OSS客户端签名直传实践:Web端安全上传TB级文件方案(含STS临时授权)
本文深入解析了客户端直传技术,涵盖架构设计、安全机制、性能优化等方面。通过STS临时凭证与分片上传实现高效安全的文件传输,显著降低服务端负载与上传耗时,提升系统稳定性与用户体验。
|
8月前
|
机器学习/深度学习 人工智能 搜索推荐
当 AI 走进诊室:医疗革命的下半场,智能如何重塑生命守护?
从达芬奇手术机器人精准操作到 AI3 秒识别医学影像病灶,从虚拟医生 24 小时在线问诊到新药研发周期缩短 50%,人工智能(AI)正以颠覆性力量,打破医疗行业的传统边界。
494 2
|
JSON 数据安全/隐私保护 数据格式
抖音主页截图生成器,抖音主页截图生成器在线制作,python版本分享
这个项目包含三个主要文件:main.py包含核心的图片生成逻辑,utils.py提供数据生成工具函数
|
11月前
|
敏捷开发 Dubbo Java
需求开发人日评估
本文介绍敏捷开发中工时评估的关键方法,以“人日”为单位,结合开发、自测、联调、测试及发布各阶段,提供常见需求的参考工时。涵盖单表操作、Excel导入导出、跨服务调用等场景,并给出天机学堂实际案例,助力团队科学规划迭代周期。(238字)
|
存储 Java 编译器
🔍深入Android底层,揭秘JVM与ART的奥秘,性能优化新视角!🔬
【7月更文挑战第28天】在Android开发中,掌握底层机制至关重要。从Dalvik到ART, Android通过采用AOT编译在应用安装时预编译字节码至机器码,显著提升了执行效率。ART还优化了垃圾回收,减少内存占用及停顿。为了优化性能,可减少DEX文件数量、优化代码结构利用内联等技术、合理管理内存避免泄漏,并使用ART提供的调试工具。
670 7

热门文章

最新文章