开发者学堂课程【视频云技术入门-1024程序员节创造营公益课：智能媒体处理使用与原理（一）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/902/detail/14336
智能媒体处理使用与原理（一）
目录
一、概念
二、视频内容理解
三、音视频智能处理
四、MPS 服务介绍
一、概念
1、智能生产全链路（媒体 AL 加速媒体生产）
采集●绿幕抠图●智能擦除●超分●SDR 转 HDR
编辑●智能横转竖●智能提取封面●智能字幕●智能拆条
存储●智能标签●内容安全审核●智能技检●知识图谱
管理●多模态搜索●人物搜索●素材搜索●版权水印
分发●音视频 DNA●湖源水印●直播审核●存证上链
2、视频 Al 的原理
机器学习 例如决策树 支持向量机 随机森林 人工神经网络 遗传算法
更深更大
解决图像输入问题
AL 是大数据喂出来的云和 A L 是天然的结合
3如何评价 AI 效果
典型分类问题的例子:在100个视频中找出出现过人的视频
●精度:假设找出50个,其中40个是真正有人的，那么精度=0.8
●召回率:假设100个视频中真正有人的一共有80个，找出的视频中真正有人的是40个,那么召回率=0.5
精度和召回率是一对矛盾
换句话来说，现阶段 AL 还做不到完美，AL 还只能辅助视频生产，生产视频的主体还是人。
Al 如何辅助生产
示例1：
通过图片搜索所有相关视频
示例2：
智能如何辅助生产
二、视频内容理解
1视频标签
正向的视频内容理解，基于海量视频数据的深度学习，自动提取视频中的标签，关键词等信息
视频包括视频抽帧和提取音频
视频抽帧有人脸识别 场景识别 物体识别 地标识别 OCR等——视频标签
提取音频 ASR NLP——文本标签
2视频审核
负向的视频内容理解，基于海量视频数据的深度学习，帮助开发者识别内容安全风险
场景名称 |
描述 |
检测结果分类 |
智能鉴黄 |
检测是否包含色情、性感内容。 |
正常、色情.性感 |
暴恐涉政 |
检测是否包含暴恐或涉政类内容。 |
正常、血腥、爆炸烟光、特殊装東.特殊标识、武器涉政、打斗.聚众.游行、车祸现场、旗帜、地标 |
违规 |
检测是否包含广告和文字违规信息。 |
正常、文字含涉政内容、文字含涉黄内容、文字含辱骂内容、文字含暴恐内容、 文字含违禁内容、文字含其他垃圾内容、牛皮癣广告、含维码、含小程序码、其他广告 |
二维码 |
检测是否包含二维码或小程序码 |
正常、含二维码、含小程序码 |
不良场景 |
检测是否包含黑屏、黑边、昏暗画面、画中画、吸烟、等不良场景。 |
正常、无内容(例如黑屏、白屏) .画中画、吸烟、车内直播播 |
logo |
检测是否包含logo信息，例如台标,商标等。 |
正常、含受管控的 logo.含商标
|
3、视频检索
智能标签的核心应用场景;如何搭建视频检索系统?
媒资系统导入媒资视频媒资特征入库模块，然后提交标签分析入 MPS 智能标签分析，提交 DNA 分析入 MPS 视频 DNA 检索，分析结果入库，包含：标签 标描 ASR 检索入 EIasticSearch
十年多稳态检测——检索业务层模块——结果精排模块
这个是多模态检索系统
