开发者学堂课程【视频云技术入门-1024程序员节创造营公益课:视频 AI 与智能生产(一)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/902/detail/14334
视频 AI 与智能生产(一)
目录:
一、 AI 激活数值媒体的沉默资产
二、 高频率智能审核解决方案
三、视频理解算法架构的发展趋势
四、视频字幕—Video OCR
五、多模态搜索-视频内容搜索
六、视频生产—赛事分析
七、如何提升生产力
八、核心能力-媒资管理
九、核心能力-智能处理
十、核心能力-模板工厂
十一、行业案例—数字教育
一、 AI 激活数值媒体的沉默资产
●视频结构化-“丰富准确的视频详情页"
●多模态搜索“细粒度的视频内容搜索*
●视频辅助生产-“场景化娱乐化的 AGC 视频生产”
二、 高频率智能审核解决方案
场景概述
●审核场景:
对直播画面的涉黄、暴恐涉政、广告、不良场景四大维度进行审核。
●高频截帧:
对于内容风险高的业务如核心主播或交友等类型,采用高频截帧方案,截帧频率为秒~2秒,大幅度规避危险内容曝光的可能性。
● 关键帧截帧:
对于业务风险相对不高的业务如游戏直播或赛事直播,采用关键帧截帧方案,截帧频率为3秒,可做到优化成本
三、 视频理解算法架构的发展趋势
阶段一:图像算法结果后融合
MAP 40%+
阶段二:视频实体及镜头级别的理解
MAP 60%+
阶段三:实体时空关系推理的视频理解
1.如何解决算法性能进一步提高 MAP 80%+
2.如何用好模态实体、时空关系
3.如何面对精细化、定制化的频繁训练问题
四、视频字幕—Video OCR
1.语音与图像融合与改写
2.知识纠错与关键词注册
3.视频粒度的 ocr
五、多模态搜索-视频内容搜索
通过多模态内容技术,支持以文字搜视频、以图搜视频、以视频搜视频、以图搜图、以人名搜视频等多模检索功能,实现快速准确的内容检索定位。
应用场景:视频版权保护、媒资库内容制作场景媒资检索、短视频消费场景内容搜索