阿里云视频技术专家柿蒂:视频AI in传媒九大业务场景解析

简介: 人工智能视觉计算和视频融合在一起能摩擦出怎样的火花呢?柿蒂提到,如同下图所示,人工智能视觉计算可以支持直播、短视频、新闻、体育、影视等多种业务场景,可以实现目标检测识别识、片段侦测、事件识别、鉴黄涉恐、OCR等多种应用层面的功能。

近日,BIRTV 视觉人工智能峰会在北京国际饭店隆重举办。阿里云视频技术专家柿蒂受邀参加,围绕人工智能这一主题,在视觉计算与传媒领域的应用进行深度分享。

image
阿里云视频技术专家 柿蒂

人工智能在视频领域的应用

阿里云拥有强大的云计算能力与大数据计算引擎,因此,人工智能也就拥有了飞速发展的沃土。那人工智能视觉计算和视频融合在一起,又能摩擦出怎样的火花呢?柿蒂提到,如同下图所示,人工智能视觉计算可以支持直播、短视频、新闻、体育、影视等多种业务场景,可以实现目标检测识别识、片段侦测、事件识别、鉴黄涉恐、OCR等多种应用层面的功能。

image

从技术角度来讲,基于业界领先的人工智能技术,阿里云可对视频的内容、文字、语音、人脸、物体进行多维度分析理解,帮助视频类、资讯类等客户实现视频分类和打标签、视频指纹、相似性计算、视频安全审核、视频质量计算、自动生成封面图、视频切片化等能力。从而帮助客户提升用户留存和体验,同时提高数据处理能力,降低人工审核成本。

人工智能在视频领域的应用至少包括以下四个大方面:

1、 视频内容分析: 行业领先,基于阿里领先的人工智能技术,对视频进行语音、文字、人脸、物体、场景多维度分析,输出视频泛标签,提升搜索推荐效果。
2、 视频封面选图: 通过对视频内容的理解,并结合画面美学,选出最优的关键帧或关键片段作为视频封面图。
3、 视频指纹: 提取视频中的音频、图像及时序特征,生成视频指纹,通过视频指纹的比对,实现重复视频查找、视频片段的源视频查找等业务功能。可应用于视频去重、侵权视频过滤、原创视频保护等领域。
4、 视频内容审核: 基于深度学习技术和海量数据,智能识别色情、暴恐、广告、涉政等视频或图片,极大节省人工审计成本,降低违规风险。

传媒九大业务场景深入解读

传媒,是人工智能视觉计算的典型应用领域,下面,柿蒂选取了传媒的九大热门业务场景,分享了在每一个业务场景中的视觉计算是如何应用的。

image

业务场景一:自动内容审核

采用基于深度学习的图像分类方法,利用高召回+高精度的级联结构,同时采用人脸识别、OCR、ASR等技术,对音视频中的违禁内容进行审核。
侧重:UGC视频侧重鉴黄、涉暴等;PGC及台内存量视频侧重涉政。

image

业务场景二:视频摘要-自动关键帧

通过对视频进行结构化分析,对关键帧、视频镜头进行筛选和排序,选择最优的关键帧、关键片段来作为视频的展示。并采用关键帧提取+MMR优化+美学评分等方法,选择视频,用以形成视频摘要,方便用户浏览。
效果:人工评测原始与封面关键帧算法(仅评测可对比出优劣之分的数据):算法优,占比超过70%

image

业务场景三:自动拆条

多模态:视频特征、ASR、OCR、人脸、Motion等
可以应用在:

  • 新闻消息类节目的条目拆分(可播前进行,无须文稿)
  • 体育赛事的自动场记
  • 综艺类节目的曲目裁剪及精彩段落生成
  • PGC直播的快速集锦
  • 节目内容热点发现

业务场景四:语音处理

  • 语音转文本:新闻资讯/会议/影视剧制作
  • 语音对齐:将已有的口播稿按稿件句子自动识别时码,与稿件文本对齐
  • 实时字幕:直播或存量视频中,将语音内容转成文本并做实时字幕处理
  • 语音检索:检索节目或素材的语音内容
  • 新闻热线电话/客服:智能质检、智能问答
  • 自动拆条、视频、内容审核等:与视频相结合
  • 知名主持人、明星语音合成:增加互动体验

image

业务场景五:OCR

利用视频结构化分析和图片识别等技术关键点,进行OCR识别处理。
可以应用在:

  • 视频文本摘要的参考:新闻类视频
  • 台词提取及时码对齐:电影电视剧(可结合语音处理)
  • 演职员表

业务场景六:视频去重/检测/关联

利用视频指纹技术,判断两个视频是否是通过任意变换获取的同源视频,以及同源相似度。可以应用在:

  • UGC、PGC视频的去重
  • 广告检测
  • 短视频搜索
  • 基于视频内容的关联

image

业务场景七:视频分类、视频标签

视频分类是通过内容理解的方法对视频进行类目和标签预测;视频标签则是通过对视频中多模态信息进行分析,自动为视频进行标签标注,并利用图像分类技术、视频tagging技术、OCR、ASR、人脸识别、目标检测、行为识别等多模态技术分析,对视频进行自动标签化。

image

业务场景八:目标检测

  • 直播互动:主播手势交互、取代人工,由机器自动生成事件发生的时间点及事件类别
  • 物体动态锚点跟踪:支持用户对视频内容中的物体进行标记并跟踪。
  • 边看边买:在视频中匹配和搜索同款/相似/相关商品,为视频电商的边看边买提供自动选品技术,同时利用用户在淘宝、天猫的用户行为进行边看边买商品的个性化推荐。

image

业务场景九:体育分析

  • 视频打标:取代人工,由机器自动生成事件发生的时间点及事件类别
  • 集锦生成:根据打标信息自动生成比赛场景、球员集锦
  • 比赛转播:自动完成镜头切换、远近景切换,球员特写
  • 球员数据信息获取:跟踪球员轨迹、获取球员在全场比赛中的位置,跑动数据

在分享的最后,柿蒂将所有阿里云AI+视频的能力做了整体展示,他也表示,在未来,阿里云持续探究AI+视频技术,并且将更多优秀的能力开放给行业。

image

目录
相关文章
|
4月前
|
人工智能 API 数据安全/隐私保护
近期非常风靡非常逼真的AI视频内容由sora生成的视频是怎么回事?-优雅草卓伊凡
近期非常风靡非常逼真的AI视频内容由sora生成的视频是怎么回事?-优雅草卓伊凡
1069 12
近期非常风靡非常逼真的AI视频内容由sora生成的视频是怎么回事?-优雅草卓伊凡
|
6月前
|
人工智能 自然语言处理 数据可视化
AI视频培训|格律诗AI 视频创作与自媒体传播——某诗词学会
近日,TsingtaoAI派驻专家团队为某诗词学会学员交付《格律诗AI 视频创作与自媒体传播》培训。本课程精准切中行业痛点——传统诗词创作与现代传播方式的断层。课程摒弃泛泛而谈,直击实操:首日聚焦"工具认知+创作逻辑",系统梳理即梦、可灵等国产AI工具在格律诗意象可视化中的差异化应用,如将"月光在指尖碎裂"转化为动态场景;次日深入"语音表达+自媒体运营",传授用魔音工坊生成情感化配音、坤行数字人打造诗人形象的秘技,更结合抖音、小红书平台特性,解析"前5秒高光片段设计"等流量密码。
428 3
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
845 13
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
|
9月前
|
人工智能 自然语言处理 算法
AI智能混剪视频大模型开发方案:从文字到视频的自动化生成·优雅草卓伊凡
AI智能混剪视频大模型开发方案:从文字到视频的自动化生成·优雅草卓伊凡
1016 0
AI智能混剪视频大模型开发方案:从文字到视频的自动化生成·优雅草卓伊凡
|
5月前
|
人工智能 编解码 自然语言处理
重磅更新!ModelScope FlowBench 支持视频生成 + 图像编辑,AI创作全面升级!
很高兴地向大家宣布,ModelScope FlowBench 客户端迎来重大功能升级! 本次更新不仅正式支持了视频节点功能,还新增了图像编辑与IC-Light智能打光等实用功能,同时对多个图像处理节点进行了深度优化和扩展。现在,您只需在 FlowBench 中轻松串联节点,即可使用 Wan2.1/Wan2.2、Qwen-Image-Edit、FLUX Kontext、IC-Light等强大模型,轻松实现创意内容的生成与编辑。 无论你是内容创作者、视觉设计师,还是AI技术爱好者,这次更新都将为你打开全新的创作边界。
857 14
|
6月前
|
人工智能 自然语言处理 机器人
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
AI Compass前沿速览:Jetson Thor英伟达AI计算、Gemini 2.5 Flash Image、Youtu腾讯智能体框架、Wan2.2-S2V多模态视频生成、SpatialGen 3D场景生成模型
|
5月前
|
机器学习/深度学习 人工智能 编解码
AI Compass前沿速览:PixVerse V5、gpt-realtime、Grok Code Fast、HunyuanVideo、OmniHuman-1.5、字节WaverAI视频、MiniCPM 4.5等
AI Compass前沿速览:PixVerse V5、gpt-realtime、Grok Code Fast、HunyuanVideo、OmniHuman-1.5、字节WaverAI视频、MiniCPM 4.5等
AI Compass前沿速览:PixVerse V5、gpt-realtime、Grok Code Fast、HunyuanVideo、OmniHuman-1.5、字节WaverAI视频、MiniCPM 4.5等
|
8月前
|
机器学习/深度学习 人工智能 算法
通义OmniAudio大模型,让 AI 看懂 360° 视频,并“听”出对应的空间音频
OmniAudio 是一项突破性的空间音频生成技术,能够直接从 360° 视频生成 FOA(First-order Ambisonics)空间音频,为虚拟现实和沉浸式娱乐带来全新可能。通过自监督 coarse-to-fine 预训练和双分支视频表示微调,OmniAudio 在非空间音频质量和空间定位准确性上显著优于现有方法。项目包含超过 103,000 个视频片段的 Sphere360 数据集,支持高质量的模型训练与评估。代码、数据及论文均已开源,助力沉浸式体验技术发展。
1086 63
|
6月前
|
存储 人工智能 自然语言处理
让你拥有一个AI大脑,这个32.1k Github项目是你不错的选择,支持PDF、Markdown、代码、视频成为你的知识内容
Quivr 是开源全栈 RAG 平台,助你打造“第二大脑”,支持多文档类型与多种 LLM,实现智能搜索与聊天。具备语义检索、本地部署、隐私保护等功能,适用于个人知识管理与企业知识库,界面简洁易用,是高效智能问答的理想选择。
307 0
|
8月前
|
人工智能 移动开发 开发工具
H5录音、图文视频IndexDB储存最佳实践:用AI生成语音备忘录
随心记是一个由 AI 生成的网页备忘录,它支持语音录入(可下载)、图文视频记录。最重要的是,它支持离线使用,所有数据都储存在浏览器中,不依赖后端,刷新页面数据也不会丢失!
276 0
H5录音、图文视频IndexDB储存最佳实践:用AI生成语音备忘录

热门文章

最新文章

推荐镜像

更多
  • DNS