智能媒体管理(IMM)视频分析中明星识别介绍

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
文件存储 NAS,50GB 3个月
简介: 智能媒体管理已经支持了视频分析功能,用户可以方便的使用该功能对存储在oss上的视频进行全面的分析。本文主要介绍利用智能媒体管理的视频分析功能来提取视频中的明星信息。 智能媒体管理的视频分析包含了明星识别功能,可以帮助用户抽取出视频中出现的明星信息。

一、导语

        智能媒体管理已经支持了视频分析功能,用户可以方便的使用该功能对存储在oss上的视频进行全面的分析。本文主要介绍利用智能媒体管理的视频分析功能来提取视频中的明星信息。

二、功能介绍

        智能媒体管理的视频分析包含了明星识别功能,可以帮助用户抽取出视频中出现的明星信息。包括明星出现的时间戳,明星脸出现的位置,以及明星的名字及可信度。视频中明星识别不仅仅是对每一张图片中的明星进行识别,还进行了后续的分析处理,提高识别的准确率。

三、 功能实现

        基于智能媒体管理的视频功能,可以方便的对存储在oss上的视频进行分析、提取元信息。视频分析功能可以通过配置不同的分析器进行不同内容的分析。下面详细介绍如何利用智能媒体管理的视频分析功能来抽取视频中的明星信息。

        首先需要有阿里云的账号,并且开通IMM(智能媒体管理)功能,关于账号和开通IMM的功能请参考相关文章

        创建一个 AllMedia 类型的 project,可以使用SDK或者在控制台创建。通过工单提出需要分析的类型,我们会配置好需要的功能。

        然后需要为改 Project 的使用的 ServiceRole 添加 AliyunIMMFullAccess 权限,添加方法请参考 RAM 相关文档。完成之后就可以提交视频进行分析。具体提交请参考 IMM 相关文档。等待视频分析完成就可以拿到明星的结果了。

四、效果展示

        如果使用了task模式分析视频,视频结果会记录在用户提供的oss目录内,是json格式的结构化数据,用户可以根据需要选取需要的信息。为了方便展示,IMM提供了一套展示功能,用户可以直接点击该链接浏览。效果如下:

        这里是一个应用展示,左侧是视频播放,右侧的人物是识别出的明星,点击某个明星的图像,在上面的时间条里面显示了该明星出现的时间戳信息,根据不同的置信度显示不同的颜色,绿色分值最高,将鼠标放在时间条上会显示时间戳和置信度信息。

        分析结果的主要结构如下:

{
  "Frames": [
    {
      "SourcePosition": "00000024.000",
      "ImageUri": "oss://drive-site/demo/hkdemo/data/Gongshoudao/imgs/24.000.jpg",
      "Celebritys": [
        {
          "CelebrityName": "马云",
          "CelebrityLibraryName": "Stars",
          "CelebrityConfidence": 0.9184891,
          "CelebrityBoundary": {
            "Width": 173,
            "Height": 222,
            "Left": 512,
            "Top": 440
          }
        }
      ]
    }
  ],
  "Meta": {
    "Width": 1280,
    "Height": 720,
    "Duration": 1343.042167,
    "Size": 167386498,
    "Frames": 32233
  }
}

        这里只显示了一帧的信息,除了明星还是可以识别政治人物和敏感人物等信息。

        明星信息可以在多种领域应用,视频分割、精彩剪辑、广告植入、推荐服务、隐私保护以及其他一些领域。

五、说明

       目前还是在公测阶段,AllMedia 类型的 project暂时无法创建出来,可以先创建一个其他类型的 Project,然后通过我们修改成 AllMedia 类型,后面正式上线之后会放开。

相关文章
|
存储 数据挖掘 API
利用智能媒体管理(IMM) 搭建云相册指南
- 为用户创建智能云相册 - 支持人脸检测,获取包括人脸位置、表情、年龄等信息 - 支持人脸分组,可以根据人物搜索、展示照片 - 支持照片标签检测,可以根据标签对照片进行分类 - 支持地理位置检测,获取照片拍摄的具体位置、时间,并且可以进行搜索
1113 0
|
开发工具 对象存储 UED
IMM支持视频截帧和生成雪碧图功能
智能媒体管理已经支持了视频截帧和雪碧图生成功能,可以方便的在一次请求完成视频首帧、封面、雪碧图生成工作。
1122 0
IMM支持视频截帧和生成雪碧图功能
|
存储 计算机视觉 对象存储
智能媒体管理(IMM)视频分析在在线教育行业中的应用
智能媒体管理已经支持了视频分析功能,用户可以方便的使用该功能对存储在oss上的视频进行全面的分析。本文主要介绍利用智能媒体管理的视频分析功能来评估在线教育视频的质量。 智能媒体管理的视频分析包含了多种分析功能,针对在线教育行业,主要利用了人脸、内容理解以及语音转文字的功能。
1955 0
|
存储 定位技术 API
智能媒体管理(IMM) 多媒体文件元数据管理设计
## 简介 随着存储团队的产品愈加丰富,我们发现处理对文件、内容本身的高性能、稳定、安全存储之外,用户更多的对挖掘存储内容对价值提出了要求。对于多媒体文件(如图片、视频、音频、文档等),其包含的信息量是非常丰富的。如何将这些信息激活,有效的进行管理和检索,是 智能媒体管理(IMM) 尝试解决的问题。 ## 媒体集 Set 为此,IMM 设计了 媒体集 ( Set ) 的概念,表示
2383 0
|
搜索推荐 对象存储 Python
使用智能媒体管理(IMM)快速搭建人脸搜索服务
在服务构建中,我们经常需要对用户的图片做进一步分析。本文利用 智能媒体管理(IMM) 提供的图片索引功能,快速搭建一个人脸搜索的功能,示例使用 Python 2.7 实现。
2191 0
|
消息中间件 API Python
IMM 服务(智能媒体管理)通过 MNS 队列通知获取异步任务执行结果--Python示例
IMM服务(智能媒体管理)的 API 提供异步接口能力,处理大文件的文档转码、图像或者视频的 AI 处理,此时采用轮训的方式(比如文档转码的 GetOfficeConversionTask接口)效率不高,通过 MNS 队列通知获取异步任务执行结果是一种高效的方式,转载文章提供了 Python 示例,供大家参考。
1684 0
|
Web App开发 API
智能媒体管理(IMM)文档转换/预览提供 API 按量计费模式
智能媒体管理 (Intelligent Media Management, IMM) 是阿里云的云服务,它通过 文档标准型 实例提供了 Cloud Native 架构的文档转换/预览功能 ,本文介绍 API 按量计费模式的配置。
3273 0
|
开发工具 Python
【转载】智能媒体管理(IMM) Python SDK DEMO
本文针对智能媒体管理的文档转码、图片内容识别、人脸检测、二维码识别、人脸聚类等功能,提供了 Python 的 SDK 使用 DEMO,希望通过这些实例能够尽快帮助使用文档、图片的智能管理能力。
1629 0
|
JSON 开发工具 对象存储
智能媒体管理(IMM) Python SDK DEMO
SDK For Python 本文以Python为示例 安装 Python 环境 IMM Service 的Python SDK目前只支持 Python 2.6.x, 2.7.x。 请按以下步骤安装Python: 下载并安装最新的 Python 2 安装包。
2077 0

相关产品

  • 智能媒体管理