场景化封装,一站式使用,普惠AI集成 ——阿里云发布智能媒体管理产品

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000 次 1年
日志服务 SLS,月写入数据量 50GB 1个月
简介: 近日,阿里云发布了智能媒体管理(Intelligent Media Management)服务, 通过离线处理能力关联授权的云存储,提供便捷的海量多媒体数据一键分析,并通过该分析过程构建价值元数据,更好支撑内容检索。

一、导语

近日,阿里云发布了智能媒体管理(Intelligent Media Management)服务, 通过分布式计算处理能力关联授权的云存储,提供便捷的海量多媒体数据一键分析,并通过该分析过程构建价值元数据,更好支撑内容检索。

二、背景介绍

随着智能手机的普及、无人机的流行,业界产生了海量的图片、视频等多媒体数据;同时,网络也在飞速发展,特别是4G的推广,让这些数据的保存、分享发生了巨大的变化,从而也带来了媒体数据各行业的新趋势。我们亲身体验到通信方式从短信变成语音,浏览内容从文字变成图片、从JPG静态图片变成GIF动态图片、再到短视频;从去年开始,直播也火热起来,成为一种流行的时尚。这些迅速的变化趋势,反应了一个共同的特点,就是“交互的信息量越丰富、越实时,用户越容易被吸引,越会产生新的价值”。

行业趋势 | center

如图中所示行业,都在利用最新的人工智能(Artificial Intelligence, AI)技术产生新的价值,同时也引入新的需求:

  • 手机相册。它早已不是简单的图片备份,iOS通过AI构建人脸相册、场景标签、编辑应用,变成吸引客户的亮点,成为新的基线。
  • 视频监控。它不再只是记录取证工具,而是利用AI发展为智慧城市,变成了智慧的眼睛,要管理整个城市的交通信息。
  • 直播应用。个人分享已不仅仅是博客、微博的文本形式,更是转变为快速直观的视频模式,这背后需要更高、更快的直播内容理解、审核需求。

2.1 数据处理场景需求

对于图片分享社区应用场景,最基本的功能是提供备份、分享,但这并不能带来更多的价值。只有提供更多的图片处理能力,比如主体剪裁、人脸识别、滤镜功能、风格渲染、视频合成等数据处理功能,如下图所示。这些亮点将为使用者带来“生活不止眼前的苟且,还有依然在你身边的美好”回忆,从而让应用更具吸引力。

数据处理 | center

2.2 内容检索场景需求

如今的综艺节目非常火爆,例如跑男、极限挑战等,每期拍摄的素材量千倍于实际播出量;要在这海量素材中快速扫描、找到爆点,需要相当大的工作量,例如当前的人肉检索低效率方式需要处理几周的时间。如果能够基于AI分析语音、人物、场景得到结构化信息,并索引管理起来,支撑更好的检索,它将会大大的提高素材的处理效率。

同样,在线教育等领域,对于老师、演讲者的材料、语音、视频内容,如果能够提供快速的解析索引能力,那么它将给学习者提供便捷的专场内容描述、快速定位关键术语、演讲笔记同步提取等亮点。

内容检索 | center

三、客户痛点分析

要满足上述场景需求,当前应用架构设计时,需要选型不同数据处理功能的厂家(包括AI厂家)进行集成、或者自研开发,对于内容检索,还需要分析场景细节需求,引入数据库设计和开发。这都需要很好的技术能力,以及开发团队的支撑,并解决如下的痛点。

3.1 多厂家管理痛点

多厂家管理痛点 | center

图片应用将数据保存到云存储后,要选择不同厂家的AI分析能力,支撑业务和监管的需求。应用通常会在云服务器(Elastic Compute Service,ECS)上部署AI厂家的软件包,或者直接调用AI厂家提供的服务,但需要解决如下问题:

  • 接口不统一。因为存在多厂家的选型,需要考虑不同厂家接口的兼容性。
  • 资源浪费。同一张图片会被多次读取,甚至是传输到外部网络,浪费网络带宽,提高使用成本。
  • 无存量数据的低成本批量处理方案。采用厂商的同步处理价格高昂,需要提供存量数据的低成本批量处理方案,接受异步接口返回检测结果(比如针对存量的OSS桶里面的所有图片,进行批量鉴黄)。

3.2 复杂元数据管理痛点

元数据管理痛点 | center

智能网盘通过自己的用户鉴权服务允许客户登录,然后采用基础数据管理把图片、视频上传到云存储OSS中。为了提供人脸分组、标签分组等搜索功能,需要提供各类元数据管理,定义基于场景的表格式、处理数据库的异常,它将带来如下的开发难度:

  • 元数据表设计难度大。针对不同的元数据,需要分类设计各类表结构存储,有相当的技术门槛。
  • 多维度元数据管理有挑战。需要组合多种元数据,进行多维度查询处理,存在设计挑战。
  • 维护元数据的的一致性难题。解决这些元数据在异常场景下的异常处理,是系统级难题。

四、设计目标

解决痛点为目标 | center

通过上述的场景和痛点分析,智能媒体管理(IMM)服务提取了6个关键点作为设计目标:

  • 海量数据,支撑云存储上的海量数据处理。
  • 端云拉通,能够让端和云进行有效的协作。
  • 场景结合,基于场景构建元数据管理便于快速接入。
  • 一键处理,简化配置和使用、提高系统易用性。
  • 智能分析,引入业界领先的处理能力,特别是AI能力。
  • 标准统一,访问接口统一为阿里云的标准。

4.1 功能描述

功能设计 | center

对于云存储上的海量数据,通过授权访问的安全设计,让数据处理分析服务能够有权限访问数据,在此之上构建数据智能处理框架,该框架针对离线处理优化设计,同时支持实时处理能力。基于该处理框架,引入了业界领先的数据处理能力,包括各种AI能力。利用离线处理能力关联授权的云存储,可以提供便捷的存量数据一键分析,通过该分析过程构建价值元数据,支撑更好的内容检索。通过这样的设计,从而提供如下功能:

  • 普惠AI算法,提供丰富功能。人脸分组、图片打标、版权、鉴黄等能力。
  • 价值元数据,为客户带来新的增长点。整合价值元数据,提供智能分析搜索。
  • OFFICE文档处理,简化客户使用。提供典型的OFFICE文件格式转换,便于移动设备浏览办公文档。
  • 场景化、一键式处理,提高易用性。基于场景模版,结合实时、离线处理引擎,一键生成网盘关键元数据。

五、架构介绍

产品架构 | center

如图是IMM服务的架构依赖上下文,服务本身的架构分为2层:处理引擎、元数据索引。

5.1 架构依赖上下文

  • 对下依赖阿里云的对象存储、文件存储等服务,通过安全的机制访问里面存储的非结构化数据(例如图片、视频),提取价值信息。
  • 对上依赖场景理解,进行封装,支撑视频网盘、手机相册、社交图库、家庭监控等图片、视频应用场景,为它们产生新的价值。

5.2 处理引擎层

基于阿里云存储,就近构建计算框架,该框架支持批量异步处理、准实时同步处理,在一键关联云存储(例如,指定Bucket的目录前缀、指定Bucket的某个对象)后,实现快速的自动数据处理,通过整合业界领先的数据处理算法,处理引擎提供如下功能。

  • OFFICE文档格式转换。支持将OFFICE文档转换为JPG图片格式,从而更好的支持网盘的文档预览功能。
  • 大图处理。支持将超大的图片进行切割、缩放处理,友好的支撑相册、图库场景的精细看图功能。
  • 标签检测。通过人工智能技术,识别图片、视频中的物品标签,从而实现机器的制动打标,更好的支撑推荐应用。
  • 人脸检测。通过人工智能技术,识别图片、视频中的人脸,检测出人脸框,判断人脸姿势、年龄、性别等属性。

5.3 元数据索引层

基于处理引擎提供的功能,通过对场景的深入理解和梳理,IMM封装了场景的元数据设计,对外提供场景的元数据访问接口,简化场景应用的设计难度、无须关注元数据索引数据库的运维工作,目前支持如下的元数据索引。

  • 人脸分组索引。构建元数据集合,然后调用人脸分组的接口分析图片,把得到的元数据加入到该元数据集合中,从而可以得到该集合中相似的人脸。通过该索引,可以快速的支撑网盘的人脸相册、家庭监控的陌生人检测、甚至新零售的顾客管理等场景。
  • 标签分组索引。构建元数据集合,然后调用标签分组的索引接口分析图片,把得到的元数据加入到该元数据集合中,从而可以根据标签搜索图片。通过该索引,可以快速的支撑网盘的场景相册、家庭监控的宠物跟踪、甚至暴力、恐怖、色情图片等标签的搜索。

5.4 调度框架

调度框架 | cente

IMM的所有数据处理请求都在调度框架下执行,例如上述架构中提到的处理引擎层、元数据索引层请求,它由2部分组成:

  • 运行实例(Instance)。运行实例是运行指定数据处理功能的节点,例如运行图片打标功能的节点。它可以是虚拟机、或者Docker,能够采用预留类型、或者Spot竞价类型的实例,支持部署在阿里云的VPC(Virtual Private Cloud)环境,保证数据处理功能的安全性、隔离性。
  • 调度控制器(Schedule Controller)。调度控制器负责把IMM接收到的请求分发到指定功能的实例上,它支持接收同步、异步的请求,提供准实时、离线的调度。针对负载的变化,实现了实例资源池的弹性伸缩、故障处理、自动升级等能力。

当调度框架收到同步的请求时,例如DetectTag进行图片打标分析时。调度框架将会把请求分发到请求队列的Pipeline,然后根据后端实例的节点状态、负载情况快速转发请求,从而达到准实时调度的能力。为了保证请求的低时延,以及请求的成功率,通常选择预留的实例。

当调度框架收到异步的请求时,例如CreateTagJob指定OSS的桶、前缀进行批量的图片打标分析时。调度框架将会把请求放到调度器,调度器遍历OSS桶、前缀的对象,然后生成单个对象的数据处理请求并分发到多个请求队列中,再根据后端实例的节点状态、负载情况快速向多个实例转发请求,从而达到离线调度的能力。为了保证离线调度的成本,通常选择Spot类型的竞价实例。

通过上述调度控制和数据处理分离的架构,调度框架提供如下亮点:

  • 准实时、离线调度。针对离线处理性价比竞争力的优化设计下,也能提供准实时能力,实现数据处理的闭环。
  • 同步、异步请求。支撑一键式的异步处理需求同时,还提供了同步请求的灵活性。
  • 数据处理能力的安全性。利用VPC部署数据处理的实例,保证了资源的隔离、安全的屏蔽。

六、如何使用

IMM提供控制台操作和API接口,通过控制台快速的创建IMM的项目,然后体验IMM的数据处理功能。

6.1 控制台使用

控制台1 | center

登录阿里云控制台,执行如下操作:

  • 第一步,开通智能媒体管理服务。开通后,即可使用IMM提供的功能。
  • 第二步,创建项目。使用IMM必须要创建项目,它是IMM资源管理、计费的基本单元。

控制台2 | center

创建了项目,就可以体验IMM支持的功能:

  • 格式预览。支持OFFICE文档转换,并用图片方式预览。
  • 人脸检测。检测照片中的人脸,识别年龄、性别,眼部状态信息。
  • 图片打标。检测图片包含的标签信息,以及置信度值。

详细的控制台使用介绍,请参考 IMM 快速开始

6.2 API使用

6.2.1 IMM的API调用方法

调用IMM的API需要遵守阿里云的API规范,请参考 IMM API 调用,请您注意调用时的参数,特别是签名。

如下是IMM典型功能的API调用示例。

6.2.2 文件格式转换CreateFormatConvertJob

POST https://imm.cn-shanghai.aliyuncs.com?Action=CreateFormatConvertJob
&Project=test
&SrcUri="oss://bucket1/test.pptx"
&TgtType=jpg
&TgtUri="oss://bucket1/imm-format-convert-tgt/session123/"
&ExternalID=aaa

该功能接口的详细信息,请参考 CreateFormatConvertJob

6.2.3 图片打标DetectTag

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectTag
&Project=test
&SrcUri=["oss://bucket1/1.jpg"]

该功能接口的详细信息,请参考 DetectTag。

6.2.4 人脸检测DetectFace

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectFace
&Project=test
&SrcUri=["oss://bucket1/A.jpg"]

该功能接口的详细信息,请参考 DetectFace。

七、立即体验

现在产品已经在阿里云官网正式开始公测,点击这里 立即体验

八、后续规划

下一阶段,IMM将和OSS集成拉通:

  • 在OSS控制台集成IMM功能。实现OFFICE文档的预览,媒体对象的AI功能。
  • 在OSS提供存量数据的IMM处理对接。可以通过OSS的控制台,选择某个桶或者其目录,调用IMM的批量异步任务,例如批量鉴黄,从而享受高性价比、便捷的数据处理。
  • 在OSS的API中拉通。调用oss的x-oss-process处理引擎时,调用到IMM的API进行处理。

通过这样端的端的集成,从而让您在云上的管理更加易用。

九、相关文档

  1. 智能媒体管理产品文档转换/预览功能介绍(1)---Cloud Native架构篇
  2. 智能媒体管理产品文档转换/预览功能介绍(2)---转换原理篇
  3. 智能媒体管理产品文档转换/预览功能介绍(3)---前端预览篇
目录
相关文章
|
20天前
|
存储 人工智能 云计算
挑战杯专属支持资源|阿里云-AI大模型算力及实验资源丨云工开物
阿里云发起的“云工开物”高校支持计划,助力AI时代人才培养与科研创新。为“挑战杯”参赛选手提供专属算力资源、AI模型平台及学习训练资源,包括300元免费算力券、百炼大模型服务、PAI-ArtLab设计平台等,帮助学生快速掌握AI技能并构建优秀作品,推动产学研融合发展。访问链接领取资源:https://university.aliyun.com/action/tiaozhanbei。
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
当无人机遇上Agentic AI:新的应用场景及挑战
本文简介了Agentic AI与AI Agents的不同、Agentic无人机的概念、应用场景、以及所面临的挑战
114 5
当无人机遇上Agentic AI:新的应用场景及挑战
|
24天前
|
人工智能 物联网 vr&ar
阿里云与米兰设计周大赛达成战略合作,共启AI时代设计教育新篇章丨云工开物
阿里云与米兰设计周中国高校设计学科师生优秀作品展达成战略合作,推动AI技术与艺术设计融合。赛事收到来自1759所高校的27万件作品,累计65万件,参赛人数超120万。专项赛设5大赛项,吸引720多所院校参与,投稿超9700件。阿里云提供免费算力和AIGC工具支持,助力“AI+乡村振兴”等创新设计,推动文旅产业发展与教育数字化升级。
|
26天前
|
人工智能 JSON 测试技术
AI 驱动 API 研发提效:解析 Apipost 在 API 文档生成场景的全流程能力
随着AI和大模型技术发展,软件开发步入智能化时代。API研发作为核心环节,高效调试与文档编写至关重要。Apipost是国内领先的API协同工具,提供从API设计到性能测试的完整闭环,支持AI驱动的文档生成、Markdown润色及OpenAPI生成等功能,显著提升团队效率。其AI功能可一键补全参数描述、生成示例代码与响应样例,减少重复劳动,助力开发者专注于业务逻辑优化。无论是快速迭代还是大规模接口设计,Apipost都为高效协作提供了强大支持。
64 0
|
1月前
|
传感器 人工智能 自然语言处理
比亚迪座舱接入通义大模型,未来将联合打造更多AI智能座舱场景
比亚迪与阿里云深度合作,将通义大模型应用于智能座舱和营销服务。通过通义万相,腾势推出“AI壁纸”功能;借助通义星尘,实现“心理伴聊”等情感陪伴场景。阿里云Mobile-Agent智能体落地比亚迪座舱,支持复杂语音操作,如查询淘宝物流、订火车票等。该方案基于全视觉解决技术,具有强泛化能力,未来双方将持续拓展更多AI应用。
|
1月前
|
人工智能 监控 数据挖掘
6/14 上海,Apache Doris x 阿里云 SelectDB AI 主题线下 Meetup 正式开启报名!
6 月 14 日,由 Apache Doris 社区、飞轮科技、阿里云联合发起的湖仓数智融合、AI 洞见未来:Apache Doris x 阿里云 SelectDB 联合 Meetup 将在上海·汇付天下总部大楼正式开启,邀您一同探索 AI 与数据分析的融合实践!
241 76
|
1月前
|
人工智能 安全 测试技术
信条:阿里云AI攻防安全启示录
解读AI时代下的安全攻防新态势
1152 12
|
1月前
|
人工智能 Cloud Native 数据管理
邀您参加 KubeCon China 2025 分论坛 | 阿里云 AI 基础设施技术沙龙
KubeCon + CloudNativeCon China 2025 将于6月10-11日在香港合和酒店举办,由CNCF与Linux基金会联合主办。阿里云开发者将在大会上分享多个技术议题,涵盖AI模型分发、Argo工作流、Fluid数据管理等领域。大会前还有阿里云AI基础设施技术沙龙,聚焦AI基础设施及云原生技术实战经验。欢迎扫码报名参与!
277 64
|
1月前
|
SQL 存储 人工智能
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
Quick BI 5.5版本应运而生,围绕"AI赋能+全场景提效",助力企业加速释放数据价值。此次升级,不仅让复杂分析"开箱即用",更通过智能工具与场景化能力,助力企业实现从数据洞察到决策落地的全流程闭环。
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
|
2月前
|
存储 人工智能 Kubernetes
AI 场景深度优化!K8s 集群 OSSFS 2.0 存储卷全面升级,高效访问 OSS 数据
阿里云对象存储OSS是一款海量、安全、低成本、高可靠的云存储服务,是用户在云上存储的高性价比选择…

相关产品

  • 智能媒体管理