EventBridge助力阿里云视觉智能开放平台AI智能存储实践

本文涉及的产品
对象存储 OSS,20GB 3个月
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
简介: 最佳实践丨阿里云视觉智能开放平台是基于很多技术实践经验积累的 AI 能力沉淀平台,一起来了解它如何借助 EventBridge 实现产品的 AI 智能存储吧!

本文作者:李建,阿里巴巴达摩院技术专家。

01 视觉智能开放平台(VIAPI)业务场景介绍

图片

阿里云视觉智能开放平台(简称 VIAPI),是基于之前很多技术实践经验积累的 AI 能力的沉淀平台。目前整个平台覆盖的行业非常广,比如城市大脑、数字营销、金融以及娱乐行业。面向的人群包含企业者、开发者和个人。整个平台类目有 14 种,包括人脸人体、目标检测、文字识别等。目前平台大约有200 个API。

图片

第一项能力是智能家居场景中的人车宠物检测。目前在网上购买到的IPC 的智能摄像机,比如老人摔倒检测,宠物移动检测,或安防中的外来入侵检测等,都属于该范围。

图片

第二项能力是图像分割(抠图)。比如证件照可以通过手机拍照再进行抠图来实现。除了抠图应用外,在视频分析课中也有较多应用。比如线上视频会议时,可以更换背景,换成海边或其他自己喜欢的背景,以上能力都是基于视频的分割实现。

图片

第三项能力是超分辨。可以对低分辨率的老旧照片进行超分辨输出,也可以对低分辨率的影视剧进行超分辨,获得更清晰的画质。

图片

第四项能力是OCR 。例如银行卡的卡号的识别,身份证的信息识别等均采用了OCR技术。在办公中,对于发票、通用人事的名片也可以应用OCR技术。

02 用户痛点解析

图片

客户在使用VIAPI时希望将自己多媒体文件直接上传到VIAPI,处理完成后,直接将结果推送给客户。

图片

但实际使用的技术方式如下:用户先需要下载十几个 SDK ,然后开发集成几十个、上百个API,并且在整个过程中还需要进行不断调试、修整代码,最终能跑通之后才会发布到线上。

除了使用VIAPI-SDK之外,还要接入OSS 。因为目前 CV的AI能力大部分基于视频或图像,所以对于文件的存储方面,我们官方支持的是OSS存储。

图片

在上述过程中,主要的用户痛点有三个方面。

1.编码方面:开发者在集成VIAPI和OSS的 SDK的过程中,Endpoint产品间比较容易混淆,请求的过程中需要做安全通信的签名,因为各种概念比较多,所以比较容易出错,出错多了还容易打消热情。

  1. 重复工作:整个接入工作每一个客户都是做的相同的事情,所以无论从API维度或用户维度来说,这都是重复性工作,应当被简化掉。
  2. 门槛高。技术人员虽然会写代码,但面对非常多的概念,第一次使用的上手成本也比较高。对于非技术人员,比如运营人员,当他也想使用 AI 能力,但是不会写代码,就无法使用这些AI能力。

03 解决方案和架构

图片

为了解决以上痛点,我们实现了一个简化版本的解决方案:

从用户角度考虑,是否有这么一种方式:用户上传之后,通过某种方式驱动主动从OSS获取信息再进行处理,处理完成后将结果推送给客户。将此前的VIAPI接入全部删去,OSS 的接入步骤也有选择性地摒弃,因此不需要直接使用SDK,也不需要开发写代码,只需要通过可视化方式完成整合,即可实现AI的使用。

图片

精简后的过程如上图所示,用户先通过可视化方式订阅一个主题(主题即为各个 API,比如某个具体的AI 能力)。然后上传文件(图像/视频)到OSS,通过数据驱动的方式,实现文件变更的感知以及数据处理,最终将结果推送给客户。

图片

具体的技术实践如上图所示。首先在控制台以可视化的操作方式进行订阅,然后上传图像到OSS,通过跨云账号的方式监听OSS文件变动,并通过SDK引擎根据订阅配置调用具体的AI能力,等算法产生结果后,将结果数据推送给租户。

图片

图片

以上过程存在两个基本难点:

1.跨云账号的数据监听和访问:“用户的OSS”、“VIAPI”可以理解为两个云账号,而两个云账号之间是隔离的,默认拒绝访问。因此想要实现上述过程,需要通过某种授权机制实现可信的访问。

  1. AI的结果如何发送给客户:客户期望的数据形式以及数据的接收目的地不确定,有的客户希望发送到钉钉,有的客户希望发送到HTTP,有的客户希望发送到RocketMQ。此外,客户对字段方面的要求也不尽相同,可能只需要一个字段,也可能需要多个字段。因此如何针对这类个性化需求灵活地进行数据清洗和回调是一个难点。

图片

EventBridge很好地解决了这些技术难点,从文件变动感知、事件通知、跨账号授权访问,到结果回调。此外,EventBridge还提供了安全的通信方式,以及事件溯源,从上传OSS到VIAPI的处理,再到结果的回调,数据具体发送到何处,都可以通过EventBridge进行追踪溯源。

图片

上图展示了一个示例:用户OSS文件上传定义了一个事件,该事件通过可视化的方式进行配置。这样,建立在跨账号授权的基础上,用户在上传到OSS时就可以同步通知到VIAPI。

图片

上图展示了当钉钉作为数据接收方式时,直接将图片发送到钉钉的效果。

图片

对于线上的业务,后端可能更希望将最终处理结果发送到RocketMQ,从而提升开发效率。上图展示的为直接发送到RocketMQ的配置。

图片

综上,整个架构实现如下:首先,用户在控制台配置订阅,然后上传到OSS,EventBridge会感知该过程,并将信息推送给用户,同时过程中获得了跨账号授权。SDK引擎会进行算法调用,最终结果回调EventBridge,EventBridge再通过多渠道将结果返回给用户。由于不同的客户之间账号授权信息要加密以及数据访问等都需要较高的安全机制来进行保障,因此我们做了一个SDK引擎来实现租户间的数据、授权的隔离,以及支持BYOK加解密。

图片

通过以上实践,我们沉淀出了AI智能存储产品,能够大幅提高工作效率,并且在数据安全方面做了较好的隔离。对于非技术人员,也实现了零代码的支持,最终结果可以发送到钉钉、邮箱等。

图片

我们借助EventBridge实现了VIAPI产品的AI智能存储产品,EventBridge对本次产品研发提供了非常大的支持,AI的使用也为客户带来更好的体验,深入实现了“拿来即用”以及AI 的“普惠”理念。

未来,我们会在品牌方和调用方面进行更多升级,提高技术效率,争取成为行业第一。

相关文章
|
15天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
1193 72
|
2月前
|
人工智能 Serverless
AI 大模型助力客户对话分析 ——实践操作
参与《AI大模型助力客户对话分析》项目,基于阿里云社区操作路书,从架构设计到部署测试,逐步学习并应用大模型进行AI质检。过程中虽有控制台跳转等小挑战,但整体体验流畅,展示了AI技术的便捷与魅力,以及阿里云平台的先进性和社区支持。最终实现的AI质检功能,能够有效提升企业客户服务质量与效率。
66 0
|
4天前
|
人工智能 自然语言处理 算法
主动式智能导购 AI 助手解决方案实践与测评
主动式智能导购 AI 助手解决方案实践与测评
|
5天前
|
人工智能 Serverless API
尽享红利,Serverless构建企业AI应用方案与实践
本次课程由阿里云云原生架构师计缘分享,主题为“尽享红利,Serverless构建企业AI应用方案与实践”。课程分为四个部分:1) Serverless技术价值,介绍其发展趋势及优势;2) Serverless函数计算与AI的结合,探讨两者融合的应用场景;3) Serverless函数计算AIGC应用方案,展示具体的技术实现和客户案例;4) 业务初期如何降低使用门槛,提供新用户权益和免费资源。通过这些内容,帮助企业和开发者快速构建高效、低成本的AI应用。
42 12
|
5天前
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
36 10
|
5天前
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
45 10
|
2天前
|
人工智能 Serverless 视频直播
活动实践 | AI智能体实时语音互动
AI智能体实时语音互动方案提供端到端的实时音频交互,用户通过终端SDK与云端AI智能体进行音频通话。AI智能体接收音频输入,依据预定义工作流处理并生成响应,通过ARTC网络推送结果。该方案支持灵活编排AI组件如语音转文字、大语言模型等,确保高可用、低延迟的通信体验。用户可轻松创建和管理智能体及实时工作流,实现高效对话,并可通过示例网站体验功能。
|
12天前
|
机器学习/深度学习 人工智能 监控
AI视频监控技术的核心优势与实践
AI视频监控技术结合了计算机视觉、深度学习和大数据分析,能够实时分析监控画面,识别异常行为和场景变化。其核心在于从“被动记录”转型为“主动识别”,提升监控效率并减少安全隐患。主要应用场景包括泳池管理、健身器械区域、人员密度预警和异常事件检测。系统架构支持多种摄像头设备,采用边缘计算和Docker部署,具备实时性、高准确率和扩展性等优势。未来将优化复杂场景适应性和实时计算负载,进一步提高系统性能。
|
14天前
|
人工智能 Cloud Native 调度
阿里云容器服务在AI智算场景的创新与实践
本文源自张凯在2024云栖大会的演讲,介绍了阿里云容器服务在AI智算领域的创新与实践。从2018年推出首个开源GPU容器共享调度方案至今,阿里云容器服务不断推进云原生AI的发展,包括增强GPU可观测性、实现多集群跨地域统一调度、优化大模型推理引擎部署、提供灵活的弹性伸缩策略等,旨在为客户提供高效、低成本的云原生AI解决方案。
|
19天前
|
人工智能
带上团队一起来做 AI 编程实践丨通义灵码联合TGO鲲鹏会开启 AI 大课
带上团队一起来做 AI 编程实践丨通义灵码联合TGO鲲鹏会开启 AI 大课