- 视频太长,没时间看完?想要快速获取文字摘要以提高信息获取效率?
- “生肉”视频没有字幕,难以理解?希望更好地掌握视频内容?
- 视频太多,难以管理?想要快速分类并加上精准标签?
- 想根据游戏视频实时分析玩家行为,实现精准解析?
现在,这一切都迎刃而解!借助视频视觉理解技术,您可以轻松实现视频内容的自动化分析和信息提取。这项AI技术不仅大幅提升了工作效率,还为开发者提供了更多创意和应用的可能性。
通过下图展示的1928年阿姆斯特丹奥运会的实际案例,您可以直观感受到AI在处理视频内容方面的高效与精准。无论是自动摘要、字幕生成、内容分类还是行为分析,视频视觉理解都能为您带来前所未有的便利和创新体验。
1.技术架构
本文介绍的视频内容提取主要使用了以下三种基础设施和云服务,函数计算 FC 函数、对象存储 OSS Bucket和百炼模型服务。其中函数计算 FC 函数用于提取视频关键帧和调用百炼模型服务 API,进行视频信息提取。对象存储 OSS Bucket用于存储视频关键帧图片。百炼模型服务用于调用API使用视觉模型和文本模型最终实现视频理解与内容提取。
在视频理解与内容提取的流程中,会先使用计算资源(本方案使用的函数计算)构建的 Web 服务来接收用户的请求,在函数计算内部将视频关键帧图片上传到对象存储 OSS 中,然后将关键帧图片地址和提示词发送至百炼模型服务,由视觉模型处理后,再次调用文本模型处理,最终将结果呈现出来。
下图展示了完整的技术架构,视频上传后即可一键获得精炼版文字内容。
2.体验部署
2.1前置准备
在开始体验之前,准备阿里云账号并开通百炼模型服务、创建对象存储OSS。(别忘记领取免费试用资源哦!)
- 开通百炼模型服务
1. 开通百炼:前往百炼控制台[1],如果页面顶部显示以下消息,您需要开通百炼的模型服务,以获得免费额度。如果未显示该消息,则表示您已经开通。
- 获取API Key:在控制台的右上角选择API-KEY,然后创建API Key,用于通过API调用大模型。
- 创建对象存储OSS
接下来创建1个对象存储OSS Bucket,用于存放静态资源。
1. 登录OSS管理控制台[2]。
2. 在左侧导航栏,选择Bucket列表。
3. 在Bucket列表页面,单击创建Bucket。
4. 在创建Bucket面板,按照下表信息进行配置,然后单击完成创建。
2.2部署启动
点击前往部署[3]打开我们提供的函数计算应用模板,参考下表进行参数配置,然后单击创建并部署默认环境。
2.3应用体验
1)完成上述步骤后,可以在环境详情的环境信息中找到示例网站的访问域名。点击访问域名,即可打开示例应用。
2)点击提取信息,使用默认填写的关键词,模型会根据给出的关键词提取出对应的信息。
3)提取结果展示如下:
参考链接:
来源 | 阿里云开发者公众号