不用看就能懂,快速理解海量视频内容

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
函数计算FC,每月15万CU 3个月
简介: 想要快速理解海量视频内容?借助视频视觉理解技术,您可以轻松实现视频内容的自动化分析和信息提取。这项AI技术不仅大幅提升了工作效率,还为开发者提供了更多创意和应用的可能性。
  • 视频太长,没时间看完?想要快速获取文字摘要以提高信息获取效率?
  • “生肉”视频没有字幕,难以理解?希望更好地掌握视频内容?
  • 视频太多,难以管理?想要快速分类并加上精准标签?
  • 想根据游戏视频实时分析玩家行为,实现精准解析?


现在,这一切都迎刃而解!借助视频视觉理解技术,您可以轻松实现视频内容的自动化分析和信息提取。这项AI技术不仅大幅提升了工作效率,还为开发者提供了更多创意和应用的可能性。


通过下图展示的1928年阿姆斯特丹奥运会的实际案例,您可以直观感受到AI在处理视频内容方面的高效与精准。无论是自动摘要、字幕生成、内容分类还是行为分析,视频视觉理解都能为您带来前所未有的便利和创新体验。


image.png


1.技术架构

本文介绍的视频内容提取主要使用了以下三种基础设施和云服务,函数计算 FC 函数、对象存储 OSS Bucket和百炼模型服务。其中函数计算 FC 函数用于提取视频关键帧和调用百炼模型服务 API,进行视频信息提取。对象存储 OSS Bucket用于存储视频关键帧图片。百炼模型服务用于调用API使用视觉模型和文本模型最终实现视频理解与内容提取。


在视频理解与内容提取的流程中,会先使用计算资源(本方案使用的函数计算)构建的 Web 服务来接收用户的请求,在函数计算内部将视频关键帧图片上传到对象存储 OSS 中,然后将关键帧图片地址和提示词发送至百炼模型服务,由视觉模型处理后,再次调用文本模型处理,最终将结果呈现出来。


下图展示了完整的技术架构,视频上传后即可一键获得精炼版文字内容。


image.png


2.体验部署

2.1前置准备

在开始体验之前,准备阿里云账号并开通百炼模型服务、创建对象存储OSS。(别忘记领取免费试用资源哦!)


  • 开通百炼模型服务

1. 开通百炼:前往百炼控制台[1],如果页面顶部显示以下消息,您需要开通百炼的模型服务,以获得免费额度。如果未显示该消息,则表示您已经开通。


image.png

  1. 获取API Key:在控制台的右上角选择API-KEY,然后创建API Key,用于通过API调用大模型。


image.png

  • 创建对象存储OSS

接下来创建1个对象存储OSS Bucket,用于存放静态资源。

1. 登录OSS管理控制台[2]。

2. 在左侧导航栏,选择Bucket列表。

3. 在Bucket列表页面,单击创建Bucket

4. 在创建Bucket面板,按照下表信息进行配置,然后单击完成创建

image.png

2.2部署启动

前往部署[3]打开我们提供的函数计算应用模板,参考下表进行参数配置,然后单击创建并部署默认环境


image.png

2.3应用体验

1)完成上述步骤后,可以在环境详情环境信息中找到示例网站的访问域名。点击访问域名,即可打开示例应用。


image.png

image.png

2)点击提取信息,使用默认填写的关键词,模型会根据给出的关键词提取出对应的信息。


image.png

3)提取结果展示如下:

image.png


参考链接:

参考一

参考二

参考三





来源  |  阿里云开发者公众号


相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
9天前
|
调度 云计算 芯片
云超算技术跃进,阿里云牵头制定我国首个云超算国家标准
近日,由阿里云联合中国电子技术标准化研究院主导制定的首个云超算国家标准已完成报批,不久后将正式批准发布。标准规定了云超算服务涉及的云计算基础资源、资源管理、运行和调度等方面的技术要求,为云超算服务产品的设计、实现、应用和选型提供指导,为云超算在HPC应用和用户的大范围采用奠定了基础。
179604 21
|
1天前
|
弹性计算 人工智能 安全
对话 | ECS如何构筑企业上云的第一道安全防线
随着中小企业加速上云,数据泄露、网络攻击等安全威胁日益严重。阿里云推出深度访谈栏目,汇聚产品技术专家,探讨云上安全问题及应对策略。首期节目聚焦ECS安全性,提出三道防线:数据安全、网络安全和身份认证与权限管理,确保用户在云端的数据主权和业务稳定。此外,阿里云还推出了“ECS 99套餐”,以高性价比提供全面的安全保障,帮助中小企业安全上云。
对话 | ECS如何构筑企业上云的第一道安全防线
|
18天前
|
人工智能 自然语言处理 前端开发
从0开始打造一款APP:前端+搭建本机服务,定制暖冬卫衣先到先得
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。
9519 25
|
4天前
|
机器学习/深度学习 分布式计算 供应链
阿里云先知安全沙龙(上海站) ——大模型基础设施安全攻防
大模型基础设施的安全攻防体系涵盖恶意输入防御和基础设施安全,包括框架、三方库、插件、平台、模型和系统安全。关键漏洞如CVE-2023-6019(Ray框架命令注入)、CVE-2024-5480(PyTorch分布式RPC)及llama.cpp中的多个漏洞,强调了代码安全性的重要性。模型文件安全方面,需防范pickle反序列化等风险,建议使用Safetensors格式。相关实践包括构建供应链漏洞库、智能化漏洞分析和深度检测,确保全方位防护。
|
6天前
|
JSON 分布式计算 数据处理
加速数据处理与AI开发的利器:阿里云MaxFrame实验评测
随着数据量的爆炸式增长,传统数据分析方法逐渐显现出局限性。Python作为数据科学领域的主流语言,因其简洁易用和丰富的库支持备受青睐。阿里云推出的MaxFrame是一个专为Python开发者设计的分布式计算框架,旨在充分利用MaxCompute的强大能力,提供高效、灵活且易于使用的工具,应对大规模数据处理需求。MaxFrame不仅继承了Pandas等流行数据处理库的友好接口,还通过集成先进的分布式计算技术,显著提升了数据处理的速度和效率。
|
22天前
|
Cloud Native Apache 流计算
资料合集|Flink Forward Asia 2024 上海站
Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。
5159 15
资料合集|Flink Forward Asia 2024 上海站
|
1月前
|
人工智能 自动驾驶 大数据
预告 | 阿里云邀您参加2024中国生成式AI大会上海站,马上报名
大会以“智能跃进 创造无限”为主题,设置主会场峰会、分会场研讨会及展览区,聚焦大模型、AI Infra等热点议题。阿里云智算集群产品解决方案负责人丛培岩将出席并发表《高性能智算集群设计思考与实践》主题演讲。观众报名现已开放。
|
14天前
|
Docker 容器
|
2天前
|
机器学习/深度学习 人工智能 安全
通义视觉推理大模型QVQ-72B-preview重磅上线
Qwen团队推出了新成员QVQ-72B-preview,这是一个专注于提升视觉推理能力的实验性研究模型。提升了视觉表示的效率和准确性。它在多模态评测集如MMMU、MathVista和MathVision上表现出色,尤其在数学推理任务中取得了显著进步。尽管如此,该模型仍存在一些局限性,仍在学习和完善中。
|
17天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
1324 76