阿里云视觉AI应用创新赛开启——技术公开篇之AlibabaWood

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介:

移动互联网时代以来,人工智能(AI)技术不断发展和完善,不断展现出巨大的商业潜力,并开始在各行各业落地开花,其中计算机视觉AI技术发展最快应用最广。阿里云为响应国家“加快新型基础设施建设“的号召,以“无行业不AI“为主题,特此举办阿里云视觉AI应用创新赛,为行业应用及解决方案落地提供展示创意和想法的舞台。

本次大赛向全行业开发者用户开放,针对优秀人才、优秀作品提供百万现金奖池,为创业人才提供包括阿里巴巴资源对接与扶持、技术培训和上云指导以及导师帮助等与初创企业相关的综合服务。同时为协助本次赛事,阿里云将会与参赛者共享阿里内部视觉AI开发的实践经验,从技术,资金,资源三方面帮助企业实现场景落地。

image.png


本文将会通过解析AlibabaWood视频生产工具的算法来介绍视觉AI技术在新零售电商领域中的应用,为参赛人员开发视觉AI应用提供一种可行的思路。

AlibabaWOOD介绍

AlibabaWOOD是阿里云为了提升电商营销视频制作效率和质量而推出的工具。在电商平台,投放商品视频展示可以增加信息传播途径提升引流曝光,针对同一商品,是否投放视频展示对各关键指标影响非常大,如下图所示。

image.png
图1 单一商品图像款对比视频款


但传统的批量视频制作通常依赖于设计师提前制作的固定模板,且大批量生产的视频通常千篇一律,缺乏感染力。为了解决这一问题,AlibabaWOOD充分利用目前最先进的AI技术,抛弃了死板的视频模板,而是通过智能分析用户输入的音视频素材以及用户需求,一键生成符合投放场景的营销短视频,从分析、设计到最后的编码输出用时不超过一分钟,远远超过人类制作视频的速度。并且,得益于AI技术的应用,AlibabaWOOD可以做到视频风格和内容千人千面,无论是时尚风、科技风还是土味视频,AlibabaWOOD都可以从容应对。下图展示了AlibabaWOOD智能生成视频的核心流程,下一章节也会对其中的核心AI技术进行解析。

image.png
图2 AlibabaWOOD智能视频生成流程

AlibabaWOOD核心AI技术解析
素材解析能力

• 素材质量评估/理解:
AlibabaWood利用最新的深度学习技术以及线上海量的电商图像视频数据,自研了素材质量评估模型和素材内容理解模型,质量评估模型可以快速准确的滤除不适合制作视频的图像视频素材,保证输出视频的质量。而内容理解模型能够为智能编排模块提供全方位的素材标签,方便为素材精确匹配智能特效,如下图所示:

image.png


图3 素材质量评估

image.png


图4 素材标签示例

• 故事线生成:
作为智能编排核心技术,故事线生成模型充分利用素材标签以及美学和吸引力评分,结合影视行业规范等先验知识,可以针对不同类型的图像视频素材推荐不同的素材排序故事线,如下图所示。使得生成的视频运镜更加合理,并更具吸引力和感染力。

image.png


图5 故事线生成示例


• 视频摘要:
通过学习大量在线营销视频摘要模式,AlibabaWood适配不同视频类别的视频剪辑手法,能够对用户输入的视频素材进行镜头分割,并根据投放场景选择最佳视频片段进行剪辑。

image.png


图6 视频摘要示例

智能特效
• 音画联动:
视频节奏感可以提升观看视频的舒适性。通过智能分析音频节奏点和视频内容的视觉“节奏点”,然后通过视频插帧技术实现视频播放速率的非线性变换,从而实现音视频节奏点的完美匹配,使得视频中的人物能够随音乐舞动,极大的提升了视频内容的吸引力。
• 静转动:
为了增强静态素材主体内容的吸引力,AlibabaWood在自研图像分割能力的基础上推出静转动等智能特效,这一能力可以自动识别模特展示图像,然后对模特主体进行抠图,再对前景和背景内容加入滑动变焦效果,将静态图像转化为动态的视频内容,使得内容展示更加生动,并凸显主体信息。下一代静转动技术可以使得运镜效果更符合透视原理,并让图像中模特的肢体真正动起来。

image.png


图7 图像分割示例


• 转场等特效智能推荐:
AlibabaWood联合设计师打造了可以根据素材内容自动匹配的转场动画特效体系。使得生成的视频动效更加丰富、更加个性化,真正做到千人千面。部分效果展示如下。

image.png


图8 智能转场特效


阿里云视觉AI开发者创意应用赛向社会各界免费开放所有视觉AI技术接口,邀请全社会的企业打造属于自己的AlibabaWood。开发者可以任意使用达摩院的技术打磨自己的产品,或者将自己的产品在大赛中展出,作为主办方,阿里云将会为优秀的作品对接创业资源和孵化环境,更有总计近百万的奖金和奖品等你来拿。

体验地址https://vision.aliyun.com/experience
大赛平台https://developer.aliyun.com/ai/activity/viapi

相关文章
|
1天前
|
数据采集 人工智能 安全
阿里云携手DeepSeek,AI应用落地五折起!
近年来,人工智能技术飞速发展,越来越多的企业希望借助AI的力量实现数字化转型,提升效率和竞争力。然而,AI应用的开发和落地并非易事,企业往往面临着技术门槛高、成本投入大、落地效果难以保障等挑战。
25 1
|
4天前
|
存储 人工智能 Serverless
阿里云《AI 剧本生成与动画创作》技术解决方案测评
本问是对《AI 剧本生成与动画创作》的用心体验。结论不是特别理想,在实际使用中仍存在一些问题。
63 22
|
6天前
|
人工智能 前端开发 Serverless
阿里云《AI 剧本生成与动画创作》解决方案技术评测
随着人工智能技术的发展,越来越多的工具和服务被应用于内容创作领域。阿里云推出的《AI 剧本生成与动画创作》解决方案,利用函数计算 FC 构建 Web 服务,结合百炼模型服务和 ComfyUI 工具,实现了从故事剧本撰写、插图设计、声音合成和字幕添加到视频合成的一站式自动化流程。本文将对该方案进行全面的技术评测,包括实现原理及架构介绍、部署文档指引、具体耗时分析以及实际使用体验。
75 16
|
6天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云《AI 剧本生成与动画创作》解决方案深度评测
阿里云《AI 剧本生成与动画创作》解决方案深度评测
33 7
|
6天前
|
存储 人工智能 NoSQL
Airweave:快速集成应用数据打造AI知识库的开源平台,支持多源整合和自动同步数据
Airweave 是一个开源工具,能够将应用程序的数据同步到图数据库和向量数据库中,实现智能代理检索。它支持无代码集成、多租户支持和自动同步等功能。
66 14
|
8天前
|
人工智能 开发框架 数据可视化
Eino:字节跳动开源基于Golang的AI应用开发框架,组件化设计助力构建AI应用
Eino 是字节跳动开源的大模型应用开发框架,帮助开发者高效构建基于大模型的 AI 应用。支持组件化设计、流式处理和可视化开发工具。
138 27
|
8天前
|
人工智能 自然语言处理 搜索推荐
现在最火的AI是怎么应用到体育行业的
AI在体育行业的应用日益广泛,涵盖数据分析、伤病预防、观众体验、裁判辅助等多个领域。通过传感器和可穿戴设备,AI分析运动员表现,提供个性化训练建议;预测伤病风险,制定康复方案;优化比赛预测和博彩指数;提升观众的个性化内容推荐和沉浸式观赛体验;辅助裁判判罚,提高准确性;发掘青训人才,优化训练计划;智能管理场馆运营和票务;自动生成媒体内容,提供实时翻译;支持电竞分析和虚拟体育赛事;并为运动员提供个性化营养和健康管理方案。未来,随着技术进步,AI的应用将更加深入和多样化。
|
8天前
|
人工智能 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.4 应用实践之 AI大模型外脑
PolarDB向量数据库插件通过实现通义大模型AI的外脑,解决了通用大模型无法触达私有知识库和产生幻觉的问题。该插件允许用户将新发现的知识和未训练的私有知识分段并转换为向量,存储在向量数据库中,并创建索引以加速相似搜索。当用户提问时,系统将问题向量化并与数据库中的向量进行匹配,找到最相似的内容发送给大模型,从而提高回答的准确性和相关性。此外,PolarDB支持多种编程语言接口,如Python,使数据库具备内置AI能力,极大提升了数据处理和分析的效率。
35 4
|
10天前
|
人工智能 自然语言处理 数据可视化
Cursor 为低代码加速,AI 生成应用新体验!
通过连接 Cursor,打破了传统低代码开发的局限,我们无需编写一行代码,甚至连拖拉拽这种操作都可以抛诸脑后。只需通过与 Cursor 进行自然语言对话,用清晰的文字描述自己的应用需求,就能轻松创建出一个完整的低代码应用。
619 8

热门文章

最新文章