阿里云视觉AI应用创新赛开启——技术公开篇之AlibabaWood

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介:

移动互联网时代以来,人工智能(AI)技术不断发展和完善,不断展现出巨大的商业潜力,并开始在各行各业落地开花,其中计算机视觉AI技术发展最快应用最广。阿里云为响应国家“加快新型基础设施建设“的号召,以“无行业不AI“为主题,特此举办阿里云视觉AI应用创新赛,为行业应用及解决方案落地提供展示创意和想法的舞台。

本次大赛向全行业开发者用户开放,针对优秀人才、优秀作品提供百万现金奖池,为创业人才提供包括阿里巴巴资源对接与扶持、技术培训和上云指导以及导师帮助等与初创企业相关的综合服务。同时为协助本次赛事,阿里云将会与参赛者共享阿里内部视觉AI开发的实践经验,从技术,资金,资源三方面帮助企业实现场景落地。

image.png


本文将会通过解析AlibabaWood视频生产工具的算法来介绍视觉AI技术在新零售电商领域中的应用,为参赛人员开发视觉AI应用提供一种可行的思路。

AlibabaWOOD介绍

AlibabaWOOD是阿里云为了提升电商营销视频制作效率和质量而推出的工具。在电商平台,投放商品视频展示可以增加信息传播途径提升引流曝光,针对同一商品,是否投放视频展示对各关键指标影响非常大,如下图所示。

image.png
图1 单一商品图像款对比视频款


但传统的批量视频制作通常依赖于设计师提前制作的固定模板,且大批量生产的视频通常千篇一律,缺乏感染力。为了解决这一问题,AlibabaWOOD充分利用目前最先进的AI技术,抛弃了死板的视频模板,而是通过智能分析用户输入的音视频素材以及用户需求,一键生成符合投放场景的营销短视频,从分析、设计到最后的编码输出用时不超过一分钟,远远超过人类制作视频的速度。并且,得益于AI技术的应用,AlibabaWOOD可以做到视频风格和内容千人千面,无论是时尚风、科技风还是土味视频,AlibabaWOOD都可以从容应对。下图展示了AlibabaWOOD智能生成视频的核心流程,下一章节也会对其中的核心AI技术进行解析。

image.png
图2 AlibabaWOOD智能视频生成流程

AlibabaWOOD核心AI技术解析
素材解析能力

• 素材质量评估/理解:
AlibabaWood利用最新的深度学习技术以及线上海量的电商图像视频数据,自研了素材质量评估模型和素材内容理解模型,质量评估模型可以快速准确的滤除不适合制作视频的图像视频素材,保证输出视频的质量。而内容理解模型能够为智能编排模块提供全方位的素材标签,方便为素材精确匹配智能特效,如下图所示:

image.png


图3 素材质量评估

image.png


图4 素材标签示例

• 故事线生成:
作为智能编排核心技术,故事线生成模型充分利用素材标签以及美学和吸引力评分,结合影视行业规范等先验知识,可以针对不同类型的图像视频素材推荐不同的素材排序故事线,如下图所示。使得生成的视频运镜更加合理,并更具吸引力和感染力。

image.png


图5 故事线生成示例


• 视频摘要:
通过学习大量在线营销视频摘要模式,AlibabaWood适配不同视频类别的视频剪辑手法,能够对用户输入的视频素材进行镜头分割,并根据投放场景选择最佳视频片段进行剪辑。

image.png


图6 视频摘要示例

智能特效
• 音画联动:
视频节奏感可以提升观看视频的舒适性。通过智能分析音频节奏点和视频内容的视觉“节奏点”,然后通过视频插帧技术实现视频播放速率的非线性变换,从而实现音视频节奏点的完美匹配,使得视频中的人物能够随音乐舞动,极大的提升了视频内容的吸引力。
• 静转动:
为了增强静态素材主体内容的吸引力,AlibabaWood在自研图像分割能力的基础上推出静转动等智能特效,这一能力可以自动识别模特展示图像,然后对模特主体进行抠图,再对前景和背景内容加入滑动变焦效果,将静态图像转化为动态的视频内容,使得内容展示更加生动,并凸显主体信息。下一代静转动技术可以使得运镜效果更符合透视原理,并让图像中模特的肢体真正动起来。

image.png


图7 图像分割示例


• 转场等特效智能推荐:
AlibabaWood联合设计师打造了可以根据素材内容自动匹配的转场动画特效体系。使得生成的视频动效更加丰富、更加个性化,真正做到千人千面。部分效果展示如下。

image.png


图8 智能转场特效


阿里云视觉AI开发者创意应用赛向社会各界免费开放所有视觉AI技术接口,邀请全社会的企业打造属于自己的AlibabaWood。开发者可以任意使用达摩院的技术打磨自己的产品,或者将自己的产品在大赛中展出,作为主办方,阿里云将会为优秀的作品对接创业资源和孵化环境,更有总计近百万的奖金和奖品等你来拿。

体验地址https://vision.aliyun.com/experience
大赛平台https://developer.aliyun.com/ai/activity/viapi

相关文章
|
2天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
4天前
|
人工智能 缓存 Ubuntu
AI+树莓派=阿里P8技术专家。模拟面试、学技术真的太香了 | 手把手教学
本课程由阿里P8技术专家分享,介绍如何使用树莓派和阿里云服务构建AI面试助手。通过模拟面试场景,讲解了Java中`==`与`equals`的区别,并演示了从硬件搭建、语音识别、AI Agent配置到代码实现的完整流程。项目利用树莓派作为核心,结合阿里云的实时语音识别、AI Agent和文字转语音服务,实现了一个能够回答面试问题的智能玩偶。课程展示了AI应用的简易构建过程,适合初学者学习和实践。
51 22
|
1天前
|
人工智能 Java 程序员
通义灵码AI编码助手和AI程序员背后的技术
通义灵码AI编码助手和AI程序员背后的技术,由通义实验室科学家黎槟华分享。内容涵盖三部分:1. 编码助手技术,包括构建优秀AI编码助手及代码生成补全;2. 相关的AI程序员技术,探讨AI程序员的优势、发展情况、评估方法及核心难点;3. 代码智能方向的展望,分析AI在软件开发中的角色转变,从辅助编程到成为开发主力,未来将由AI执行细节任务,开发者负责决策和审核,大幅提升开发效率。
26 12
|
3天前
|
人工智能 搜索推荐
AI视频技术的发展是否会影响原创内容的价值
AI视频技术的发展显著降低了视频制作的门槛与成本,自动完成剪辑、特效添加等繁琐工作,大大缩短创作时间。它提供个性化创意建议,帮助创作者突破传统思维,拓展创意边界。此外,AI技术使更多非专业人士也能参与视频创作,注入新活力与多样性,丰富了原创内容。总体而言,AI视频技术不仅提升了创作效率,还促进了视频内容的创新与多样化。
|
1天前
|
人工智能 缓存 安全
每一个大模型应用都需要一个 AI 网关|场景和能力
本次分享的主题是每一个大模型应用都需要一个 AI 网关|场景和能力。由 API 网关产品经理张裕(子丑)进行分享。主要分为三个部分: 1. 企业应用 AI 场景面临的挑战 2. AI 网关的产品方案 3. AI 网关的场景演示
|
3天前
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
|
2天前
|
人工智能 数据安全/隐私保护 图形学
关于AI绘画优雅草央千澈整理的一份咒语(与AI对话提示词-应用于AI绘图和AI生成视频)-本文长期更新-本次更新2025年1月15日更新-长期更新建议点赞收藏
关于AI绘画优雅草央千澈整理的一份咒语(与AI对话提示词-应用于AI绘图和AI生成视频)-本文长期更新-本次更新2025年1月15日更新-长期更新建议点赞收藏
|
2天前
|
人工智能 安全 Java
AI 应用工程化专场
本次分享的主题是AI 应用工程化专场,由Spring AI Alibaba 开源项目负责人刘军分享。 1. 初识 Spring AI Alibaba开源项目 2. Spring AI Alibaba 深入讲解 3. Spring AI Alibaba RAG 开发实践 4. Spring AI Allbaba 未来规划 5. 数据 6. 问答
|
3天前
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
|
2天前
|
机器学习/深度学习 人工智能 缓存
基于英特尔平台加速 AI 应用及 LLM 推理性能介绍|龙蜥大讲堂第115期
本文摘自龙蜥大讲堂英特尔 AI 软件工程师黄文欢的分享,主要包括以下三个方面的内容: 1. 第五代英特尔至强处理器 2. LLM 推理加速框架 xFast Transformer 及其优化策略 3. 性能数据及 Demo 展示

热门文章

最新文章