视觉生产技术的探索应用

简介: 阿里云视觉平台是基于阿里巴巴视觉智能技术实践经验,面向视觉智能技术企业和开发商(含开发者),为其提供高易用、普惠的视觉API服务,帮助企业快速建立视觉智能技术的应用能力的综合性视觉AI能力平台。

视觉生产

定义

通过一个或一系列视觉过程,产生新的视觉表达。
1.png

分类

生成:从0到1
拓展:从1到N
摘要:从N到1
升维:从An到An+1

通用框架

3.png

视觉生产五个关键维度

  1. 满足视觉美学表现,可看
  2. 合乎语义内容逻辑
  3. 保证结果丰富性
  4. 提供用户预期的抓手,可控
  5. 带来用户和商业价值
    4.png

具体细节的一些理解

视觉分割是生产的必要前置步骤,唯有理解方能生成。
识别:知道是什么
111.png

检测:识别+知道在哪里
5.png

分割:识别+检测
222.png

分割抠图的难点

复杂背景
遮挡
发丝精扣
边缘反色
透明材质
多尺度,多目标

数据严重不住,标注成本高

分割抠图的解绝
语义分割
实例分割
image matting
6.png

分割抠图 模型框架
step1 mask粗分割
step2 mask质量统一
step3 估计精确alpha

分割抠图 抠图扩展
人像-分割不同区域
7.png

物体抠图
8.png

场景
9.png

视觉生成

平面图像设计生成——鹿班

框架流程:
需求-草图-选状态-调细节-生成-评价
样例:电商需求设计,照图生图,个性化设计,智能美工,

视频生成——AlibabaWood

框架流程:
素材准备-基础特效-智能特效-智能编排
样例:视频封面,商品展示

视觉编辑

视频的增删查改
视频植入:广告位检测定位,广告位跟踪,遮挡,透视,素材匹配,光影渲染
333.png

动态检测分割

视频内容擦除
擦除字幕,台标,广告,场景文字
流程:
定位-分割-充填-训练
11.png

画幅变化

视频画幅变化:主体检测分割+背景拉伸+背景补全+智能构图裁剪+超分辨率=多保留有效画面
图像尺寸变化

视觉增强

主要包括:人脸增强,去噪声,通用场景超分,LDR升HDR,视频插帧等
人脸增强
12.png

场景超分
13.png

颜色扩展
14.png

视觉制造

包装设计
服装设计:3d,材质工艺,纹理图案迁移,流行色,背景融合
15.png

目录
相关文章
|
云安全 存储 安全
一文看全数据跨境合规
于9月1日正式实施的《数据安全法》再次加码数据出境安全。 基于8月27日《数据安全法》解读与阿里云三大合规方案线上直播活动,阿里云解决方案架构师锅涛分享的《数据跨境流转安全》主题内容,整理出数据出境安全的九问九答,为企业数据跨境流转送上安全锦囊。
1587 0
一文看全数据跨境合规
|
算法 计算机视觉
YOLOv3 的非极大值抑制(NMS)算法是如何工作的,它对最终检测结果有何影响?
YOLOv3 的非极大值抑制(NMS)算法是如何工作的,它对最终检测结果有何影响?
|
消息中间件 缓存 Java
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
零拷贝技术 Zero-Copy 是指计算机执行操作时,可以直接从源(如文件或网络套接字)将数据传输到目标缓冲区, 而不需要 CPU 先将数据从某处内存复制到另一个特定区域,从而减少上下文切换以及 CPU 的拷贝时间。
java nio,netty,kafka 中经常提到“零拷贝”到底是什么?
|
开发框架 JSON 安全
分享一个 .NET Core 使用选项方式读取配置内容的详细例子
分享一个 .NET Core 使用选项方式读取配置内容的详细例子
204 1
|
SQL 数据库
数据审计 -本福德定律 Benford‘s law (sample database classicmodels _No.6)
数据审计 -本福德定律 Benford‘s law (sample database classicmodels _No.6)
411 1
|
算法 Oracle 关系型数据库
本源量子云平台实现Grover算法
本源量子云平台实现Grover算法
290 0
|
网络协议 前端开发
wireshark抓包新手使用教程
Wireshark是非常流行的网络封包分析软件,可以截取各种网络数据包,并显示数据包详细信息。常用于开发测试过程各种问题定位。
24903 0
wireshark抓包新手使用教程
|
JavaScript 前端开发
qml 信号和处理程序事件系统(Signal and Handler Event System)
qml 信号和处理程序事件系统(Signal and Handler Event System)
344 0
|
算法
计算机网络:封装成帧 & 透明传输 & 差错检测
计算机网络:封装成帧 & 透明传输 & 差错检测
540 0
|
安全 编译器 Python
python安装使用Flask框架(Vscode)
python安装使用Flask框架(Vscode)
467 0