视觉生产技术
视觉生产定义
通过一个或一系列视觉过程,产生新的视觉表达。
视觉生产分类
生成:从0到1
拓展:从1到N
摘要:从N到1
升维:从An到An+1
增强/变换
插入/合成
擦除
视觉生产通用框架
视觉生产五个关键维度
满足视觉美学表现,可看
合乎语义内容逻辑
保证结果丰富性
提供用户预期的抓手,可控
带来用户和商业价值
精细理解
精细理解 分割抠图
视觉分割是生产的必要前置步骤,唯有理解方能生成。
识别:知道是什么
检测:识别+知道在哪里
分割:识别+检测
分割抠图 难点
复杂背景
遮挡
发丝精扣
边缘反色
透明材质
多尺度,多目标
数据严重不住,标注成本高
分割抠图 解题思路
语义分割
实例分割
image matting
分割抠图 模型框架
step1 mask粗分割
step2 mask质量统一
step3 估计精确alpha
分割抠图 抠图扩展
人像-分割不同区域
物体抠图
场景
视觉生成
平面图像设计生成——鹿班
框架流程:
需求-草图-选状态-调细节-生成-评价
样例:电商需求设计,照图生图,个性化设计,智能美工,
视频生成——AlibabaWood
框架流程:
素材准备-基础特效-智能特效-智能编排
样例:视频封面,商品展示
视觉编辑
视频的增删查改
视频植入:广告位检测定位,广告位跟踪,遮挡,透视,素材匹配,光影渲染
动态检测分割
视频内容擦除
擦除字幕,台标,广告,场景文字
流程:
定位-分割-充填-训练
画幅变化
视频画幅变化:主体检测分割+背景拉伸+背景补全+智能构图裁剪+超分辨率=多保留有效画面
图像尺寸变化
视觉增强
主要包括:人脸增强,去噪声,通用场景超分,LDR升HDR,视频插帧等
人脸增强
场景超分
颜色扩展
视觉制造
包装设计
服装设计:3d,材质工艺,纹理图案迁移,流行色,背景融合
视觉智能开放平台
vision
规模化、多样化、细粒度、场景化
结语
第一天的课程简单介绍了视觉AI的分类和工程运用。