一、视觉生产
1、定义
通过一个/一系列视觉过程,产出新的视觉表达
· 视觉生产,把抽象的内容通过一系列算法转变成具象的内容,如视频,图片等。
2、分类
视觉生产分为 “生成 0->1”、“拓展 1->N”、“摘要 N->1”、“升维 An->An+1” 四个过程。另外还包括 “增强变换 A->B”,”插入合成 A+B->C“,“擦除 A-B->C”。
3、通用基础框架
Request (请求):
输入: 参数,素材,草案,成品,案例
Dispatch (分发):
生产类型:调用生成,素材合成,照图生图,视频摘要,编辑变换,视觉拓展
Service (服务):
视觉生产引擎:搜索引擎( 素材,案例 )<=>生成引擎( 模型,知识 )
Response (响应):
输出:图像,视频,案例
二、分割抠图
生产必要的前置步骤
识别:辨认内容
检测:确定图中识别对象内容
分割:精确到像素,对图片内的全部内容做区分
1、分割思路
1、复杂问题拆解:粗mask+精准matting
2、丰富数据样本:设计图象mask统一模型
运用 Semantic Segmentation 技术给图片添加蒙版
Instance Segmentation 技术给蒙版划分通道,这两项合称为Mask
Image Matting 将粗分割模型与精分割网络结合,精确辨认图像
2、分割模型
三、视觉生成
通过视觉生成,让智能AI服务于工作。满足照图生图,海报广告设计,自动剪辑视频的个性化需求。
1、框架流程
2、视频生成-框架
四、视觉编辑
增:
植入广告:在视频中插入广告且与上下文内容不冲突
分镜检测,广告位检测,广告位跟踪,遮挡检测,素材匹配,光影渲染
删:
字母擦除,台标擦除,广告擦除,场景文字擦除,人体擦除
改:
画幅变化(变化视频分辨率,变化图片尺寸,保留内容)
五、视觉增强
修复画质,人脸修复,放大小图,视频分辨率,视频补帧,HDR色彩拓展(直观上增加像素对比度),风格迁移(如帆布效果,风格化),颜色拓展(在颜色合理搭配的情况下生成多样化的配色方案)
六、视觉制造
核心逻辑
可以运用在模拟包装盒打包,生成多样化服饰等领域