阿里云高校计划视觉AI五天训练营教程 Day 1

简介: 阿里云高校计划视觉AI五天训练营教程 Day 1

视觉生产技术

一、定义和分类

定义:通过一个/一系列视觉过程,产出新的视觉表达
产出:人或机器 能够感知的图像视频,而不是标签和物证
要求:新的和输入的不一样
分类:从0到1
拓展:从1到N
摘要:从N到1
升维:从An到An+1

增强/变换:从A到B
插入/合成:A+B=C
擦除:A-B=C
AI 代码解读

通用基础框架
输入(请求 Request)
生产类型(分发 Dispatch)
视觉生产引擎(服务Service)
输出 图像/视频/3D(响应Response)
五个关键维度
1、满足视觉/美学表现{可看}
2、合乎语义/内容逻辑{合理}
3、保证结果的丰富性{多样}
4、提供用户预期的抓手{可控}
5、带来用户/商业价格{可用}

二、精细理解-寻微入里

1、识别 知道是什么

2、检测 识别+知道在哪儿

3、分割: 识别+检测+知道每一个像素是什么

分割抠图-难点
复杂背景、遮挡、发丝精抠、边缘反色、透明材质、多尺度/目标

分割抠图-解题思路
1、复杂问题拆解:粗mask估计+精准matting
2、丰富数据样本:设计图像mask统一模型

分割抠图-模型框架
1、mask粗分割
2、mask质量统一
3、估计精确alpha
在这里插入图片描述
分割抠图-效果展示
在这里插入图片描述
分割抠图-人像抠图拓展
在这里插入图片描述
分割抠图-物体抠图拓展
细节部分处理
在这里插入图片描述
分割抠图-场景抠图拓展
在这里插入图片描述

3、视觉生成-从无到有

视觉生成-鹿班
平面图像设计生成
鹿班是视觉生成领域在业界落地的先行者,对外提供大规模在线的AI设计服务;
视觉生成——框架流程
在这里插入图片描述
视觉生成-鹿班电商设计
照图生图:参考原图,将风格、布局等信息学习并迁移到目标数据上;
个性化设计:多元化设计风格,结合商品品类、投放场景、目标客群的差异设计订制化设计

视觉生成-鹿班场景智能美工
在这里插入图片描述
鹿班在各行业中的应用
视频、娱乐、母婴等

视觉生成-AlibabaWood

视频生成-框架流程
视频生成-框架流程
视觉生成-视频封面

可以对视频内容全自动完成质量审核、内容分析与图像增强,输出多帧静止或动图。
图像增强:在内容理解的基础上裁剪或组合。
内容分析:基于深度学习的语义分析,根据吸引力挑选内容。
质量审核:根据模糊、爆光等因素过滤低质图像。

4、视觉编辑-移花接木

视觉编辑-视频植入
挖掘视频核心价值:扩展广告爆光渠道,创新广告形式,提升用户体验。 电视剧植入

扩大植入覆盖范围 :自动化批量处理视频内容,挖掘海量短视频、UGC内容等的广告价值,扩大植入内容的覆盖面。电影植入

提升植入效果效率:取代手工后期,缩短植入周期,降低人力成本,给广告招商留出充足时间,且不需要修改与流出媒资。综艺植入

考虑各个环节细节
在这里插入图片描述

视觉编辑-动态检测分割
自动检测到要处理的部分

视觉编辑-视频内容擦除
相关实用技术 :字幕擦除、台标擦除、广告擦除、场景文字擦除、人体擦除
核心挑战与亮点 粗定位、精分割、像素填充、在线训练

视觉编辑-文字擦除
去掉后期字幕 去掉原生文字
提升视频效果
视觉编辑-Logo擦除
视频某边角的平台Logo 擦除,
去掉广告 (区域大,标识无限)
去掉台标(标识有限)

视觉编辑-画幅变化
主体检测分割+背景拉伸+背景补全+智能构图裁剪+超分辨率=多保留50%有效画面;

视觉编辑-图像尺寸变化

在这里插入图片描述

5、视觉增强-修旧如新

视觉增强-视频增强
在这里插入图片描述

视觉增强-人脸修复增强
人脸是最重要的目标对象,对人像进行细节修复增强,有很重要的意义和价值。如提升清晰度

视觉增强-视频超分
整体提高视频分辨率

视觉增强-视频插帧

视觉增强-HDR色彩扩展
提升色彩 透亮

视觉增强-风格迁移
在这里插入图片描述
视觉迁移-颜色拓展
在这里插入图片描述

6、视觉制造-由虚入实

实体设计制造
在这里插入图片描述

视觉制造-核心编辑
在这里插入图片描述
视觉制造-包装几何生成
在这里插入图片描述

在这里插入图片描述

视觉制造-材质工艺
在这里插入图片描述

视觉制造-视觉迁移及融合
在这里插入图片描述
视觉制造-多样化拓展
在这里插入图片描述
视觉制造-2D3D融合
在这里插入图片描述

7、视频智能开放平台-万剑归宗

官网:vision.aliyun.com
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

通过以上的内容对视觉已经有了初步的认知
每天进步一点点!

相关文章
如何用uniapp打包桌面客户端exe包,vue或者uni项目如何打包桌面客户端之electron开发-优雅草央千澈以开源蜻蜓AI工具为例子演示完整教程-开源代码附上
如何用uniapp打包桌面客户端exe包,vue或者uni项目如何打包桌面客户端之electron开发-优雅草央千澈以开源蜻蜓AI工具为例子演示完整教程-开源代码附上
137 18
【科普向】我们所说的AI模型训练到底在训练什么?
人工智能(AI)模型训练类似于厨师通过反复实践来掌握烹饪技巧。它通过大量数据输入,自动优化内部参数(如神经网络中的权重和偏置),以最小化预测误差或损失函数,使模型在面对新数据时更加准确。训练过程包括前向传播、计算损失、反向传播和更新权重等步骤,最终生成权重文件保存模型参数,用于后续的应用和部署。理解生物神经网络的工作原理为人工神经网络的设计提供了灵感,后者广泛应用于图像识别、自然语言处理等领域。
不怕不会设计logo拉-本篇教你如何使用AI设计logo-如何快速用AI设计logo-附上AI绘图logo设计的咒语-优雅草央千澈-实战教程
不怕不会设计logo拉-本篇教你如何使用AI设计logo-如何快速用AI设计logo-附上AI绘图logo设计的咒语-优雅草央千澈-实战教程
126 85
不怕不会设计logo拉-本篇教你如何使用AI设计logo-如何快速用AI设计logo-附上AI绘图logo设计的咒语-优雅草央千澈-实战教程
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
12月14日,由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
AI智能体再进化,工作流怎么玩?阿里云百炼上手教程
本次分享由讲师林粒粒呀介绍如何快速制作AI智能工具,特别是利用阿里云百炼平台创建工作流。通过简单的拖拽操作,小白用户也能轻松上手,实现从PPT主题到大纲的自动生成,并能一次性生成多个版本。借助API和Python脚本,还可以将Markdown格式的大纲转换为本地PPT文件。整个流程展示了AI智能体在实际应用中的高效性和实用性,帮助用户大幅提升工作效率。
102 31
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
120 8
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
如何将Together AI上基于Qwen2-7B训练的模型部署到ModelScope平台
如何将Together AI上基于Qwen2-7B训练的模型部署到ModelScope平台
58 10
【AI系统】感知量化训练 QAT
本文介绍感知量化训练(QAT)流程,旨在减少神经网络从FP32量化至INT8时的精度损失。通过在模型中插入伪量化节点(FakeQuant)模拟量化误差,并在训练中最小化这些误差,使模型适应量化环境。文章还探讨了伪量化节点的作用、正向与反向传播处理、TensorRT中的QAT模型高效推理,以及QAT与PTQ的对比,提供了实践技巧,如从良好校准的PTQ模型开始、采用余弦退火学习率计划等。
94 2
【AI系统】感知量化训练 QAT
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术,涵盖动态和静态量化方法,旨在将模型权重和激活从浮点数转换为整数,以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制,文章探讨了如何平衡模型精度与性能,同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
61 1
【AI系统】训练后量化与部署
SPAR:智谱 AI 推出自我博弈训练框架,基于生成者和完善者两个角色的互动,提升了执行准确度和自我完善能力
SPAR 是智谱团队推出的自我博弈训练框架,旨在提升大型语言模型在指令遵循方面的能力,通过生成者和完善者的互动以及树搜索技术优化模型响应。
59 0
SPAR:智谱 AI 推出自我博弈训练框架,基于生成者和完善者两个角色的互动,提升了执行准确度和自我完善能力

热门文章

最新文章