AI视觉训练营——第一天学习记录

简介: 1、视觉生产2、分割抠图3、视觉生成4、视觉编辑5、视觉增强6、视觉制造

一、视觉生产
1、定义

通过一个/一系列视觉过程,产出新的视觉表达


· 视觉生产,把抽象的内容通过一系列算法转变成具象的内容,如视频,图片等。
2、分类

视觉生产分为 “生成 0->1”、“拓展 1->N”、“摘要 N->1”、“升维 An->An+1” 四个过程。另外还包括 “增强变换 A->B”,”插入合成 A+B->C“,“擦除 A-B->C”。


3、通用基础框架

Request (请求):


输入: 参数,素材,草案,成品,案例


Dispatch (分发):


生产类型:调用生成,素材合成,照图生图,视频摘要,编辑变换,视觉拓展


Service (服务):


视觉生产引擎:搜索引擎( 素材,案例 )<=>生成引擎( 模型,知识 )


Response (响应):


输出:图像,视频,案例


二、分割抠图
生产必要的前置步骤

识别:辨认内容


检测:确定图中识别对象内容


分割:精确到像素,对图片内的全部内容做区分


1、分割思路

1、复杂问题拆解:粗mask+精准matting


2、丰富数据样本:设计图象mask统一模型


运用 Semantic Segmentation 技术给图片添加蒙版


Instance Segmentation 技术给蒙版划分通道,这两项合称为Mask


Image Matting 将粗分割模型与精分割网络结合,精确辨认图像


2、分割模型
分割模型.png
三、视觉生成

通过视觉生成,让智能AI服务于工作。满足照图生图,海报广告设计,自动剪辑视频的个性化需求。

1、框架流程
视觉生成框架.png
2、视频生成-框架
视频合成.png
四、视觉编辑


植入广告:在视频中插入广告且与上下文内容不冲突


分镜检测,广告位检测,广告位跟踪,遮挡检测,素材匹配,光影渲染



字母擦除,台标擦除,广告擦除,场景文字擦除,人体擦除


擦除.png



画幅变化(变化视频分辨率,变化图片尺寸,保留内容)


五、视觉增强

修复画质,人脸修复,放大小图,视频分辨率,视频补帧,HDR色彩拓展(直观上增加像素对比度),风格迁移(如帆布效果,风格化),颜色拓展(在颜色合理搭配的情况下生成多样化的配色方案)


六、视觉制造

核心逻辑


视觉生产.png


可以运用在模拟包装盒打包,生成多样化服饰等领域

目录
相关文章
|
2月前
|
机器学习/深度学习 数据采集 人工智能
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】随着人工智能的发展,深度学习技术正逐步应用于教育领域,特别是个性化学习系统中。通过分析学生的学习数据,深度学习模型能够精准预测学生的学习表现,并为其推荐合适的学习资源和规划学习路径,从而提供更加高效、有趣和个性化的学习体验。
208 9
|
1月前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
12月14日,由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
|
13天前
|
数据采集 人工智能 算法
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。
59 20
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
|
21天前
|
人工智能 UED
VersaGen:生成式 AI 代理,基于 Stable Diffusion 生成图像,专注于控制一至多个视觉主体等生成细节
VersaGen 是一款生成式 AI 代理,专注于文本到图像合成中的视觉控制能力,支持多种视觉控制类型,并通过优化策略提升图像生成质量和用户体验。
39 8
VersaGen:生成式 AI 代理,基于 Stable Diffusion 生成图像,专注于控制一至多个视觉主体等生成细节
|
1月前
|
存储 人工智能 安全
从AI换脸到篡改图像,合合信息如何提升视觉内容安全?
从AI换脸到篡改图像,合合信息如何提升视觉内容安全?
从AI换脸到篡改图像,合合信息如何提升视觉内容安全?
|
2天前
|
存储 人工智能 自然语言处理
AI 工程学习 - 三张图说明白什么是 RAG
RAG(检索增强生成)是一种结合信息检索和生成模型的自然语言处理框架,通过引入外部知识库(如文档库、数据库等),增强生成模型的回答准确性与相关性。其核心在于避免模型仅依赖训练数据产生不准确或“幻觉”内容,而是通过实时检索外部资料,确保回答更精准、丰富且上下文相关。RAG的实现包括建立索引(清洗、分割、嵌入存储)和检索生成(计算相似度、选择最优片段、整合提示词模板提交给大模型)。
18 0
|
28天前
|
人工智能 API 数据库
Browser Use:开源 AI 浏览器助手,自动完成网页交互任务,支持多标签页管理、视觉识别和内容提取等功能
Browser Use 是一款专为大语言模型设计的智能浏览器工具,支持多标签页管理、视觉识别、内容提取等功能,并能记录和重复执行特定动作,适用于多种应用场景。
356 0
Browser Use:开源 AI 浏览器助手,自动完成网页交互任务,支持多标签页管理、视觉识别和内容提取等功能
|
2月前
|
人工智能 自然语言处理 前端开发
VideoChat:高效学习新神器!一键解读音视频内容,结合 AI 生成总结内容、思维导图和智能问答
VideoChat 是一款智能音视频内容解读助手,支持批量上传音视频文件并自动转录为文字。通过 AI 技术,它能快速生成内容总结、详细解读和思维导图,并提供智能对话功能,帮助用户更高效地理解和分析音视频内容。
167 6
VideoChat:高效学习新神器!一键解读音视频内容,结合 AI 生成总结内容、思维导图和智能问答
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI驱动的个性化学习路径优化
在当前教育领域,个性化学习正逐渐成为一种趋势。本文探讨了如何利用人工智能技术来优化个性化学习路径,提高学习效率和质量。通过分析学生的学习行为、偏好和表现,AI可以动态调整学习内容和难度,实现真正的因材施教。文章还讨论了实施这种技术所面临的挑战和潜在的解决方案。
125 7
|
1月前
|
机器学习/深度学习 人工智能 安全
合合信息亮相CSIG AI可信论坛,全面拆解视觉内容安全的“终极防线”!
合合信息在CSIG AI可信论坛上,全面拆解了视觉内容安全的“终极防线”。面对AI伪造泛滥的问题,如Deepfake换脸、PS篡改等,合合信息展示了其前沿技术,包括通用PS检测系统和AIGC与换脸检测系统,有效应对视觉内容安全挑战。公司在国际赛事中屡获殊荣,并联合多方发布《文本图像篡改检测系统技术要求》,推动行业标准化发展。通过技术创新,合合信息为金融、政企等领域提供可靠保障,守护社会信任,引领视觉内容安全新方向。
46 0