SmartEraser:中科大推出图像对象移除技术,轻松移除照片中的不想要元素,保留完美瞬间

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,视频资源包5000点
简介: SmartEraser 是由中科大与微软亚洲研究院联合开发的图像编辑技术,能够精准移除图像中的指定对象,同时保留周围环境的细节和结构,适用于复杂场景的图像处理。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:SmartEraser 能够精准识别并移除图像中的指定对象,同时保留周围环境的细节和结构。
  2. 技术:基于创新的“掩码区域引导”范式,结合 Syn4Removal 数据集和 CLIP 视觉引导技术,提升移除效果。
  3. 应用:适用于个人照片编辑、专业图像处理、平面设计、文物修复及医疗科研等领域。

正文(附运行示例)

SmartEraser 是什么

SmartEraser

SmartEraser 是由中国科学技术大学与微软亚洲研究院联合开发的图像编辑技术,专注于从图像中移除用户指定的对象。与传统的“掩码和修复”方法不同,SmartEraser 采用创新的“掩码区域引导”范式,保留掩码区域作为移除过程的引导,能够更准确地识别和移除目标对象,同时有效保留周围上下文。

SmartEraser 基于 Syn4Removal 大规模高质量数据集进行训练,结合掩码增强技术和基于 CLIP 的视觉引导,在对象移除任务中展现出卓越的性能。

SmartEraser 的主要功能

  • 目标对象识别与移除:准确识别用户基于掩码指定的目标对象,将其从图像中移除。
  • 上下文保留:在移除目标对象的同时,保留周围环境的细节和结构,确保图像的视觉连贯性。
  • 高质量图像生成:生成的图像在视觉上与原始图像保持一致,没有明显的失真或 artifacts。
  • 鲁棒性:对用户提供的不同形状和大小的掩码具有较高的鲁棒性,适应各种输入条件。
  • 适用于复杂场景:在复杂的场景中,如包含多个对象和复杂背景的图像中,有效地移除目标对象。

SmartEraser 的技术原理

  • 掩码区域引导范式:保留掩码区域作为移除过程的引导,准确识别需要移除的对象,减少在掩码区域重新生成对象的风险。
  • Syn4Removal 数据集:通过合成方法构建训练数据,包含 100 万对图像三元组,涵盖多样的场景和对象类型。
  • 基于文本到图像扩散模型的框架:应用多种掩码变形方法增强模型鲁棒性,结合 CLIP 视觉引导技术提升移除效果。

如何运行 SmartEraser

目前,SmartEraser 的项目代码和模型尚未完全开源,但开发者计划在未来发布训练和推理代码、Syn4Removal 数据集以及预训练模型。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
9月前
|
弹性计算 运维 Linux
地图在人物不在的存档修复
地图在人物不在的存档修复
|
SQL 数据库
改变织梦dedecms标签TAG长短的方法
织梦tags标签只能写12个字符也就是6个汉字,多出的字符就会自动截断,或者直接被去除,不单单需要通过修改数据库字段长度,还要修改程序文件来改变tags字数限制,tags标签默认长度。
|
9月前
游戏辅助 -- 实战找人物对象基址
游戏辅助 -- 实战找人物对象基址
86 0
|
9月前
|
JSON 定位技术 API
HTML新特性【规划公交路线、规划步行路线、定位、自定义视角动画、账号和获取密钥、初始化、变更地图类型、添加控件、改变控件位置】(五)-全面详解(学习总结---从入门到深化)(下)
HTML新特性【规划公交路线、规划步行路线、定位、自定义视角动画、账号和获取密钥、初始化、变更地图类型、添加控件、改变控件位置】(五)-全面详解(学习总结---从入门到深化)
100 0
|
9月前
|
移动开发 JavaScript 前端开发
HTML新特性【规划公交路线、规划步行路线、定位、自定义视角动画、账号和获取密钥、初始化、变更地图类型、添加控件、改变控件位置】(五)-全面详解(学习总结---从入门到深化)(上)
HTML新特性【规划公交路线、规划步行路线、定位、自定义视角动画、账号和获取密钥、初始化、变更地图类型、添加控件、改变控件位置】(五)-全面详解(学习总结---从入门到深化)
156 0
|
Java
Java每日一练(20230518) 移除元素、跳跃游戏II、复原IP地址
Java每日一练(20230518) 移除元素、跳跃游戏II、复原IP地址
84 0
|
人工智能 编解码 移动开发
当「分割一切」遇上图像修补:无需精细标记,单击物体实现物体移除、内容填补、场景替换(2)
当「分割一切」遇上图像修补:无需精细标记,单击物体实现物体移除、内容填补、场景替换
142 0
|
计算机视觉
当「分割一切」遇上图像修补:无需精细标记,单击物体实现物体移除、内容填补、场景替换(1)
当「分割一切」遇上图像修补:无需精细标记,单击物体实现物体移除、内容填补、场景替换
172 0
|
编译器 C语言 Windows
想要深度了解C吗?
想要深度了解C吗?
95 0
想要深度了解C吗?
|
JavaScript 开发者
get方式提交新闻防止新闻被覆盖掉(补充说明)|学习笔记
快速学习 get 方式提交新闻防止新闻被覆盖掉(补充说明)
get方式提交新闻防止新闻被覆盖掉(补充说明)|学习笔记

热门文章

最新文章