Grounded-SAM模型:自动化检测、分割、生成一切

简介: 借着Meta发布的Segment Anything视觉大模型,作者团队做了一个最强Zero-Shot视觉应用:最强的Zero-Shot检测器,最强的Zero-Shot分割器,最强的Zero-Shot生成器,三合一模型简称为Grounded-SAM。

借着Meta发布的Segment Anything视觉大模型,作者团队做了一个最强Zero-Shot视觉应用:最强的Zero-Shot检测器,最强的Zero-Shot分割器,最强的Zero-Shot生成器,三合一模型简称为Grounded-SAM



项目链接:https://github.com/IDEA-Research/Grounded-Segment-Anything

 

DSW链接:

https://pai.console.aliyun.com/?regionId=cn-hangzhou&workspaceId=42414#/dsw-gallery-workspace/preview/deepLearning/cv/grounded-sam



三种类型的模型可以分开使用,也可以组合式使用,组建出强大的视觉工作流模型,整个工作流拥有了检测一切,分割一切,生成一切的能力。



经过了几天的迭代,Grounded-SAM迎来了第二波更新,这一波直接一步到位,直接集结了WhisperChatGPTStable DiffusionSegment Anything四大领域的Foundation Models,作者团队做了一个只动嘴不动手的全自动化视觉工具。



 

 

 


BLIP + Grounded-SAM = 自动化标注器!

image.png

可以想象未来只需要语音交互就能够完成所有的视觉工作流任务,这是多么奇妙的一件事情啊!

Grounded SAM

image.png



Grounded-SAM + Stable Diffusion = 数据生成器!

image.png



借助Grounding DINO强大的Zero-Shot检测能力,Grounded SAM可以通过文本描述就可以找到图片中的任意物体,然后通过Segment Anything强大的分割能力,细粒度的分割出mask,最后还可以利用Stable Diffusion对分割出来的区域做可控的文图生成



单点式 -> 组合式

image.png





Grounding DINO例子

image.png

Grounded-Segment-Anything例子

image.png



Gradio APP

image.png



同时我们还提供了可视化网页,可以更方便的尝试各种例子。

更多例子

image.png





图像编辑功能

image.png



语音交互功能

image.png



多轮对话功能

3D全身人体网格恢复

image.png





Grounded-SAM未来的想象空间:

比如可控的自动的生成图像,构建新的数据集。

比如提供更强的基础模型与分割预训练。

比如引入GPT-4,进一步激发视觉大模型的潜力。

比如可以做为预打标工具。

......



欢迎体验和建议!

项目链接:https://github.com/IDEA-Research/Grounded-Segment-Anything

 

相关文章
|
2月前
|
并行计算 Linux 计算机视觉
还在手工标注数据集?快来试一试自动化多模型标注大模型-gui交互式标注(部署运行教程-高效生产力)
还在手工标注数据集?快来试一试自动化多模型标注大模型-gui交互式标注(部署运行教程-高效生产力)
76 0
|
2月前
|
存储 XML JSON
开集目标检测-标签提示目标检测大模型(吊打YOLO系列-自动化检测标注)
开集目标检测-标签提示目标检测大模型(吊打YOLO系列-自动化检测标注)
88 2
|
2月前
|
存储 自然语言处理 数据可视化
【办公自动化】用Python按时间分割txt文件中的数据
【办公自动化】用Python按时间分割txt文件中的数据
55 1
|
1月前
|
机器学习/深度学习 数据采集 运维
高效处理异常值的算法:One-class SVM模型的自动化方案
高效处理异常值的算法:One-class SVM模型的自动化方案
36 1
|
2月前
|
机器学习/深度学习 JSON 自然语言处理
python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
46 0
|
3月前
|
机器学习/深度学习 人工智能 监控
【AI 现况分析】AI 大模型在自动化交易的应用
【1月更文挑战第27天】【AI 现况分析】AI 大模型在自动化交易的应用
|
4月前
|
机器学习/深度学习 存储 JSON
Azure - 机器学习:使用自动化机器学习训练计算机视觉模型的数据架构
Azure - 机器学习:使用自动化机器学习训练计算机视觉模型的数据架构
32 0
|
5月前
|
机器学习/深度学习 算法 测试技术
【网安专题10.25】10 TitanFuzz完全自动化执行基于变异的模糊测试:生成式(如Codex)生成种子程序,逐步提示工程+第一个应用LLM填充模型(如InCoder)+差分测试
【网安专题10.25】10 TitanFuzz完全自动化执行基于变异的模糊测试:生成式(如Codex)生成种子程序,逐步提示工程+第一个应用LLM填充模型(如InCoder)+差分测试
122 0
|
5月前
|
机器学习/深度学习 自然语言处理 算法
【网安AIGC专题10.11】2 ILF利用人类编写的 自然语言反馈 来训练代码生成模型:自动化反馈生成+多步反馈合并+处理多错误反馈+CODEGEN -M ONO 6.1 B model
【网安AIGC专题10.11】2 ILF利用人类编写的 自然语言反馈 来训练代码生成模型:自动化反馈生成+多步反馈合并+处理多错误反馈+CODEGEN -M ONO 6.1 B model
68 0
|
15天前
|
数据采集 存储 API
网络爬虫与数据采集:使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识,包括网络爬虫概念(请求网页、解析、存储数据和处理异常)和Python常用的爬虫库requests(发送HTTP请求)与BeautifulSoup(解析HTML)。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用,如获取新闻数据和商品信息。