Grounded-SAM模型:自动化检测、分割、生成一切

本文涉及的产品
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,分割抠图1万点
简介: 借着Meta发布的Segment Anything视觉大模型,作者团队做了一个最强Zero-Shot视觉应用:最强的Zero-Shot检测器,最强的Zero-Shot分割器,最强的Zero-Shot生成器,三合一模型简称为Grounded-SAM。

借着Meta发布的Segment Anything视觉大模型,作者团队做了一个最强Zero-Shot视觉应用:最强的Zero-Shot检测器,最强的Zero-Shot分割器,最强的Zero-Shot生成器,三合一模型简称为Grounded-SAM



项目链接:https://github.com/IDEA-Research/Grounded-Segment-Anything

 

DSW链接:

https://pai.console.aliyun.com/?regionId=cn-hangzhou&workspaceId=42414#/dsw-gallery-workspace/preview/deepLearning/cv/grounded-sam



三种类型的模型可以分开使用,也可以组合式使用,组建出强大的视觉工作流模型,整个工作流拥有了检测一切,分割一切,生成一切的能力。



经过了几天的迭代,Grounded-SAM迎来了第二波更新,这一波直接一步到位,直接集结了WhisperChatGPTStable DiffusionSegment Anything四大领域的Foundation Models,作者团队做了一个只动嘴不动手的全自动化视觉工具。



 

 

 


BLIP + Grounded-SAM = 自动化标注器!

image.png

可以想象未来只需要语音交互就能够完成所有的视觉工作流任务,这是多么奇妙的一件事情啊!

Grounded SAM

image.png



Grounded-SAM + Stable Diffusion = 数据生成器!

image.png



借助Grounding DINO强大的Zero-Shot检测能力,Grounded SAM可以通过文本描述就可以找到图片中的任意物体,然后通过Segment Anything强大的分割能力,细粒度的分割出mask,最后还可以利用Stable Diffusion对分割出来的区域做可控的文图生成



单点式 -> 组合式

image.png





Grounding DINO例子

image.png

Grounded-Segment-Anything例子

image.png



Gradio APP

image.png



同时我们还提供了可视化网页,可以更方便的尝试各种例子。

更多例子

image.png





图像编辑功能

image.png



语音交互功能

image.png



多轮对话功能

3D全身人体网格恢复

image.png





Grounded-SAM未来的想象空间:

比如可控的自动的生成图像,构建新的数据集。

比如提供更强的基础模型与分割预训练。

比如引入GPT-4,进一步激发视觉大模型的潜力。

比如可以做为预打标工具。

......



欢迎体验和建议!

项目链接:https://github.com/IDEA-Research/Grounded-Segment-Anything

 

相关文章
|
6月前
|
并行计算 Linux 计算机视觉
还在手工标注数据集?快来试一试自动化多模型标注大模型-gui交互式标注(部署运行教程-高效生产力)
还在手工标注数据集?快来试一试自动化多模型标注大模型-gui交互式标注(部署运行教程-高效生产力)
|
26天前
|
机器学习/深度学习 数据采集 监控
如何使用机器学习模型来自动化评估数据质量?
【10月更文挑战第6天】如何使用机器学习模型来自动化评估数据质量?
|
3月前
|
机器学习/深度学习 数据采集 监控
如何使用机器学习模型来自动化评估数据质量?
如何使用机器学习模型来自动化评估数据质量?
180 1
|
11天前
|
机器学习/深度学习 数据采集 监控
如何使用机器学习模型来自动化评估数据质量?
如何使用机器学习模型来自动化评估数据质量?
|
3月前
|
数据采集 机器学习/深度学习 算法
"揭秘数据质量自动化的秘密武器:机器学习模型如何精准捕捉数据中的‘隐形陷阱’,让你的数据分析无懈可击?"
【8月更文挑战第20天】随着大数据成为核心资源,数据质量直接影响机器学习模型的准确性和效果。传统的人工审查方法效率低且易错。本文介绍如何运用机器学习自动化评估数据质量,解决缺失值、异常值等问题,提升模型训练效率和预测准确性。通过Python和scikit-learn示例展示了异常值检测的过程,最后强调在自动化评估的同时结合人工审查的重要性。
87 2
|
3月前
|
机器学习/深度学习 数据采集 测试技术
利用Python实现简单的机器学习模型软件测试的艺术与科学:探索自动化测试框架的奥秘
【8月更文挑战第27天】在本文中,我们将一起探索如何通过Python编程语言创建一个简单的机器学习模型。我们将使用scikit-learn库中的线性回归模型作为示例,并通过一个实际的数据集来训练我们的模型。文章将详细解释每一步的过程,包括数据预处理、模型训练和预测结果的评估。最后,我们会用代码块展示整个过程,确保读者能够跟随步骤实践并理解每个阶段的重要性。
|
5月前
|
人工智能 人机交互 语音技术
让大模型更懂你的情绪——通义实验室与中科院自动化所联合开源中英双语共情语音对话模型BLSP-Emo
BLSP-Emo模型展示了情感智能在人机交互中的重要性,未来的多模态模型将更加注重情感的识别和表达,使得机器能够更加准确地理解和回应用户的情感状态,甚至生成富有情感的语音反馈。同时,BLSP-Emo展示了将副语言信号对齐到大语言模型语义空间的可能性,我们期待着更加人性化、更具有共情力的对话交互模型的出现。
|
6月前
|
机器学习/深度学习 运维 持续交付
构建高效自动化运维体系:Ansible与Docker的完美结合构建高效机器学习模型的五大技巧
【4月更文挑战第30天】 在当今快速发展的云计算和微服务架构时代,自动化运维已成为维持系统稳定性和提高效率的关键。本文将探讨如何通过结合Ansible和Docker技术构建一个高效的自动化运维体系。文章不仅介绍了Ansible与Docker的基本原理和优势,还详细阐述了如何整合这两种技术以简化部署流程、加强版本控制,并提高整体运维效率。通过案例分析,我们将展示这一组合在实际环境中的应用效果,以及它如何帮助企业实现持续集成和持续部署(CI/CD)的目标。 【4月更文挑战第30天】 在数据驱动的时代,构建一个高效的机器学习模型是获取洞察力和预测未来趋势的关键步骤。本文将分享五种实用的技巧,帮助数
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
|
6月前
|
机器学习/深度学习 数据采集 运维
高效处理异常值的算法:One-class SVM模型的自动化方案
高效处理异常值的算法:One-class SVM模型的自动化方案
199 1

热门文章

最新文章