可提示的设计
SAM可以接受来自其他系统的输入提示。例如，根据AR/VR头显传来的用户视觉焦点信息，来选择对应的物体。Meta通过发展可以理解现实世界的AI，恰恰为它未来元宇宙之路铺平道路。
或者，利用来自物体检测器的边界框提示，实现文本到物体的分割。
可扩展的输出
输出掩码可以作为其他AI系统的输入。例如，物体的mask可以在视频中被跟踪，通过成像编辑应用程序，变成3D，或用于拼贴等创造性任务。
零样本的泛化
SAM学会了关于物体是什么的一般概念——这种理解使其能够对不熟悉的物体和图像进行零样本概括，而不需要额外训练。
各种评测
选择Hover&Click，点Add Mask后就出现绿点，点Remove Area后出现红点，吃苹果的花花立刻就被圈出来了。
而在Box功能中，简单框选一下，就立马完成识别。
点Everything后，所有系统识别出的对象立刻全部被提取出来。
选Cut-Outs后，秒得一个三角团子。
SA-1B数据集：1100万张图像，11亿个掩码
除了发布的新模型，Meta还发布了迄今为止最大的分割数据集SA-1B。这个数据集由1100万张多样化、高分辨率、保护隐私的图像，以及11亿个高质量分割掩码组成。数据集的整体特性如下：
· 图像总数: 1100万
· 掩码总数: 11亿
· 每张图像的平均掩码: 100
· 平均图像分辨率: 1500 × 2250 pixels注意：图像或掩码标注没有类标签Meta特别强调，这些数据是通过我们的数据引擎收集的，所有掩码均由SAM完全自动生成。
有了SAM模型，收集新的分割掩码的速度比以往任何时候都快，交互式标注一个掩码只需要大约14秒。
每个掩码标注过程只比标注边界框慢2倍，使用最快的标注界面，标注边界框大约需要7秒。与以前的大规模分割数据收集工作相比，SAM模型COCO完全手动的基于多边形的掩码标注快6.5倍，比以前最大的数据标注工作（也是模型辅助）快2倍。
然而，依赖于交互式标注掩码并不足以创建10亿多个掩码数据集。因此，Meta构建了一个用于创建SA-1B数据集的数据引擎。这个数据引擎有三个「齿轮」：1. 模型辅助标注2. 全自动标注与辅助标注的混合，有助于增加收集到的掩码的多样性3. 全自动掩码创建，使数据集能够扩展我们的最终数据集包括超过11亿个分割掩码，这些掩码收集在大约1100万张授权和保护隐私的图像上。SA-1B比任何现有的分割数据集多出400倍的掩码。并且通过人类评估研究证实，掩码具有高质量和多样性，在某些情况下，甚至在质量上可与之前规模更小、完全手动标注数据集的掩码相媲美。
SA-1B的图片是通过来自多个国家/地区的照片提供商获取的，这些国家/地区跨越不同的地理区域和收入水平。虽然某些地理区域仍然代表性不足，但SA-1B比以前的分割数据集在所有地区都有更多的图像和更好的整体代表性。最后，Meta称希望这些数据可以成为新数据集的基础，这些数据集包含额外的标注，例如与每个掩模相关联的文本描述。
RBG大神带队
Ross Girshick
Ross Girshick（常被称为RBG大神）是Facebook人工智能研究院（FAIR）的一名研究科学家，他致力于计算机视觉和机器学习的研究。2012年，Ross Girshick在Pedro Felzenszwalb的指导下获得了芝加哥大学的计算机科学博士学位。在加入FAIR之前，Ross是微软研究院的研究员，也是加州大学伯克利分校的博士后，在那里他的导师是Jitendra Malik和Trevor Darrell。他获得了2017年的PAMI青年研究员奖，2017年和2021年的PAMI Mark Everingham奖，以表彰他对开源软件的贡献。众所周知，Ross和何恺明大神一起开发了R-CNN方法的目标检测算法。2017年，Ross和何恺明大神的Mask R-CNN论文获得了ICCV 2017最佳论文。
网友：CV真不存在了
Meta打造的这款CV领域的分割基础模型，让许多网友高呼「这下，CV是真不存在了。」
Meta科学家Justin Johnson表示：「对我来说，Segment Anything的数据引擎和ChatGPT的RLHF代表了大规模人工智能的新时代。与其从嘈杂的网络数据中学习一切，不如巧妙地应用人类标注与大数据相结合，以释放新的能力。监督学习强势回归！」
唯一遗憾的是，SAM模型发布主要是由Ross Girshick带队，何恺明却缺席了。
知友「matrix明仔」表示，这篇文章进一步证明多模态才是CV的未来，纯CV是没有明天的。
参考资料：https://ai.facebook.com/blog/segment-anything-foundation-model-image-segmentation/https://www.zhihu.com/question/593914819
