当前位置：首页 > news >正文

【每日Arxiv热文】ICLR2026 ！SAM3重磅来袭：能“听懂人话”的分割模型，性能狂飙2倍！

news 2025/10/17 16:55:15

1.论文概述

论文标题：SAM3: Segment Anything with Concepts

作者团队：Anonymous authors
发布时间：ICLR2026
论文链接：https://openreview.net/pdf?id=r35clVtGzw

👉Lab4AI 大模型实验室链接：

https://www.lab4ai.cn/paper/detail/reproductionPaper?utm_source=jssq_bky&id=db767205533345c2ab013a7c31cbea7a

| 01 摘要解析

SAM3（SegmentAnythingModel3）代表了图像和视频分割领域的重大突破，这是一个基于概念提示的统一模型，能够检测、分割和跟踪图像视频中的对象。其核心创新在于提出了可提示概念分割（PromptableConceptSegmentation,，PCS），支持通过短名词短语（如“黄色校车”）、图像范例或二者组合作为提示，为所有匹配对象实例返回分割掩码和唯一标识。传统方法相比，SAM3 在图像和视频 PCS 任务上实现了 2 倍的性能提升，同时在交互式视觉分割任务中也改进了前代 SAM 的能力。

| 02 研究背景与动机

计算机视觉中寻找和分割视觉场景中任何对象的能力是多模态 AI 的基础，支撑着机器人技术、内容创作、增强现实、数据注释和科学领域的应用。虽然 SAM 系列引入了通过交互式提示分割图像视频中对象的概念，但 SAM1 和 SAM2 主要关注视觉提示（点、框、掩码），且每个提示仅分割单个对象实例，存在明显局限：

任务范围窄：仅聚焦单提示单目标实例分割，无法处理“分割场景中所有某类概念目标”，如视频中所有“猫”；
提示类型受限：SAM1、SAM2 以视觉提示为主，对文本概念的泛化能力不足；
开放性不足：难以应对开放词汇表场景下的歧义问题（如“小窗户”的主观性边界定义）。

为解决上述问题，SAM3 扩展出提示性概念分割（PCS）任务，填补“概念级全实例分割”的技术空白。

| 03 可提示概念分割（PCS）

PCS 任务的核心目标是：给定一张图像或时长 ≤30 秒的短视频，模型根据概念提示（短名词短语、图像示例或两者结合），完成检测、分割、跟踪符合概念的对象。该类任务的本质是开放词汇，它具有固有的模糊性或歧义。许多概念存在多种解释，例如“小窗户”是主观的（小 vs 大）且边界模糊（有百叶窗 vs 无百叶窗）。

SAM3 研究团队通过三大方式缓解：一是在 SA-Co 基准的 Gold 子集为每个数据点收集 3 名位专家的标注，允许“多有效解释”；二是在数据标注阶段制定清晰指南，减少标注歧义；三是在模型中引入“歧义模块”，学习概念的不同合理解释。

| 04 架构设计

SAM3 基于 SAM2 与 DETR 架构扩展，SAM3 采用检测器与跟踪器共享视觉编码器的双路径架构。PE 是 SAM3 的“多模态特征中枢”，负责统一编码图像、文本、图像示例的特征，为检测器与跟踪器提供对齐的视觉-语言嵌入。检测器基于 DETR 范式设计，核心创新是“解耦识别与定位”，解决传统 DETR 中“单个目标查询需同时负责‘目标是否存在（识别）’与‘目标在哪里（定位）’”的矛盾。跟踪器继承 SAM2 的 Transformer 编解码器架构，核心是实现“检测器新目标检测 + 跟踪器掩码传播 + 实例匹配更新”的闭环流程，确保视频帧间实例 ID 的一致性与掩码精度。

简单来说就是，SAM3 能理解点或者框圈出来的物体（exemplar），也能理解提示概念（a penguin）。

| 05 四阶段数据引擎

为解决 PCS 任务“数据稀缺且概念覆盖不足”的问题，研究团队构建了四阶段数据引擎，通过与 SAM3、人类标注员和 AI 标注员的反馈循环迭代地生成注释数据。数据引擎分四个阶段演进，每个阶段增加 AI 模型的使用，将人类努力导向最具挑战性的失败案例，同时扩展视觉领域覆盖范围。

阶段 1：人类验证。该阶段的目标是建立“人工标注基准”，为后续 AI 标注器训练提供高质量数据。
阶段 2：人类 +AI 验证。使用第一阶段收集的人工标注数据微调 Llama3.2，得到两个 AI 验证器：一是“掩码验证器（MVAI）”，判断掩码与概念提示的匹配度；二是“完整性验证器（EVAI）”，判断掩码是否覆盖所有实例。
阶段 3：扩展与领域扩展。该阶段聚焦“长尾概念”与“多领域数据”，使用 AI 模型挖掘日益挑战性的案例，将领域覆盖扩展到 15 个数据集，通过从可用 alt-text 中提取 NP 扩展概念覆盖。
阶段 4：视频标注。该阶段将数据引擎扩展到视频，聚焦“视频特有挑战”（如遮挡、快速运动、帧间实例关联）。

这种数据引擎设计使标注吞吐量翻倍，最终产生了包含 400 万个独特短语和 5200 万个掩码的高质量训练数据集，以及包含 3800 万个短语和 14 亿个掩码的合成数据集。