当前位置: 首页 > news >正文

跨数据与任务的可扩展图像分割技术

跨数据与任务的可扩展图像分割

在2025年计算机视觉与模式识别会议(CVPR)上提出的一篇论文中,我们介绍了一种新的图像分割方法,该方法能够跨不同数据集和任务进行扩展。传统分割模型虽然在孤立任务上有效,但随着新任务或陌生场景数量的增加,往往表现不佳。我们提出的方法使用称为混合查询变换器(MQ-former)的模型,旨在实现跨多个任务和数据集的联合训练和评估。

可扩展分割

图像分割是一种计算机视觉任务,涉及将图像划分为不同的区域或片段。每个片段对应于场景中的不同对象或部分。存在多种类型的分割任务,包括前景/背景分割(区分不同距离的对象)、语义分割(将每个像素标记为属于特定对象类别)和实例分割(识别每个像素属于对象类别的特定实例)。

“可扩展性”意味着分割模型能够随着训练数据集大小的增加、执行任务的多样性或两者的增加而有效改进。大多数先前的研究都集中在其中一个方面——数据或任务多样性。我们同时解决了这两个问题。

两种查询的故事

在我们的论文中,我们展示了阻碍分割模型有效可扩展性的一个问题是对象查询的设计。对象查询是一种表示场景中对象假设的方式——这种假设可以针对图像进行测试。

对象查询主要有两种类型。第一种,我们称之为“可学习查询”,是学习的向量,与图像特征交互并编码有关位置和对象类别的信息。可学习查询在语义分割上往往表现良好,因为它们不包含对象特定的先验。

第二种类型的对象查询,我们称之为条件查询,类似于两阶段对象检测:区域提议由变换器编码器生成,然后将高置信度的提议作为查询馈送到变换器解码器中以生成最终预测。条件查询与对象类别紧密对齐,并且在语义定义明确的对象上的对象检测和实例分割方面表现出色。

我们的方法是结合两种类型的查询,这提高了模型在任务间迁移的能力。我们的MQ-Former模型使用可学习查询和条件查询来表示输入,并且解码器的每一层都具有交叉注意力机制,以便可学习查询的处理可以考虑来自条件查询处理的信息,反之亦然。

利用合成数据

混合查询有助于跨分割任务的可扩展性,但分割模型可扩展性的另一个方面是数据集大小。扩展分割模型的关键挑战之一是高质量标注数据的稀缺。为了克服这一限制,我们建议利用合成数据。

虽然分割数据稀缺,但对象识别数据却很丰富。对象识别数据集通常包括边界框或标识标记对象所在图像区域的矩形。

要求训练好的分割模型仅分割边界框内的对象显著提高了性能;因此,我们能够使用较弱的分割模型将对象识别数据集转换为可用于训练更强分割模型的分割数据集。

边界框还可以将自动字幕生成模型聚焦于图像中的感兴趣区域,以提供训练语义分割和实例分割模型所需的对象分类类型。

实验结果

我们使用涵盖一系列分割任务的15个数据集评估了我们的方法,并发现,使用MQ-Former,同时扩展训练数据量和任务多样性持续增强了模型的分割能力。

例如,在SeginW基准测试中(包括25个用于开放词汇野外分割评估的数据集),将数据和任务从100,000个样本扩展到600,000个,对象掩码的平均精度提高了16%。结合合成数据将性能又提高了14%,建立了新的技术水平。
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)

公众号二维码

公众号二维码

http://www.hskmm.com/?act=detail&tid=29923

相关文章:

  • 2025年10月变位机厂家最新推荐排行榜,焊接变位机,机器人变位机,重型变位机,轻型变位机公司推荐!
  • 2025年中国开发者代码管理平台选型全景报告:从本土化适配到全球化协作
  • ZKsync Baby Alpha里程碑达成:zkEVM技术架构全面解析
  • 【技术干货】Vaadin Flow vs Hilla:你该选择哪个Java Web框架?
  • 使用CVX工具箱求解凸优化问题示例
  • 2025年10月家纺摄影公司最新推荐榜单,专业拍摄与创意设计一站式服务首选!
  • 彩笔运维勇闯机器学习--KNN算法
  • FastReport文本框根据高度缩小字体
  • 国产代码托管平台Gitee崛起:企业级Git自建解决方案深度解析
  • 易基因:植物作为表观遗传学研究理想模型 如何把握研究思路与应用探索|项目解析
  • 供应商协同管理系统:打破协作壁垒提升供应链效能
  • 2025年10月锅炉厂家最新权威推荐榜:高效节能与安全稳定品质之选!
  • Gitee如何重塑中国开发者的效率革命?
  • 2025 年最新推荐雕塑源头厂家排行榜:聚焦成本、定制与全国布局,助力客户精准选合作方铸铜/铸铝/仿古/校园/广场/人物雕塑厂家推荐
  • 高效办公必备:自动同步文件的工具如何选
  • 关于通过样式设置的章标题等可能出现不能完全居中的问题的解决办法
  • 2025年10月掘进机厂家最新推荐排行榜,隧道掘进机,煤矿掘进机,城市轨道掘进机公司推荐!
  • Aave 协议的最新版本
  • 2025 年国内空调机组厂家最新推荐,含冷凝热回收等多类型空调机组企业优选指南! 泳池热泵/屋顶式/海水源养殖热泵/精密机房/岗位送风空调机组厂家推荐
  • 2025 年攻丝机定制厂家最新推荐排行榜:聚焦非标异形件加工需求,精选优质品牌助力企业高效生产
  • Uniswap 入门:小白也能懂的去中心化交易所指南
  • Codeforces Round 1058 (Div. 2) A - D
  • ACE-Step音乐生成大模型:开启AI音乐创作新纪元
  • c++操纵器std::ws
  • 2025 年计数包装机厂家最新推荐榜:聚焦高精度高效能品牌,助力企业智能化生产升级全自动/种子/五金/注塑件/纽扣计数包装机厂家推荐
  • JAVA工具包
  • 2025 年蝶阀厂家最新推荐:全金属 / 高压 / 美标 / 双偏心 / 三偏心等各类蝶阀优质厂家榜单及选择指南
  • 基于MATLAB的一维大地电磁反演程序实现
  • 2025 年国内发电机厂家最新推荐排行榜:汽油 / 柴油 / 10KW-200KW 多功率机型精选,全方位解读品牌实力助力精准选购
  • wqs二分学习笔记