RefMask3D: 基于语言引导的3D指代分割Transformer

论文 RefMask3D: Language-Guided Transformer for 3D Referring Segmentation 提出了一种新的方法来解决3D点云中的目标识别和分割问题，特别是基于语言描述的目标识别。

(a) 两阶段框架在后期匹配阶段融合语言特征，表现出有限的交互和视觉与语言特征之间较弱的对齐。相比之下，(b) 我们的RefMask3D在早期特征编码阶段和解码阶段都进行了全面的视觉-语言融合。结合对比学习，我们的模型比两阶段方法学习到更结构化的视觉-语言联合特征空间。

主要贡献

所提出的RefMask3D框架概述。它通过几何增强的组词注意力机制从点编码器中提取富含文本信息的点特征。随后，语言原语构建模块生成用于体现特定语义属性的原语。这些原语随后被输入到Transformer解码器中，以聚焦于多样的语义。对象聚类模块用于分析语言原语之间的相互关系，统一它们的见解并提取共同特征，从而提高目标识别的精度。

几何增强的组词注意力机制（Geometry-Enhanced Group-Word Attention, GEGWA）：

目的：解决点云数据稀疏和不规则性带来的噪声问题。

方法：在点编码器的每个阶段进行语言和局部组（子云）之间的跨模态注意力机制。

优势：利用几何相邻点的内在关系，减少了直接点到词的关联带来的噪声，提高了模型对语言和几何数据的理解能力。

效果：显著提高了模型在跨模态交互中的表现。

语言原语构建策略（Linguistic Primitives Construction, LPC）：

目的：解决现有方法在训练和优化过程中面临的挑战，如噪声和不足的训练。

方法：初始化一组多样的原语，每个原语代表不同的语义属性（如形状、颜色、大小、关系、位置等）。

优势：通过与特定语言信息的交互，这些原语能够获取相应的属性，从而增强模型在点云中准确定位和识别目标的能力。

效果：提高了模型在多样语义信息下的目标识别能力。

对象聚类模块（Object Cluster Module）：

目的：实现对语言和视觉信息的整体理解，从而准确识别唯一目标对象。

方法：分析语言原语之间的关系，提取共同特征，形成最终的对象嵌入。

优势：帮助模型加深对语言和视觉信息的整体理解。

效果：显著提高了模型在复杂场景下的目标识别能力。

方法概述

架构概览：提出了一个端到端的3D指代分割模型RefMask3D，输入为点云场景和文本描述，输出为目标对象的点状掩码。与传统方法不同，RefMask3D在点编码器中集成了多模态融合，利用几何增强的组词注意力机制来处理局部组（子云），减少了直接点到词关联带来的噪声。

视觉和语言特征提取：使用文本编码器将文本描述嵌入到语言特征中，并在编码器中建立深度交互。

对象聚类模块：通过分析语言原语之间的关系，提取共同特征，形成最终的对象嵌入，帮助模型加深对语言和视觉信息的整体理解。

实验结果

组件分析：详细实验表明，几何增强的组词注意力机制（GEGWA）和语言原语构建策略（LPC）显著提高了模型的性能。通过对比不同的查询输入方法，LPC在准确定位和识别目标对象方面表现优异。

性能对比：RefMask3D在3D指代分割和视觉定位任务中取得了新的最先进性能，显著超越了之前的方法。

可视化结果：可视化结果展示了不同原语代表的语义属性（如颜色、关系、名称等），以及RefMask3D在复杂语言描述下准确分割目标对象的能力。

原语热图可视化。不同的原语代表不同的语义属性。蓝色表示最低响应水平，而红色表示最高响应水平。

结论

论文提出的方法通过几何增强的组词注意力机制、语言原语构建策略和对象聚类模块，显著提高了3D点云中基于语言描述的目标识别和分割性能。通过创新的跨模态融合和特征提取方法，为3D点云中的目标识别和分割提供了新的思路和技术手段。

相关信息

代码：https://github.com/heshuting555/refmask3d

论文：https://arxiv.org/abs/2407.18244v1