近日，安博注册、农林人工智能研究院、智慧农林福建省高校重点实验室杨长才课题组在国际人工智能领域高水平SCI期刊IEEE Transactions on Circuits and Systems for Video Technology（美国电气电子工程师学会视频技术电路与系统汇刊）上发表题为“MatchMamba:Correspondence Pruning via Selective State Space Model（基于选择状态空间模型的对应剪枝方法）”的研究论文。福建农林大学硕士研究生吴煜彬为第一作者，课题组负责人杨长才副教授为唯一通讯作者。

论文封面

双视图图像中的对应关系识别是计算机视觉的关键，直接影响视觉定位、SLAM等任务。然而，初始对应常含大量离群点，精确匹配极具挑战。现有研究多通过定义局部消息传递机制，堆叠多层来传播信息并利用图卷积神经网络（GCN）将局部信息融合成全局信息。然而，这些方法往往忽略了GNN的过度平滑问题，在多层信息传播的过程中，节点特征逐渐趋同，导致内点与外点难以区分。此外，一些研究尝试将GNN与Transformer结合，利用Transformer的全局上下文建模能力扩大感受野，以捕获对应关系之间的拓扑信息。然而，注意力机制是Transformer有效性的关键，其计算复杂度呈二次增长，也就是说，随着序列长度的增加，计算成本会显著上升，导致模型变慢，这对低算力设备不友好。因此，自然地提出了一个问题：如何设计一种方法，既能有效缓解GNN的过度平滑问题，又能以恰当的复杂度捕获全局上下文？

为了解决这些问题，本文提出了一种基于选择性状态空间模型的新型对应修剪网络（MatchMamba），如图1所示。所提出的MatchMamba将GNN强大的图特征提取能力与Mamba的选择机制和高效的全局上下文捕获能力相结合。它缓解了GNN在信息传播过程中的过度平滑问题，并以适当的复杂性捕获全局上下文。具体来说，我们首先使用GNN显式构建一个局部邻居图，并引入聚类采样空间Mamba（CSSM）块来捕获细粒度的局部上下文，如图2所示。CSSM通过软分配将节点映射到一系列粗略的集群中，并使用Mamba的选择机制动态过滤和处理局部上下文。它删除不相关的信息，并根据每个邻域的相关性进行自适应聚合，同时更新隐藏状态，从而保留关键的局部上下文，并解决图构建后过度平滑的问题。此外，为了适应对应数据的无序性和非因果性，我们设计了对应翻转的双向Mamba（CFBM）块。CFBM对对应序列进行正向和反向扫描，使每个对应都能充分学习其他对应的特征，并以适当的复杂性捕获全局上下文。如图3所示，所提出的MatchMamba能够有效地识别内点、剔除离群点，并在多个公共数据集上实现了最先进的性能。

图1

图2

图3

安博(中国)、农林人工智能研究院、智慧农林福建省高校重点实验室硕士吴煜彬为论文第一作者，杨长才副教授为论文通讯作者。陈日清教授指导研究工作。陈昊老师和李晓洁博士等也为本研究成果作出重要贡献。该研究得到了国家自然科学基金项目、福建高校产学研联合创新项目、福建省自然科学基金面上项目等资助。

论文链接：https://ieeexplore.ieee.org/abstract/document/11121362

论文代码：https://github.com/Mrwyb/MatchMamba

第一作者简介：

吴煜彬

吴煜彬，安博注册2023级硕士研究生，主要研究方向为计算机视觉，图像特征匹配。以第一作者在《IEEE Transactions on Circuits and Systems for Video Technology》期刊发表论文1篇。

通讯作者简介：

杨长才

杨长才，博士/副教授、硕士生导师，福建省高层次人才B类人才，现任福建省人工智能学会常务理事，CCF杰出会员，IEEE高级会员，CCF YOCSEF福州2021-2022年度主席。长期从事作物表型识别、计算机视觉、图像处理等研究。已主持包含国家自然科学基金等20余项省部级项目、参与完成国家“863”计划等项目。所指导的硕士学位论文多次被评为福建省优秀硕士学位论文。以第一作者及通讯作者在CVPR、IEEETCSVT/IMM/TGRS、ISPRS等国际会议和期刊上发表论文40余篇。担任IEEE TIP/TCSVT/TGRS、ISPRS、ESA、KBS、CVPR、ICCV、AAAI、ACM MM等国际知名期刊和会议的审稿人。