近日，中国科学技术大学信息科学技术学院的王子磊副教授在域适应语义分割方向取得新进展。该研究团队利用了高质量的目标域信息，从边界和特征两个维度为域适应语义分割提供了更准确的监督信号，显著地提高了域适应语义分割的质量，这项研究为域适应语义分割领域提供了新思路。相关成果以“Exploring High-quality Target Domain Information for Unsupervised Domain Adaptive Semantic Segmentation”为题发表在多媒体顶级国际会议ACM MM 2023。
域适应语义分割旨在利用有标注的源域数据辅助模型在无标注目标域数据上的学习。其关键是如何在目标域上构造有效的监督信号。为此，现有方法大多使用复杂的多阶段知识蒸馏框架来提取无标注数据中有用的语义信息，而忽略了对边界信息的挖掘。VIM研究组通过可视化分析发现，域适应模型往往在语义边界附近会出现大量的预测错误，即当前域适应语义分割的难点主要在于语义边界区域的分割。
为此，研究者们设计了一种基于边界的跨域混合方案，旨在生成高质量的目标域语义边界样本，提高模型对于语义边界的分割质量。具体来说，预测目标域的分割结果，提取高置信度的区域粘贴到源域图像上，以产生高质量的目标域语义边界样本。
此外，为了使模型在目标域学习到更紧凑的特征，研究组们还提出了多层级对比学习，使用像素到像素和像素到原型的对比学习来学习目标域更具鉴别性的特征，提高模型在目标域的分割性能。
该研究有效地解决了当前方法在目标域语义边界处预测不准确的问题，并首次提出基于边界的跨域混合技术，为域适应学习提供高质量的目标域边界样本，为域适应语义分割领域提供了新思路。
中国科学技术大学王子磊副教授为该论文的通讯作者；信息科学技术学院的博士生李俊杰为该论文的第一作者，博士生高源和胡效鸣分别为该论文的第三和第四作者。