近日，中国科学技术大学信息科学技术学院的王子磊副教授在域适应语义分割方向取得新进展。该研究团队利用了光流的跨域鲁棒性为域适应语义分割提供了更鲁棒的监督信号，显著地提高了域适应语义分割的质量，这项研究为域适应语义分割领域提供了新思路。相关成果以“Exploit Domain-robust Optical Flow in Domain Adaptive Video Semantic Segmentation”为题发表在AAAI 2023。
域适应语义分割旨在利用有标注的源域数据辅助模型在无标注目标域数据上的学习。其关键是如何在目标域上构造有效的监督信号。现有方法（对抗方法AT，自训练方法ST及视频自训练方法VST）都是利用分割模型在目标域上构造监督信号。但由于分割模型是跨域敏感的，现有方法构造的监督信号往往是不准确的。
为了解决当前方法监督信号不准确的问题，中国科学技术大学王子磊副教授的VIM研究组探索并验证了光流的跨域鲁棒性，并提出利用光流代替跨域敏感的分割模型来为目标域构造鲁棒准确的监督信号。为了探索光流模型和分割模型的域差异，对两个模型分别进行了纯源域训练和纯目标域训练，并使用从纯目标域训练到纯源域训练的性能下降表示域差异的大小。研究表明，分割模型的域间差异很大，是跨域敏感的；而光流模型几乎没有域差异，即光流是跨域鲁棒的。
验证了光流的跨域鲁棒性，接着就要解决如何利用光流去监督语义分割的问题。为此，研究者们首先设计了分割光流转换模块，将语义分割结果转换成特殊的光流，记为分割流。该模块确保分割流的质量与语义分割结果成正比。基于此，研究者们可以使用目标域上高质量的光流监督分割流，从而迫使分割模型输出正确的语义分割结果。此处，提取目标域上高质量光流的过程得益于光流的跨域鲁棒性。
该研究有效地解决了当前方法在目标域上构造的监督信号不准确的问题，并首次提出使用跨域鲁棒的信息来构造准确监督信号的方案，为域适应语义分割领域提供了新思路。
中国科学技术大学王子磊副教授为该论文的通讯作者；信息科学技术学院的博士生高源为该论文的第一作者，博士生庄嘉帆、张燚鑫和李俊杰分别为该论文的第三、第四和第五作者。