近日，中国科大VIM研究组与中科院自动化所谭铁牛院士课题组合作，提出新的跨域跨集合小样本学习任务设定，并针对该任务设定提出双向对齐紧致表达学习方法，有效缓解了小样本图像分类中的跨域问题。相关成果以“Cross-Domain Cross-Set Few-Shot Learning via Learning Compact and Aligned Representations”为题，发表在计算机视觉顶级国际会议ECCV2022上。
小样本图像分类旨在使用少量训练图像实现对新类别图像进行分类。由于成像设备、拍摄环境、光照条件等因素的改变，域偏移问题在图像分类中经常出现，对小样本图像分类带来了更大的挑战。对于小样本图像分类任务来说，域偏移可能出现在已知类别图像和新类别图像之间，也可能存在于新类别的训练图像和测试图像之间。之前的工作大多集中于第一种情况的研究，对第二种情况的研究亟待加强。
图1. 跨域跨集合小样本学习任务设定和增强的双向原型对齐框架示意图
针对上述问题，本文专门对新类别训练数据（支撑集）和测试数据（查询集）的域偏移问题进行了建模，提出了一个新的跨域跨集合小样本学习任务设定（Cross-Domain Cross-Set Few-Shot Learning, CDCS-FSL）。如图1(a)所示，该设定分为两种情况，第一种情况下，支撑集和已知类别图像来自同一个图像域（称为源域），而查询集来自一个新的图像域（称为目标域）。第二种情况下，查询集和已知类别图像都来自源域，而支撑集来自目标域。为了缓解域偏移的影响，该设定允许使用无标注的目标域图像来辅助表征学习。针对提出的CDCS-FSL任务设定，本文提出增强的双向原型对齐框架（Strong Augmented Bi-directional Prototypical Alignment, stabPA）来学习跨域对齐且类内紧凑的图像表征。如图1(b)所示，本文首先通过伪标签估计目标域的类别原型，并让源域的图像特征向量聚集到目标域对应的类别原型周围，实现源域到目标域的对齐，同样本文让目标域的图像特征向量聚集到源域对应类别的类别原型周围，实现目标域到源域的对齐。同时本文最大化不同类样本之间的特征距离以获得更加可分的特征空间。考虑到数据增强不会改变样本的语义类别且能很好的增加数据多样性，本文使用数据增强对每个域的样本进行扩充，并对扩充的样本施加同样的双向原型对齐。本文在两个新建的跨域跨集合小样本学习基准数据集上对提出的方法进行评估，实验结果显示本文的方法在两个基准数据集上大幅度领先其他方法，将5-shot分类精度平均提高5.7%。
中国科学技术大学博士生陈文弢为本工作的第一作者，中科院自动化所张彰副研究员为本工作的通讯作者。该研究工作得到国家自然科学基金项目的资助。