Reducing the Covariate Shift by Mirror Samples in Cross Domain Alignment
作者
王敏全
赵寅
蔡龙军
(作者均来自阿里巴巴阿里文娱AI大脑北斗星团队)
简介
在基础视觉分类任务中,通过消除domain之间的 covariate shift来做到domain alignment是解决无监督跨域自适应unsupervised domain adaptation (UDA)的一种常用方法。然而目前无论是prototype based还是sample-level based的domain alignment方法都忽视了数据分布的结构特性甚至破坏了covariate shift的基本假设。
本文提出了一个新颖的在另一个domain构造(虚拟)镜像样本的方法。所构造的镜像样本与原样本表征了在两个domain中处于相同位置的样本对。同时,通过对齐镜像样本对来保证两个domain的对齐。理论上可证明该方法可以得到更好的跨域泛化性能。经过大量的实验,本文所提出的方法在Office, VisDA等4个公开benchmark上都达到了SOTA。在我们的‘现场解决方案’项目中解决了从正常光照到红外光照的跨域性别识别、表情识别等模型迁移任务,节省了大量的标注资源,提高了模型性能。
阿里文娱AI大脑北斗星团队
通过大数据和AI挖掘用户需求,建立内容采买结构化评估、适配性选角、AI成片体检、排播、数字化宣发等能力,以支撑内容全生命周期辅助决策,从而达到为平台降本增效的目的。