Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation

【AAAI 2020 阿里巴巴论文】不同语言对之间的迁移学习在低资源场景下对神经机器翻译（NMT）具有一定效果。然而，由于源端的迁移对象（父模型）和被迁移对象（子模型）之间的语义空间不匹配问题，目前的迁移方法在零标注等极端场景下并不有效。为了解决该问题，我们提出一种全新的基于跨语言预训练的迁移方法。我们的关键思想是让所有源语言共享相同的特征空间，从而实现零标注翻译的平稳过渡。我们引入了一种仅基于单语和两种基于双语的跨语言预训练方法，以获得适用于不同语言的通用编码器。进一步地，我们利用该通用编码器在大规模平行数据来训练父模型，然后将该父模型直接应用在零标注的翻译任务上。在两个公共数据集上的实验表明，我们的方法明显优于基于桥接的强基线系统和各种多语言NMT方法。

作者介绍

钟羽;越空;段湘煜;张民;博兴;闻彰