并行生成奇点临近!字节跳动GLAT斩获WMT2021大语种德英自动评估第一-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

并行生成奇点临近!字节跳动GLAT斩获WMT2021大语种德英自动评估第一

简介: 在刚刚结束的国际机器翻译大赛(WMT2021)上,字节跳动 AI Lab 的火山翻译提交并行翻译系统 GLAT(Glancing Transformer),一举夺得了德语到英语方向机器翻译自动评估第一。这是并行翻译(非自回归)系统首次参加世界级的比赛,击败一众自回归翻译系统。并行翻译系统的崛起给自然语言生成技术的发展指明了新的方向。
+关注继续查看

作为世界顶级的机器翻译比赛,WMT 大赛自 2006 年以来已经举办了 16 届,每年都会吸引来自世界各地的顶级企业、高校和科研机构参赛。历年参赛队伍来自微软、脸书、腾讯、阿里巴巴、百度、华为等。


在 WMT 的各个翻译任务中,火山翻译团队挑战的德英翻译更是参赛队伍角逐的核心项目。在德语-英语翻译方向上,火山翻译团队仅使用了官方提供的数据(受限资源),成功摘得桂冠


微信图片_20211205220556.jpg


引言


历年的 WMT 比赛中,各个团队大多基于自左向右解码的自回归式生成模型(简称自回归式模型,例如 Transformer)开发自回归式翻译系统。


相比于自回归式翻译系统自左向右的逐词输出(如下图 1 左边的例子),并行翻译系统则采用了更新颖的并行生成技术,在翻译的过程中同时输出所有的词(如图 1 右边的例子),从而可以获得数倍的翻译加速。


微信图片_20211205220612.jpg

图 1:自左向右生成(左)和并行生成(右)。

可惜的是,尽管并行翻译系统在翻译速度上存在优势,但在之前的实践中其翻译质量相对于自回归式系统还落于下风。因此,并行生成仍在学术探索阶段,许多技术尚未成熟,实际应用更是寥寥无几。


尽管困难重重,在火山翻译团队的技术攻坚下,其自研的 GLAT 模型最终成功击败了自回归式翻译系统,成为历史上首个夺得 WMT 冠军的并行翻译系统,展现出并行生成技术巨大的潜力


领先的自研并行生成技术


在本次大赛中,火山翻译团队使用的并行生成技术完全基于自研的 Glancing Transformer 模型(GLAT)。GLAT 提出了一种为并行生成建模词之间依赖关系的有效训练方式,大幅提升了并行生成的效果。目前,GLAT 的 paper 已被 ACL2021 接收。



具体地,GLAT 会先学习并行输出一些较为简单的语句片段,然后逐渐学习整句话的一次性并行生成。GLAT 的训练示例如下图 2 所示:



微信图片_20211205220635.jpg

图 2:GLAT 的训练示例。


在训练中,GLAT 会进行两次解码。在第一次解码中,GLAT 将模型并行生成的结果和目标语句进行对比。根据第一次解码结果和目标语句的差异,GLAT 会决定目标词的采样数量,差异越大采样数量就越多。在第二次解码中,GLAT 将被采样的目标词的向量表示替换到解码器输入中,然后让模型利用新的解码器输入学习预测剩余的目标词。


在图 2 的例子中,模型的翻译结果「travel to to a world」和目标语句「travel all over the world」仅有两个词在对应位置上相同。因此,GLAT 随机采样了词「over」作为解码器的输入来帮助训练。而随着模型在训练中能更好捕获目标词之间的依赖关系,生成结果与目标语句会更接近。所以在训练后期需要作为解码器输入的目标词数量越来越少,GLAT 会逐渐学习整个语句的并行生成。


为了进一步提高翻译效果,团队在此基础上对模型结构和训练方式进行了各方面的优化,例如在模型中加入动态线性网络层组合(DLCL),利用多种形式的原始和蒸馏数据,分阶段训练等等。除此之外,通过结合多种结构的 Glancing Transformer 和改进的重排序技术,可以获得更出色的翻译结果。需要强调的是,模型在生成时不使用任何形式的顺序解码或者迭代式解码,只进行一次并行的解码,保持了翻译的高效性。


除了在世界级大赛中夺冠,GLAT 在实际工业系统的应用中也展现出优势。GLAT 已经在火山翻译的部分语种上线,其并行的生成方式有效地加速了解码过程,缩短了翻译服务的响应时间。



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
26703 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9176 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
2897 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
11112 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10750 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
8987 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
21831 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6841 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
3950 0
1574
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载