人类曾经联合起来兴建能通往天堂的高塔——巴别塔,为了阻止人类的计划,上帝让人类说不同的语言,使人类相互之间不能沟通,计划因此失败,人类自此各散东西。
这是《圣经》中的一个传说,解释了人类不同语言的由来。而一项技术的出现打破了巴别塔传说,使得世界各地的人们交流不再成为障碍,这项技术就是「机器翻译」。
我们日常生活中最常用到的就是中英翻译。例如一位周杰伦的粉丝想知道《夜曲》中的歌词「为你弹奏肖邦的夜曲,纪念我死去的爱情」 怎么翻译成英文,那么他可以打开「火山翻译」,输入这句中文。然后机器翻译软件就会告诉他对应的英文是「Play Chopin's nocturne for you to commemorate my dead love」。
机器翻译的历史
机器翻译其实早从1933年开始就有了,到现在为止一共经历了6个时期。
起源
1933年,法国工程师G.B.阿尔楚尼提出了用机器来翻译语言的设想,并获得了一项专利,从此机器翻译这个概念孕育而生。
萌芽
1954年,美国乔治敦大学在IBM公司的帮助下,用IBM-701计算机首次完成了英俄机器翻译试验,拉开了机器翻译研究的序幕。
沉寂
1966年,美国科学院成立的语言自动处理咨询委员会(ALPAC)公布了一份名为《语言与机器》的报告,该研究否认了机器翻译可行性,机器翻译研究从此进入了萧条期。
复苏
1976年,加拿大蒙特利尔大学与加拿大联邦政府翻译局联合开发了TAUM-METEO系统,标志着机器翻译的全面复苏
发展
1993年,IBM提出基于词对齐的统计翻译模型,基于语料库的方法开始盛行。
2003年,爱丁堡大学提出短语翻译模型,使机器翻译效果显著提升,推动了工业应用。
2005年,David Chang提出了层次短语模型,同时基于语法树的翻译模型研究也取得了很大的进步。
繁荣
2013到2014年,牛津大学、谷歌和蒙特利尔大学提出了端到端的神经机器翻译,开创了深度学习翻译新时代。
2015年,蒙特利尔大学引入Attention机制,神经机器翻译达到实用阶段。
2016年,谷歌GNMT机器翻译系统发布,讯飞上线NMT系统,神经翻译开始大规模应用。
机器翻译的原理
机器翻译就是将一个语言的句子翻译成另一个语言的句子,主要可以分为三个步骤:「预处理、翻译模型、后处理」。
预处理是对源语言的句子进行规范化处理,把过长的句子通过标点符号分成几个短句子,过滤一些语气词和与意思无关的文字,将一些数字和表达不规范的地方,归整成符合规范的句子,等等。
翻译模块是将输入的字符单元、序列翻译成目标语言序列的过程,这是机器翻译中最关键最核心的地方。纵观机器翻译发展的历史,翻译模块可以分为基于规则的翻译、基于统计的翻译和基于神经网络的翻译三大类。现如今基于神经网络的机器翻译已经成为了主流方法,效果也远远超过了前两类方法。
后处理模块是将翻译结果进行大小写的转化、建模单元进行拼接,特殊符号进行处理,使得翻译结果更加符合人们的阅读习惯。
机器翻译的应用
除了翻译文字以外,其实日常学习生活中很多场景都会用到机器翻译,下面列举一些比较常见的应用。
文字翻译
这是最常见的应用了,将一段文字从一个语言翻译为另一个语言。
下面是火山翻译的界面:
图片翻译
通过ocr技术,可以将图片里的文字识别出来,然后翻译完重新显示在图片上。
语音翻译
例如你在和一个外国人对话,但是互相都听不懂对方在说什么。那么你们俩都戴上智能眼镜或者智能耳机,老外说了一句英文,眼镜或者耳机先语音识别出他说的是什么,然后转换成文字。再翻译成汉语,最后还原成语音播放到你的耳机里,直接把文字显示在你的眼镜上。
再如一个老外在用英语直播,但是观众都听不懂,这时候可以通过翻译技术,实时将中文字幕显示在屏幕上,这就叫同传技术。
总的来说,语音翻译包含了三个步骤:「语音识别、机器翻译和语音合成」。
回译技术
相信很多同学都抄过别人的作业(抄袭可是不好的哦),那么直接抄会被发现,怎么办呢?打开火山翻译,把一句中文翻译成英文,再翻译回中文,文字就变了。
比如:躺在你学校的操场看星空,教室里的灯还亮着你没走。
先翻译成英文:再翻译回中文:
这样就得到了这句话:躺在你们学校的操场上看星星,教室的灯还亮着,你还没有离开。虽然比较生硬,但也看不出来是抄袭的啦(再次提醒,作业不要抄哦)。
生成无厘头文字
最近流行恶搞歌词或者古诗词,将它们用翻译软件先翻译成英文,再翻译成日文,再翻译成俄文,不断翻译下去,最后翻译回中文,这样你就会得到一段无厘头搞笑文字。
举个例子,翻译:躺在你学校的操场看星空,教室里的灯还亮着你没走。翻译顺序是:中、英、日、俄、意、法、德、西、韩、中,看看会得到什么吧。
最后句子变成了:如果你躺在校园里看星星,班级的灯一直亮着,你永远不会离开。意思变了很多,如果再多翻译几次,意思变化会更大。
翻译软件对比
目前市面上翻译软件非常多,比较有名的有谷歌翻译、百度翻译、必应翻译、有道翻译和字节跳动的火山翻译等等。
这里用一句古诗词“千呼万唤始出来,犹抱琵琶半遮面。”来测试一下它们的翻译效果
谷歌翻译
After a thousand calls, he came out, still holding the pipa half-hidden.
百度翻译
He came out with a thousand calls, and half covered his face with the lute.
必应翻译
A thousand calls began to come out, still holding half-masked faces.
有道翻译
After calling for a long time she finally came out, still hiding half of her face behind her pipa.
火山翻译
Yet we called and urged a thousand times before she started toward us, still hiding half her face from us behind her guitar.
可以看出有道翻译效果最好,火山翻译也大体表达出了意思。当然这只测试了一句话,不同语境下效果各有不同,还得靠同学们一个个尝试比较。
结语
虽然机器翻译技术现在已经非常成熟了,但是和人类专业的翻译学家相比,翻译质量还是差了很多。翻译的三大核心要素:信、达、雅,目前还只能在前两点上继续做完善,离“雅”更是差了十万八千里。
机器翻译还有很长的路要走,欢迎感兴趣的同学们投身自然语言处理和机器翻译,继续推动这个领域向前发展。后台回复「内推」,或者私信我,内推你进火山翻译,一起做伟大的事情。