揭秘阿里机器翻译团队:拿下5项全球冠军,每天帮商家翻译7.5亿次

本文涉及的产品
文本翻译,文本翻译 100万字符
语种识别,语种识别 100万字符
图片翻译,图片翻译 100张
简介:

跨境电商市场越来越大,商家们也遇到了新问题。以阿里巴巴国际站为例,七成买家以英语沟通,剩下三成的小语种,却难住了平台上近96%的卖家。

“翻译和本地化都做不好,说明你对海外市场根本不重视,还想怎么品牌出海?”一米八大高个的李兮芝,语速极快,说话从不绕弯。

李兮芝是阿里巴巴国际贸易事业部(ICBU)阿里语言服务总经理,对商家的痛点了如指掌。讲到最棘手的案例,他会立刻站起来,抄起一支笔,在会议室的白板上演示一番。

45271f601d5d654a1d645bd201e8fdd55a33fa8f

阿里巴巴国际站用户沟通语言现状

坐在李兮芝一旁的骆卫华,语速要慢许多。2014年1月,中科院计算所出身的骆卫华,加入了阿里,如今是阿里巴巴达摩院翻译平台负责人。

今年5月,在全球机器翻译领域影响最大、水平最高的WMT2018评测中,骆卫华带领的翻译技术团队一举拿下5个语言方向的冠军,成为比赛的最大赢家。

与谷歌、微软、百度等做不区分场景的通用翻译不同,阿里选择在电商场景的翻译上发力。目前,阿里机器翻译已支持21个语种的48个语言方向的翻译,日均使用量已达到7.5亿次。除了支持离线及文字翻译,还支持实时语音、图片以及视频翻译,应用于阿里巴巴国际站、速卖通、LAZADA、菜鸟、阿里云、钉钉、飞猪等40多个业务部门。

“首先在电商场景下,我们要把机器翻译做到最好。”骆卫华说,但在未来将不局限于电商翻译。

没有硝烟的“军备竞赛”

《圣经》旧约中,人类曾联合起来搭建通往天堂的高塔,上帝为了阻止这一计划,让人类说上不同的语言。没过多久,无法沟通的人类便四散而去。

回溯机器翻译的源头,不难发现,这是一场为了再造《圣经》中“通天塔”而展开的“军备竞赛”。

冷战时期,苏联和美国的科学家就曾在机器翻译上有过几番较量。当时,机器翻译领域的主角是懂得英俄双语的语言学家,他们试图为计算机编写出一套双语规则。“但问题是,规则和规则之间存在大量冲突,在实际应用中会出现大量异常情况。”

骆卫华说,很长一段时间,机器翻译都被局限在编写规则的泥淖中,直到上世纪90年代,才被IBM Watson研究中心提出的统计机器翻译所取代,程序员开始取代语言学家,站上了机器翻译领域的主舞台。

2014年,蒙特利尔大学计算机系博士后Kyunghyun Cho等人关于将人工智能底层模型“神经网络”应用于机器翻译的论文,又一次吹响了翻译技术革命的号角。这一年,各大互联网公司开始大举投入,诸多优秀的学者和学生陆续加入谷歌、亚马逊、脸谱和BAT。

在中科院学习和工作近12年的骆卫华,在“纠结一段时间后”,也决定跳出学术圈,选择加入阿里,去实现将技术真正落地的梦想。“以前在实验室的主要任务是发paper(论文),做课题,只有这个领域的人才会关心,但现在每天有几千万人在实际使用你的产品,这种感觉是完全不一样的。”

45e555cba175051a2db0f3a9032cc761a2943ad1

2014年,骆卫华加入阿里

不同于大多数在通用翻译领域厮杀的玩家,阿里机器翻译团队以核心电商场景为起点,为整个国际化业务提供本地化解决方案。

“项目很多,得排期。比如,2、3月做钉钉的项目,4、5月要做速卖通项目。”骆卫华说,除此之外,团队还会时不时会接到十万火急的需求。比如,去年双11之后,团队曾用两个星期,与菜鸟团队一起加班加点编写了一套报关自动翻译产品,“后来菜鸟评估说,整个报关成本下降了90%。”

难的不止是翻译

说到机器翻译,除了算法模型,大量的样本数据是非常重要的。这也恰恰是阿里的优势所在。

“举个例子,‘Photo Print’这个词在通用语境下会被翻成‘照片打印’,但你知道它在纺织面料行业里是什么意思吗?”李兮芝接着说,“这是‘热转印印花’工艺的一种,翻成照片打印就贻笑大方了。”

阿里本身沉淀了大量电商领域相关的数据,机器翻译团队进一步梳理出10亿级别的双语平行语料、亿级别的电商双语平行语料、千万级电商知识库,以及大规模行业多语言术语库。

然而,语言上的准确翻译只是第一道难关,更困难的是通过算法实现文化、法律、经济、宗教等层面的本地化落地。

一个案例让李兮芝印象深刻。“同样是10万,英美国家千位分隔符用逗号,标成‘100,000’;但法国、西班牙的千位分隔符是句号,逗号用来标小数点,10万在法国得标成‘100.000’,如果标成‘100,000’就表示是100了。”这类大额数字在阿里巴巴国际站经常出现,曾经出现过中国卖家因为没有将数字本地化,而被买家投诉的情况。

7b0dd9c867e52d3146c7abfcec6511a279a0f415

阿里巴巴ICBU语言服务总经理李兮芝

今年4月,主打男装的国内服饰品牌英爵伦,加入了阿里旗下的东南亚电商平台Lazada上的“淘宝精选”(Taobao Collection)计划。Lazada通过自动抓取天猫店的产品,帮助品牌拓展东南亚市场。“我们天猫店商品标题是全中文的,没想到Lazada能自动翻译成英文。”英爵伦跨境电商负责人刘晨芳说,“最重要的是,机器自动翻译的英文品牌名‘Enjeolon’,和我们真实的英文名分毫不差,太神奇了。”

7318bd9379cd3cc9eaab011ca72a194f619fe9d8

英爵伦发现,品牌名英文名翻得分毫不差

刘晨芳不知道的是,Lazada这套自动翻译系统也是由阿里巴巴机器智能翻译团队开发出来的。翻译系统还改写了标题,让产品描述看上去更加接地气。

“淘系商品标题没有固定格式,由N个热搜词组成,但不是一个完整的句子。要是直接翻译,海外消费者压根看不懂。”李兮芝说,这种没有上下文信息的标题翻译,不论对人还是对机器,都是极大的挑战。“我们曾经找来专业人工译员翻译标题,结果译员翻到一半不干了,根本看不懂。”

后来,团队通过融合多种自然语言处理和文本生成技术,攻下了商品标题改写的难题。像英爵伦这样的中国品牌,不用担心Lazada上的东南亚买家会因为看不懂标题,而放弃购买商品。

今年5月,阿里巴巴正式上线对话实时翻译功能,这也是全球电商领域的首个实时翻译AI产品。“无障碍的跨语言沟通明显增加了阿里巴巴国际站的用户粘性。我们期望卖家不再需要为了做某一个国家的生意而专门聘请会那国语言的专职人员。”李兮芝说。除了用户体验的提高,阿里机器翻译还为旗下国际电商平台带来了明显的流量、转化率和购买率增长。

0e1e4a1fdc2b5a7f9262370015f08c2172ee8e8e

阿里巴巴实时翻译系统

“机器翻译是块非常难啃的骨头。但如果我们真要实现全球买、全球卖,就必须要花精力去做。”李兮芝说。

解放,而非替代人工翻译 

今年5月23日,WMT2018国际机器翻译大赛,首次参赛的阿里巴巴达摩院机器智能-NLP翻译团队拿下5项冠军,包括英文-中文翻译、英文-俄罗斯语互译和英文-土耳其语互译项目。

a9d8884d1e7eefaef5da1493470b1d20982f1b14

阿里巴巴达摩院机器智能-NLP翻译团队

作为全球最具权威、已举办13次的机器翻译大赛,WMT(Workshop on Machine Translation)成为了各大科技公司和学术机构的竞技场。2018年的大赛竞争格外激烈,吸引了霍普金斯大学、爱丁堡大学、微软、阿里、腾讯、小牛翻译等几十个机器翻译团队参与。

“WMT大赛的文本主要是新闻题材,参赛团队要在截止日期内上传机器翻译的成果。”骆卫华说。竞争很激烈,整个行业提升也特别快,例如在竞争最激烈的英中翻译任务,去年最好的成绩在今年可能已经排不到前几名了。

“中英翻译还好,起码我们知道哪里翻得有问题。但像土耳其、俄罗斯语这样的小语种,我们完全看不懂,只能完全拼算法、拼模型。”骆卫华说,在小语种机器翻译领域,以前一直是由国外的公司与科研机构一直保持领先地位。“小语种的双语语料是很稀缺的,但阿里全球化的目标要求我们必须从技术层面做突破,用更少的数据,在专业领域上翻得更准确。”

谈到机器翻译和人工翻译的关系,骆卫华和李兮芝都赞同一个观点:阿里的机器翻译最终的目的,不是为了替代专业,而是为了解放专业的人工翻译。

随着机器翻译技术的不断突破,传统人工翻译正逐渐变为一个“搬砖”行业,充斥着大量重复低效的劳动。“1995年,翻译一篇1000字的中到英文本,译员的收入可达600元人民币。”李兮芝说,但在今天,同样字数的文本,甚至低到只有50元的收入。

低廉的人工翻译报酬,正在把专业译员推向价格更高的专业技术翻译领域。然而,这些领域的文本,由大量专业术语和范式行文构成。“人类不擅长记忆专业词汇,但机器擅长。”李兮芝说,人工翻译的长处在于“创造性的智慧”,以及对文化背景的深刻了解。“翻译讲究信达雅,机器目前最多能做到‘信’和‘达’,像文学翻译、口语俚语、本地化的惯用表达等等,还是需要人工翻译。”骆卫华说。

今年1月,阿里巴巴国际站向平台所有供应商,免费开放了一款AI实时翻译系统。商家输入的语音或文字,能自动转变为翻译好的目标文本。为了增强翻译的准确性,加入人工修正的干预功能。比如,商家如果有更地道的表达方式,可以进行翻译订正,以弥补神经网络翻译系统现阶段存在的问题。

下一步,阿里机器翻译在迭代优势电商场景的同时,还将向新的领域拓展,同时完善产品矩阵,支持文本、语音和图像等多模态翻译,并最终对外开放API。“我们希望把阿里巴巴全球化过程中的经验沉淀下来,最后打包输出,赋能给整个社会。让商业没有语言障碍,让天下没有难做的生意。”李兮芝说。


原文发布时间为:2018-08-14

本文作者:刘卓然

本文来自云栖社区合作伙伴“阿里研究院”,了解相关信息可以关注“阿里研究院”。

相关文章
|
4月前
|
自然语言处理 安全 Shell
Linux 提权-SUID/SGID_1 本文通过 Google 翻译 SUID | SGID Part-1 – Linux Privilege Escalation 这篇文章所产生,本人仅是对机器翻译中部分表达别扭的字词进行了校正及个别注释补充。
接下来,让我们看看 SUID3NUM 在枚举 SUID 二进制文件方面的表现如何。 3.2、枚举 SUID 二进制文件 – SUID3NUM 我们将用来枚举 SUID 二进制文件的第二个工具是 SUID3NUM。这是一个很棒的工具,因为它是专门为枚举 SUID 二进制文件而创建的。但这还不是全部,它还提供了可用于提升权限的命令(命令从 GTFOBins 中提取)。 这还不是最好的部分,SUID3NUM 还具有内置的 autopwn 功能,可以通过 -e 开关激活! 在 OSCP 考试中也使用此工具,只要您不使用自动利用功能。 3.2.1、下载并执行 SUID3NUM 我们可以从 GitHubs
38 0
|
6月前
|
机器学习/深度学习 自然语言处理 机器人
机器翻译的异步翻译接口的确已经有了显著的进展
机器翻译的异步翻译接口的确已经有了显著的进展【1月更文挑战第24天】【1月更文挑战第119篇】
72 1
|
人工智能 自然语言处理 文字识别
C# 10分钟完成百度翻译(机器翻译)——入门篇
C# 10分钟完成百度翻译(机器翻译)——入门篇
|
机器学习/深度学习 数据采集 自然语言处理
谷歌为1000+「长尾」语言创建机器翻译系统,Google翻译已支持部分小众语言
谷歌为1000+「长尾」语言创建机器翻译系统,Google翻译已支持部分小众语言
128 0
|
自然语言处理
阿里云机器翻译在线翻译平台报错问题总结
在使用阿里云机器翻译时,在线翻译平台能够满足不通过代码直接上传图片处理的需求,但在实际操作中,有时候购买机器翻译资源包后,却依然报错了,提示未开通已欠费,或者资源包已经用尽等问题,此篇文章简单介绍下相关问题处理方式。
1207 0
阿里云机器翻译在线翻译平台报错问题总结
|
自然语言处理 Java 开发工具
阿里云机器翻译产品机器批量翻译服务 Python SDK 调用指南
阿里云机器翻译产品下的机器批量翻译服务,支持同时对多段文本进行翻译。本文介绍如何使用机器批量翻译提供的Python SDK,包括SDK的安装方法及SDK代码示例。
537 0
|
自然语言处理 Java 开发工具
阿里云机器翻译产品机器批量翻译服务 Java SDK 调用指南
阿里云机器翻译产品下的机器批量翻译服务,支持同时对多段文本进行翻译。本文介绍如何使用机器批量翻译提供的JavaSDK,包括SDK的安装方法及SDK代码示例。
359 0
|
算法 C语言
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言(三)
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言(三)
260 1
|
机器学习/深度学习 算法 C语言
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言(一)
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言
139 1
|
算法 C语言
算法竞赛入门【码蹄集新手村600题】(MT1180-1200)C语言(三)
算法竞赛入门【码蹄集新手村600题】(MT1180-1200)C语言(三)
210 1