响铃:当AI翻译能识别“语境”,我们的“地球村”梦想就不远了

本文涉及的产品
图片翻译,图片翻译 100张
文本翻译,文本翻译 100万字符
文档翻译,文档翻译 1千页
简介: 响铃:当AI翻译能识别“语境”,我们的“地球村”梦想就不远了

image.png


《圣经.旧约》里记载着这样一段故事:

当时人类联合起来兴建希望能通往天堂的高塔,为了阻止人类的计划,上帝让人类说不同语言,使人类相互之间不能沟通,计划因此失败,人类自此各散东西。


巴别塔典故,为世上出现不同语言和种族提供了解释。尽管互联网的出现,让“地球村”的梦想在地理空间上不再是遥不可及,但语言理解与文化背景成为了全球沟通最大的障碍,又生生的让梦想变得骨感起来。


好在,各大搜索引擎都推出了AI翻译。


AI翻译这条赛道上,巨头们都绕不过的“坎”


AI翻译作为垂直搜索产品,因其明朗的落地应用场景而备受巨头们关注。

2016年,GNMT技术(谷歌的神经网络机器翻译技术,模仿人脑的神经思考模式)全面布局于谷歌翻译系统中,随后,谷歌声称其AI翻译的译文质量误差降低了55%-85%,并且将此技术广泛应用于网页翻译与手机应用。


国内,百度当时已经研究出了可应用的SMT技术(统计机器翻译),但得知NMT的横空出世之后,便迅速调转方向转而研发NMT技术,于是就有了BNMT应用于百度翻译。尽管初时的百度翻译速度很慢,但是,百度当时反应也佐证NMT的价值性。


搜狗、阿里、腾讯等公司也都有部署NMT领域,推出多款基于神经网络的在线翻译和手机应用,在智能翻译领域持续发力。360搜索自占据国内搜索引擎行业二哥的位置后,同样专注在AI领域与其他巨头角力,上线了基于NMT的360翻译,以期与去年上线的360英文搜索“双剑合璧”。


但是我们会发现,不论是谷歌还是BAT,其智能翻译从未能声称能替代人工翻译,因为翻译还必须考虑到到使用者的情感及文化背景。从2016年起至今的两年时间里,对海量语料的深度学习逐渐成为AI开发的必修课,也成了巨头们布局AI翻译绕不过的“坎”。


正是在这样的背景下,360翻译的深度学习调度平台卯足了劲,在深层技术和语料挖掘上下苦功夫。除了发挥360搜索在新闻资讯方面的既有优势外,360的英文搜索还与微软旗下的搜索引擎Bing开展技术合作,从而使得其AI翻译背后坐拥海量中英网络语料,让其在理解语境方面更显地道。另外,360翻译采用的也是独家研发的360NMT技术。

但这依然还只是个开始。


搜索平台不约而同发力NMT,为的是哪般?


image.png


不论是国外的谷歌,还是国内的搜索巨头百度、搜狗、360等,均把NMT作为AI翻译的标配,翻译集中的领域在中英互译上,这是一个很有趣的现象。AI翻译真的是块肥肉吗?惹得谁也不愿意掉队。


据统计表明,全球一共有73个国家,超10亿人以英语为官方语言,而汉语则是世界使用人数最多的语言,因此,中英互译本身的用户基数市场就能引起巨头们足够的注意力了。为什么要发力NMT,这得从AI翻译人类语言的方式说起,包含三种:第一,基于规则的机器翻译方法;第二,基于实例的机器翻译方法;第三,基于统计的翻译方法。SMT与NMT都属于第三种,从语料自动学习翻译模型,结合大数据通过评分输出翻译结果。


但是,SMT与NMT存在着显著的差距。SMT采用的模式是通过平行语料进行统计分析,翻译的准确性则与语料的丰富度呈明显的正相关,但是存在着翻译结果太过零散,片面生硬,语法语义混乱的劣势。而模仿人类神经网络构建模型,NMT是以一个句子为基本的处理单元,好处在于翻译过程中有着更好的语感,能降低SMT翻译的关于“形态、句法、词序”等方面出错的概率。因此,NMT在技术上恰巧可以有效弥补SMT的缺陷。而随着语料不断地加码,AI翻译的准确度也就高得多。


AI翻译引进NMT技术,就能精准识别“语境”吗?


搜狗同传翻译在某次国际性会议上,声称其神经网络机器翻译技术已达临界点,并在进行大规模商用推广。只是,搜狗的同传还是在国际会议上出过争议,结果不尽如人意。即便在正式的场合能够应对自如的搜狗,在非正式场合会是怎样一种情况呢?很多时候的中英交流多以口语化形式出现,对“语境”的理解远比“语法和词汇”难得多。下文我们将就几组语句进行讨论(以下从搜狗、360搜索、百度以及谷歌四大平台进行对比)。

第一组:献上我的膝盖。看看,最近这句网络常用语各翻译平台的水平

谷歌:Offer my knee。

360:express my admiration。

百度:Offer my knees。

搜狗:Give me my knee。

测试结果是搜狗、百度、谷歌均倾向于单词表面意思的翻译,并未能结合具体的文化背景,而360对于该网络用语的解释就地道的多。

第二组:诗词,选自杜甫的《登高》。因其诗中主要是以诸多意象组成的意境,看翻译能否反馈这种情感。

《登高》原文摘选:

风急天高猿啸哀,渚清沙白鸟飞回。

英语译文:

image.png

image.pngimage.png

image.png


有趣的是将各自翻译的英文译成中文时,没有一个平台能还原。而在诗歌的中译英中360能够结合“语境”处理诗中的意向要素,搜狗翻译表达出了“悲怆”的情感,而百度翻译和谷歌翻译则完全是从字面上进行翻译,破坏了诗的美好。


第三组:新闻,选自红网。语言简练正式,但涉及的元素较多,对语法的要求性比较高。

原文:据长沙市住房和城乡建设委员会网站显示,2018年5月23日,长沙共计有两个项目获批预售证,均位于雨花区,分别为五矿万境蓝山和创元时代。

译文:

image.pngimage.pngimage.pngimage.png


同一段新闻,出现了四种不同的译法。同一语句中各家强调的点不一样,譬如首句的“长沙市住房和城乡建设委员会”,360的翻译结果更显得专业并符合惯常表述,“长沙市”只是作为补充词出现,而搜狗、百度和谷歌的翻译中,“长沙市”则是作为硬性的地名出现。尤为值得注意的是,根据语境,“五矿万境蓝山”和“创元时代”都是楼盘名字,应当由汉语拼音直译,只有360识别到这一点,搜狗、百度和谷歌三家都在“矿”、“蓝山”、“创元”、“时代”等字眼上纠结。


从这三组中,我们能发现360偏好于基于“语境”的逻辑进行分词,虽然也有做的不到位的,像针对诗词这样复杂的情感语句就无法准确传达,但是在“流行语”优势明显;而谷歌和百度基本上是基于词组进行断句,因此,翻译也是一个词一个词,尤其是对古诗词的理解,谷歌就显得比较忧愁了。


因此,AI翻译的问题主要反映在三大方面:第一,机器翻译难以应对语言规则不统一的口语;第二,AI翻译难以结合文化语境进行理解,解析不出深层次的情感;第三,针对较长的段落,以及较为复杂的语境,往往会出现语法问题多,语句出错率高的毛病。


AI翻译要“地道”,技术倒不是关键


翻译界老将何恩培曾讲:“机器翻译一直被公认为人工智能领域最难的课题之一。而且语言背后的多元文化和复杂社会属性,注定了语言规则不可能规律化”。但是,中国有句老话:勤能补拙。对于AI翻译而言,最难的不是技术,而是“语境”理解,而AI翻译能力的级别高低又体现在这,集中体现了平台喂养语料的资源状况。AI翻译能否“地道”,取决于以下几点。


1、训练数据库的内容整体优质程度

这影响到翻译准确程度,取决于信息资源的整合能力。不论是BAT,还是360、搜狗、有道等,都在注重内容生态建设,搜狗有了腾讯微信入口搜索,360抢占了安全领域的数据来源。但是,这不可能是一个完全开放的体系,没有哪一家能够整合整个互联网的资源,各平台训练数据库各有侧重,AI翻译特色也不尽相同,例如360翻译侧重于地道的口语与流行语,百度翻译则显得大而全。


2、开放平等的中外数据交流,或可加强AI的深度学习

国内对标竞品之间的合作相对较难,但中外数据交流却是最好的互补。因此,百度上线过英文搜索产品,而360与微软Bing有过技术合作。此外,有了国界互译也变得更有意义。因此,中外数据合作,或许对于文化背景的数据积淀有很好的补充,也是扩充深度学习的语料最直接的方式。


3、需要准备大量的网络语及口语语料

除了诗词蕴含深厚文化底蕴外,网络语和口语是与一个地域的文化最为接近的语言形态,时下搜索引擎从被动搜索向主动的、基于用户兴趣的内容推荐引擎转型,这对于构建口语语料训练模型倒是一个不错的尝试。


虽然说,AI翻译能够精准识别“语境”是需要很长一段路要走,但是技术已经在进步,360翻译能够开始揣摩语句背后的情感与心思,对于日常交流来说是一个很好的开端。或许,我们将因此离“地球村”的梦想更进一步!

相关文章
|
7月前
|
机器学习/深度学习 人工智能 监控
AI算法分析,智慧城管AI智能识别系统源码
AI视频分析技术应用于智慧城管系统,通过监控摄像头实时识别违法行为,如违规摆摊、垃圾、违章停车等,实现非现场执法和预警。算法平台检测街面秩序(出店、游商、机动车、占道)和市容环境(垃圾、晾晒、垃圾桶、路面不洁、漂浮物、乱堆物料),助力及时处理问题,提升城市管理效率。
134 4
AI算法分析,智慧城管AI智能识别系统源码
|
7月前
|
机器学习/深度学习 人工智能 监控
AI威胁检测与识别
AI在网络安全中扮演关键角色,实现实时监控、异常检测、高级威胁识别和自动化响应。通过机器学习和深度学习,AI能分析大量数据,预测攻击,智能支持决策,并评估风险。然而,随着攻击手段进化,AI系统的抗攻击性研究和持续升级至关重要。
133 2
|
7月前
|
传感器 人工智能 监控
Springcloud+Vue智慧工地管理云平台源码 AI智能识别
“智慧工地管理平台”以现场实际施工及管理经验为依托,针对工地现场痛点,能在工地落地实施的模块化、一体化综合管理平台。为建筑公司、地产公司、监管单位租赁企业、设备生产厂提供了完整的数据接入和管理服务。
123 2
|
23天前
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
96 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
24天前
|
人工智能 JSON 自然语言处理
智能化AI工具-语言翻译与本地化
在全球化发展的背景下,语言翻译与本地化需求日益增长。无论是跨境电商、国际合作,还是本地化应用开发,都需要高效、准确的翻译解决方案。阿里云通义千问作为一款强大的大语言模型,不仅具备出色的自然语言理解能力,还能够在多语言翻译和本地化场景中发挥重要作用。本博客将详细介绍如何基于阿里云通义千问开发语言翻译与本地化工具,包括产品介绍、程序代码以及阿里云相关产品的具体使用流程。
62 10
|
7月前
|
机器学习/深度学习 数据采集 人工智能
【专栏】AI在软件测试中的应用,如自动执行测试用例、识别缺陷和优化测试设计
【4月更文挑战第27天】本文探讨了AI在软件测试中的应用,如自动执行测试用例、识别缺陷和优化测试设计。AI辅助工具利用机器学习、自然语言处理和图像识别提高效率,但面临数据质量、模型解释性、维护更新及安全性挑战。未来,AI将更注重用户体验,提升透明度,并在保护隐私的同时,通过联邦学习等技术共享知识。AI在软件测试领域的前景广阔,但需解决现有挑战。
1024 6
|
5月前
|
存储 人工智能 算法
记录阿里云ai助手的上下文语境问题
【7月更文挑战第17天】本文介绍尝试用阿里云AI助手找两字符串的最长公共子串,提供的Go代码因缺失完整返回值而无法编译,未能解决问题。整个过程显示AI理解与响应不够准确连贯。
85 1
记录阿里云ai助手的上下文语境问题
|
7月前
|
人工智能 开发者
AI Earth ——开发者模式案例9:OpenAPI调用AI识别能力
AI Earth ——开发者模式案例9:OpenAPI调用AI识别能力
116 0
|
6月前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在情感识别方面有哪些具体应用
AI在元宇宙学习中扮演关键角色,通过数据收集分析用户习惯、兴趣,提供个性化推荐。情感识别调整教学策略,智能评估反馈学习效果,实时互动解答问题,自适应学习系统匹配个体需求。同时,注重隐私安全保护,打造高效、精准、个性化的学习环境。
|
7月前
|
机器学习/深度学习 数据采集 人工智能
【AI 场景】设计一个 AI 系统来识别和分类图像中的对象
【5月更文挑战第3天】【AI 场景】设计一个 AI 系统来识别和分类图像中的对象

热门文章

最新文章