翻译这事儿,Google认为算法和大数据比语言学靠谱

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 我相信你已经能知道 Google 是一家极度看重算法、充满工程师文化的公司,但或许你还是会为此而感到惊奇——他们认为翻译是一个数学和统计学方面的问题。最近,位于 Google 总部的 Google Translate 团队正迅速扩张,他们新招了数名德国计算机科学家,但却没有招收一名语言学家。

我相信你已经能知道 Google 是一家极度看重算法、充满工程师文化的公司,但或许你还是会为此而感到惊奇——他们认为翻译是一个数学和统计学方面的问题。最近,位于 Google 总部的 Google Translate 团队正迅速扩张,他们新招了数名德国计算机科学家,但却没有招收一名语言学家。

Google Translate 部门主管 Franz Josef Och 同样也是德国计算机科学家出身,他不但并不精通语言学,甚至并不擅长语言学习。他认为,机翻的关键在对数学、统计和编程方面的擅长。

Google Translate 团队并不会去模仿人工翻译的方式,这就是他们没有去开发字典、定义语法结构和规则的原因。事实上,语法规则对目前的计算机来说仍然难以掌控。Google 更着重于以大数据和统计的方式入手,翻译系统会不断地调整翻译结果的相关性并自我学习如何处理数十亿的文字。通过这种方式,计算机最终能不断优化翻译结果。

以大数据方式做翻译的一个好处是,翻译系统会随着数据的积累而不断地改善。Google Translate 目前已经支持 71 种语言的互译,去年用户的使用次数已经达到 2 亿次。此外,索引全球网页的 Google 还能够依靠互联网上已经存在的翻译内容改善自己的翻译系统。

尽管如此,依赖算法的翻译系统仍然远远无法做到像人工翻译那么精准。句法、语调、歧义都是自动翻译软件很难处理的问题。Google Translate 的翻译结果仍然只能帮助人们对陌生语言进行大致上的理解,有时候得到的翻译结果很难让人通顺地阅读下来。

此外,Google Translate 在不同的语系之间的翻译结果质量也各不相同。例如,英语和西班牙语之间的互译翻译质量良好,英语和日语之间的互译不怎么样,英语和德语之间的互译则非常糟糕。

尽管如此,机翻有一个人工翻译难以做到的优势——它让更多的人接触到了更多的信息。试想一下如果你举着手机就可以与世界上任何语种的任何人交流,那会是多么棒的体验。


原文发布时间为:2013-09-19


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
78 4
|
2月前
|
存储 人工智能 算法
数据结构与算法细节篇之最短路径问题:Dijkstra和Floyd算法详细描述,java语言实现。
这篇文章详细介绍了Dijkstra和Floyd算法,这两种算法分别用于解决单源和多源最短路径问题,并且提供了Java语言的实现代码。
91 3
数据结构与算法细节篇之最短路径问题:Dijkstra和Floyd算法详细描述,java语言实现。
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
72 0
|
1月前
|
缓存 算法 大数据
大数据查询优化算法
【10月更文挑战第26天】
65 1
|
1月前
|
机器学习/深度学习 数据采集 算法
大数据中缺失值处理使用算法处理
【10月更文挑战第21天】
50 3
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
2月前
|
算法 安全 Go
Python与Go语言中的哈希算法实现及对比分析
Python与Go语言中的哈希算法实现及对比分析
45 0
|
4月前
|
SQL 监控 大数据
"解锁实时大数据处理新境界:Google Dataflow——构建高效、可扩展的实时数据管道实践"
【8月更文挑战第10天】随着大数据时代的发展,企业急需高效处理数据以实现即时响应。Google Dataflow作为Google Cloud Platform的强大服务,提供了一个完全托管的流处理与批处理方案。它采用Apache Beam编程模型,支持自动扩展、高可用性,并能与GCP服务无缝集成。例如,电商平台可通过Dataflow实时分析用户行为日志:首先利用Pub/Sub收集数据;接着构建管道处理并分析这些日志;最后将结果输出至BigQuery。Dataflow因此成为构建实时数据处理系统的理想选择,助力企业快速响应业务需求。
241 6
|
4月前
|
算法 NoSQL 中间件
go语言后端开发学习(六) ——基于雪花算法生成用户ID
本文介绍了分布式ID生成中的Snowflake(雪花)算法。为解决用户ID安全性与唯一性问题,Snowflake算法生成的ID具备全局唯一性、递增性、高可用性和高性能性等特点。64位ID由符号位(固定为0)、41位时间戳、10位标识位(含数据中心与机器ID)及12位序列号组成。面对ID重复风险,可通过预分配、动态或统一分配标识位解决。Go语言实现示例展示了如何使用第三方包`sonyflake`生成ID,确保不同节点产生的ID始终唯一。
116 0
go语言后端开发学习(六) ——基于雪花算法生成用户ID
|
7月前
|
数据可视化 定位技术 Sentinel
如何用Google Earth Engine快速、大量下载遥感影像数据?
【2月更文挑战第9天】本文介绍在谷歌地球引擎(Google Earth Engine,GEE)中,批量下载指定时间范围、空间范围的遥感影像数据(包括Landsat、Sentinel等)的方法~
2648 1
如何用Google Earth Engine快速、大量下载遥感影像数据?