牛!谷歌向量空间法:图片译成文字

简介:

概述:谷歌工程师利用和语言翻译类似的技术开发出了一个用于翻译图片主题的机器学习算法


将一种语言自动翻译成另一种语言一直以来都是难以攻克的问题。但最近几年,谷歌通过开发机器翻译算法改变了传统的翻译过程,通过谷歌翻译从本质上改变了跨文化翻译交流。


如今,谷歌正在运用同样的机器学习技术将图片转变为文字。其结果就是自动产生能够准确描述图片内容的标题。该技术将用在互联网搜索引擎,图片自动发表,视觉受损者的网页浏览,以及其他更为广阔的领域。


翻译语言的传统步骤是一个更迭的过程 - 从个体单词的翻译开始,然后通过重新排列单词和短语的顺序来提高翻译的准确性。但是近几年来,通过完全不同的方式,谷歌已经能够运用自己超大规模的搜索数据库来转换文字。


谷歌运用的方法的本质是统计相邻或相近单词出现的频率,并且在向量空间中定义他们之间的关系。通过这样的方法,每一个单词就可以用一个向量在空间中表示出来,每一个句子则是不同向量的组合。接下来谷歌做了一个重要的假设 - 无论什么语言,特定的单词之间具备相同的关系。例如,在所有语言中,向量“国王-男人+女人=皇后”都应该是一个真命题。


这就使得语言翻译成为了向量空间学里的一个问题。谷歌翻译是通过这一方式实现这一过程的:先把句子转换成向量,然后使用这个向量产生意思相同,另一种语言的句子。


现在Oriol Vinyals 和他在谷歌的合作者们正在使用类似的方法将图片转化为文字。他们的技术是使用神经网络去学习10万个图片的数据集合以及他们的标题,以此来实现如何对这些图片的内容进行分类。


但是除了生成一组可以描述图片的单词,他们的算法同样可以生成代表单词之间关系的向量。这个向量可以和谷歌现有的翻译算法结合起来去生成英语标题,或者任何其他语言的标题。事实上,谷歌的机器学习方法已经可以将图片转换为单词。


为了考量这种方法的效果,他们从亚马逊的”mechanical turk” (提供不同技能的劳动力资源平台)雇佣了评估者来对通过上述方法自动产生的标题,以及其他方法和人工翻译的标题进行评分。


结果显示被谷歌叫做神经图片标题(Neural Image Caption, NIC)的新系统非常成功。使用一个叫做PASCAL的被大家所熟知的图片数据集,神经图片标题的翻译功能明显超出其他的非人工翻译方法。据Vinyals说,NIC的BLEU (wiki) 分数是59,现今最好的非人工翻译技术的分数是25,人工翻译的分数是69。


这是个不错的结果,并且随着训练数据集的增大,这个方法产生的结果会更好。“从实验中我们非常清楚地看到,由于数据集的增大,NIC的翻译功能也相应得到提高。”谷歌团队说。


下图是一组图片翻译结果的示例-按翻译结果评分分组:


很明显,这是另一个在不久的将来机器会超越人类的项目。谷歌原论文题目:Show and Tell: A Neural ImageCaption Generator

论文链接:arxiv.org/abs/1411.4555


编者注:最近升级版的“谷歌翻译“中,已经增加了类似的功能,叫做“Word Lens“,下文摘自雷锋网(leiphone.com)

原文链接 http://www.leiphone.com/news/201501/4d8lzMhsZBfqy1NG.html


iOS版谷歌翻译推出了更新版本,新版本增加了“Word Lens”功能,可以直接对镜头捕捉到的文字图像进行实时翻译,并显示在相机视图上。并且,即使在没有网络连接的时候也能使用。遗憾的是,目前支持翻译的文字有限,仅包括英语、法语、俄语、德语、意大利语、葡萄牙语和西班牙语,不过未来会支持更多语言。


此外,新版本还增加了实时会话模式,可以在双方使用自然语速进行语音对话时,自动识别双方的语种并进行实时翻译。



摘自:MIT TechnologyReview

原文链接:


http://www.technologyreview.com/view/532886/how-google-translates-pictures-into-words-using-vector-space-mathematics/



译者:Cathy Xi Kan简介

阚玺(Cathy Xi Kan) 2012年获得了美国纽约州伦斯勒理工学院(Rensselaer Polytechnic Institute)决策科学专业(Decision Science)的博士学位。在她4年的博士学习中,Cathy对于决策模型的建立,运筹管理以及数据挖掘与分析等多项领域产生了浓厚的兴趣。毕业后,Cathy成为了一名资深的商业决策分析师,先后加入全美第二大肿瘤研制中心(Memorial Sloan-Kettering Cancer Center)的战略计划团队和全美第一大电子折扣网站(RetailMeNot, Inc.)的商业智能和分析团队工作。这些团队主要负责运用大数据分析向公司管理决策层提供有价值的商业决策建议。


2015年Cathy希望通过大数据文摘平台广泛结交业内人士及爱好者,并希望有机会多多参与国际国内大数据和电子商务相关的会议及交流活动。有意者可后台留言或私信。


原文发布时间为:2015-01-17

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关文章
|
JSON 算法 API
微信支付超过2000元配置
导入依赖、微信工具类、请求示例、超过2000元转账参数、姓名加密、请求参数、微信支付平台证书序列号、Wechatpay-Serial
1208 0
|
人工智能 语音技术 API
破解大模型语音交互延迟痛点!MaixinVoiceAI 3.0 流式TTS适配阿里百炼落地实践
阿里百炼大模型语音交互落地中,传统TTS“先推理、再合成、后播放”的模式导致延迟过高,影响服务效率与体验。MaixinVoiceAI 3.0流式TTS打破这一逻辑,采用“边推理、边合成、边播放”的并行流水线机制,深度适配阿里百炼大模型。其首包响应≤300ms,可将总延迟压缩至用户无感知范围,原生兼容阿里百炼API,零开发适配企业级部署,同时兼顾高保真音质与拟人化韵律,解决传统TTS痛点,为智能呼叫中心等场景提供高效落地支撑。
破解大模型语音交互延迟痛点!MaixinVoiceAI 3.0 流式TTS适配阿里百炼落地实践
|
8月前
|
敏捷开发 人工智能 程序员
备考像“开荒”却没地图?用这条AI指令给大纲做个CT扫描,3分钟生成通关攻略
面对厚重的考试教材无从下手?本文提供一套基于逆向教学设计的AI指令,能将复杂的考试大纲瞬间转化为带权重、有路径的“作战地图”。拒绝盲目努力,用AI开启上帝视角,精准攻克重难点。
606 5
|
8月前
|
安全 网络安全 API
伪装成税务文件的“银狐”:中国背景APT组织首次用印度所得税诱饵发动精准网络间谍战
“银狐”APT组织伪装税务邮件,利用双扩展名诱骗点击,植入木马窃取敏感数据。其攻击高度定制化,采用LOLBins、进程镂空等技术绕过传统防护,凸显企业需加强EDR、零信任与员工安全意识的紧迫性。
629 0
|
9月前
|
DataWorks 监控 数据可视化
数据可视化大屏项目
数据可视化大屏是数据价值具象化的核心工具,广泛应用于企业实时监控、运营分析与大型活动指挥。本文系统解析从多源数据整合、DataWorks加工、DataV可视化设计,到WebSocket实时推送、权限控制与性能优化的全链路实践,并结合双11实战案例,揭示高并发、高实时场景下的技术落地逻辑,助力企业构建高效、安全、流畅的决策中枢。(238字)
694 0
|
人工智能 架构师 决策智能
agentUniverse X 浙大太乙平台,开源共建招募令来啦,3万奖金等你拿!
agentUniverse 首期开源共建活动正式上线啦!3万奖金池等大家贡献瓜分~
|
消息中间件 Java Kafka
开发者如何使用云消息队列 Kafka 版
【10月更文挑战第15天】开发者如何使用云消息队列 Kafka 版
771 111
在Linux中,列出几种常见打包工具并写相应解压缩参数。
在Linux中,列出几种常见打包工具并写相应解压缩参数。
EMQ
|
安全 网络性能优化
MQTT 5.0 报文(Packets)入门指南
MQTT 控制报文是 MQTT 数据传输的最小单元。MQTT 客户端和服务端通过交换控制报文来完成它们的工作,比如订阅主题和发布消息。
EMQ
1525 122
MQTT 5.0 报文(Packets)入门指南
缓冲流和转换流的使用【 File类+IO流知识回顾③】
这篇文章介绍了Java中缓冲流(BufferedInputStream, BufferedOutputStream, BufferedReader, BufferedWriter)和转换流(InputStreamReader, OutputStreamWriter)的使用,包括它们的构造方法和如何利用它们提高IO操作的效率及处理字符编码问题。
缓冲流和转换流的使用【 File类+IO流知识回顾③】

热门文章

最新文章