哈佛神经机器翻译系统 OpenNMT 更新等 | AI 开发者头条

本文涉及的产品
文本翻译,文本翻译 100万字符
图片翻译,图片翻译 100张
文档翻译,文档翻译 1千页
简介:

 内容预览:

  • 哈佛大学神经机器翻译系统 OpenNMT 新版本发布

  • 癌症检测突破!谷歌深度学习算法的乳腺癌检测准确率超病理科大夫

  • 两大 AI 平台联手!IBM Watson 与 Salesforce“爱因斯坦”进行对接

  • 布朗大学人机交互新算法,让 AI 学会提问

    每日推荐阅读

  • 博弈论与深度学习

█  哈佛大学神经机器翻译系统 OpenNMT 新版本发布

哈佛神经机器翻译系统 OpenNMT 更新等 | AI 开发者头条

OpenNMT 是哈佛大学 NLP 研究小组去年年底开源的产品级翻译工具,基于 Torch/Pytorch,一经发布便被谷歌采用,是迄今为止最能代表神经机器翻译前沿技术的开源工具之一。

雷锋网(公众号:雷锋网)消息,昨晚 OpenNMT 迎来发布之后的首个重大更新,新版本编号为 v0.5。除了修补漏洞,新版本带来以下改进:

  • 训练代码更具通用性,可预期将来更多模型能在 OpenNMT 框架上训练。

  • 新脚本能方便地提取 word embeddings,生成词汇。

  • 修剪词汇的新方式:最小化频率,而不是绝对大小。

  • 新的 REST 翻译服务器

  • 试验性的 FP16 支持,以及最新的第三版本 cutorch。

  • 试验性的数据采样技术,能在每个周期选择训练集的一个子集,以更快的收敛。

详情:http://opennmt.net/http://forum.opennmt.net/t/opennmt-v0-5-release/264/2 

GitHub:https://github.com/OpenNMT/OpenNMT

█ 谷歌深度学习算法检测乳腺癌 准确率超人类病理科大夫

哈佛神经机器翻译系统 OpenNMT 更新等 | AI 开发者头条

目前癌症检测的最重要环节之一,是病理学家观察人体组织切片影像。

谷歌最近发表了一篇论文,详细介绍了其深度学习技术在此项癌症检测环节上的突破。谷歌宣称,其算法模型已实现对乳腺癌组织影像检测 81% 的精确度,超出美国病理专家 73% 的行业平均水平。

研究人员表示,该技术离取代病理科医生还有很远。一是该技术只在训练过的特定任务上有效;而是病理科大夫的知识广度和经验仍然非常宝贵。

详情:http://www.leiphone.com/news/201703/pMsEYFDnPs6xJFDJ.html 

论文:https://drive.google.com/file/d/0B1T58bZ5vYa-QlR0QlJTa2dPWVk/view 

█ 两大 AI 平台联手!IBM Watson 与 Salesforce“爱因斯坦”进行对接

哈佛神经机器翻译系统 OpenNMT 更新等 | AI 开发者头条

IBM Watson 大家都有所耳闻,用不着过多介绍。“爱因斯坦”(Einstein)在国内的知名度则低一些。它是 Salesforce 对其客户关系管理软件进行数据挖掘、提取客户购买习惯的 AI。雷锋网消息,昨日,两家巨头宣布了这两大 AI 平台的连通——从此之后,IBM 与 Salesforce 的客户将同时获得“沃森”和“爱因斯坦”的服务。

很显然,这是对 AI 技术进行商业化变现的重要一步。如此高层级的强强联合,无疑将会在大数据服务领域带来一场地震。这将大增强 IBM 和 Salesforce 产品对客户的吸引力。

详情:http://www-03.ibm.com/press/us/en/pressrelease/51707.wsshttp://www.recode.net/2017/3/6/14835564/ibm-salesforce-ai-technology-watson-einstein 

█  布朗大学人机交互新算法,让 AI 学会提问

哈佛神经机器翻译系统 OpenNMT 更新等 | AI 开发者头条

布朗大学 Humans to Robots Lab 一直专注于人机交互难题。此前该实验室开发的算法,允许机器人将人类的口头命令和肢体语言进行结合,结果是更准确地理解人类意图。近日,该实验室成功开发出了一种新算法,让人机交互更进一步:让 AI 评估其对人类指令的理解程度,并对确定性进行量化;当确定性低于目标值,则主动对人类提问,进行澄清,接着根据回答做进一步推理,明确行动。

详情:https://news.brown.edu/articles/2017/03/fetch  ;https://www.sciencedaily.com/releases/2017/03/170306151728.htm 

每日推荐阅读

█ 博弈论与深度学习

最前沿的深度学习架构,往往包含多个要么互相竞争(比如 GAN),要么合作的神经网络。而该多代理路线的核心课题是:如何控制代理的行为。该领域研究经验最丰富的,是分别被谷歌收购的 Deepmind 和微软收购的 Maluuba。这篇并不长的文章,简要介绍了这两家公司的主要实验模型。

地址:http://www.kdnuggets.com/2017/03/greed-fear-game-theory-deep-learning.html


栏目介绍:AI 开发者头条是雷锋网旗下 AI 研习社推出的资讯栏目,周一到周五更新,汇总每天 AI 开发圈的重磅新闻,并推荐技术干货。你所关注的 AI 技术资讯,尽在开发者头条。

关注 AI 研习社公众号,获取每日头条推送。





本文作者:三川
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
3天前
|
机器学习/深度学习 存储 人工智能
【AI系统】昇思MindSpore并行
本文介绍昇思MindSpore的并行训练技术,包括张量重排布、自动微分等,旨在简化并行策略搜索,提高大规模模型训练效率。文章探讨了大模型带来的挑战及现有框架的局限性,详细说明了MindSpore如何通过技术创新解决这些问题,实现高效的大模型训练。
46 20
【AI系统】昇思MindSpore并行
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
转载:【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势,探讨了AI在计算机视觉、自然语言处理、语音识别等领域的应用,以及在金融、医疗、教育、互联网等行业中的实践案例。随着技术进步,AI模型正从单一走向多样化,从小规模到大规模分布式训练,企业级AI系统设计面临更多挑战,同时也带来了新的研究与工程实践机遇。文中强调了AI基础设施的重要性,并鼓励读者深入了解AI系统的设计原则与研究方法,共同推动AI技术的发展。
转载:【AI系统】AI的领域、场景与行业应用
|
3天前
|
机器学习/深度学习 人工智能 分布式计算
【AI系统】混合并行
混合并行融合了数据并行、模型并行和流水线并行,旨在高效利用计算资源,尤其适合大规模深度学习模型训练。通过将模型和数据合理分配至多个设备,混合并行不仅提升了计算效率,还优化了内存使用,使得在有限的硬件条件下也能处理超大型模型。3D混合并行(DP+PP+TP)是最先进的形式,需至少8个GPU实现。此策略通过拓扑感知3D映射最大化计算效率,减少通信开销,是当前深度学习训练框架如Deepspeed和Colossal AI的核心技术之一。
42 15
【AI系统】混合并行
|
3天前
|
存储 人工智能 PyTorch
【AI系统】张量并行
在大模型训练中,单个设备难以满足需求,模型并行技术应运而生。其中,张量并行(Tensor Parallelism, TP)将模型内部的参数和计算任务拆分到不同设备上,特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用,以及通过PyTorch DeviceMesh实现TP的具体步骤。
30 11
【AI系统】张量并行
|
3天前
|
存储 机器学习/深度学习 人工智能
【AI系统】完全分片数据并行 FSDP
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现,特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念,重点讨论了同步与异步数据并行的差异。接着,文章详细介绍了如何在PyTorch中实现弹性数据并行,特别是完全分片数据并行(FSDP)的机制,包括其如何通过分片模型状态和剩余状态来减少内存消耗,提高训练效率。此外,文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术,为理解和实施高效的分布式训练提供了全面的指导。
21 9
【AI系统】完全分片数据并行 FSDP
|
3天前
|
机器学习/深度学习 人工智能 PyTorch
【AI系统】数据并行
数据并行是一种在分布式AI系统中广泛应用的技术,通过将数据集划分成多个子集并在不同计算节点上并行处理,以提高计算效率和速度。在大规模机器学习和深度学习训练中,数据并行可以显著加快模型训练速度,减少训练时间,提升模型性能。每个计算节点接收完整的模型副本,但处理不同的数据子集,从而分摊计算任务,提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行,按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中,分布式数据并行(DDP)是当前应用最广泛的并行算法之一,通过高效的梯度聚合和参数同步机制,确保模型一致性,适用于大型NPU集群和AI系统。
40 7
【AI系统】数据并行
|
3天前
|
机器学习/深度学习 存储 人工智能
【AI系统】流水并行
在大模型训练中,单个设备难以满足计算和存储需求,分布式训练成为必要。模型并行是其中关键技术之一,通过将模型计算任务拆分至不同设备上执行,提高训练效率。模型并行主要包括朴素模型并行、张量并行和流水线并行。流水线并行通过将模型的不同层分配到不同设备上,采用微批次处理,提高设备利用率。Gpipe和PipeDream是两种流行的流水线并行方案,前者通过重叠前向和反向传播提升效率,后者则通过1F1B策略实现交错执行,最大化利用计算资源。
31 15
|
算法 C语言
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言(三)
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言(三)
265 1
|
机器学习/深度学习 算法 C语言
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言(一)
算法竞赛入门【码蹄集新手村600题】(MT1200-1220)C语言
146 1
|
算法 C语言
算法竞赛入门【码蹄集新手村600题】(MT1180-1200)C语言(三)
算法竞赛入门【码蹄集新手村600题】(MT1180-1200)C语言(三)
229 1