2017年度最值得读的AI论文 | NLP篇 · 评选结果公布

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
简介:

历时九天,我们收到了近千份有效读者投票,2017 年度最值得读的 AI 论文评选也正式结束。

我们根据读者的投票情况,选出了自然语言处理和计算机视觉领域“2017 年最值得读的十大论文”。让我们一起来看看过去一整年,在 PaperWeekly 读者心中排名前十的 NLP 论文都有哪些?还有给我们留言的读者,在表达对这十篇论文的喜爱之情时都说了些什么?

此外,小编也在所有留言中选出了自己最钟意的五条,还在所有成功参与投票的读者中随机抽取了 13 位,他们都将获得 PaperWeekly 精心准备的新年礼物。

d082b0cf0e19ab481e7574fb87453d511a991f50

7de949fe2a4feb0362aa8f7dfda2844a384115f2

  • 论文 | Attention Is All You Need
  • 链接 | https://www.paperweekly.site/papers/224
  • 源码 | https://github.com/Kyubyong/transformer

大道至简,Google Brain 在本文中提出了一个新型的简化网络架构—Transformer,完全基于注意力机制,完全避免了循环和卷积,完全可并行。

本文可以说是 Google 继 Highway Network 等新型神经网络之后,在神经网络模块化的又一尝试。

扩展阅读: 

e2c3c2092ac41d397435352f2b182c72802dcc8c


  • 论文 | Reinforcement Learning for Relation Classification from Noisy Data
  • 链接 | https://www.paperweekly.site/papers/1260
  • 源码 | 暂无

清华大学发表在 AAAI 2018 上的工作,本文将强化学习应用于关系抽取任务中,取得了不错的效果。其主要贡献是将远程监督的信号转化为强化学习中的延迟奖励,从强化学习的视角提出解决问题的思路,并克服了联合训练 instance selector 和 relation classifier 两个模块的问题。

扩展阅读: 

59c6e1ac10a1fb956d57a5aaa49e7f6659622d11


  • 论文 | Convolutional Sequence to Sequence Learning
  • 链接 | https://www.paperweekly.site/papers/844
  • 源码 | https://github.com/facebookresearch/fairseq-py

本文提出了基于卷积神经网络(CNN)的 seq2seq 架构,和基于循环神经网络(RNN)的 seq2seq 相比,其更易于加速训练,在 GPU 上达到 9.8 倍加速,平均每个 CPU 核上也达到 17 倍加速。此外,本文工作在 WMT’14 English-German 和 WMT’14 English-French 两个数据集上,也取得相对更好的 BLUE Score。

ConvS2S 主要结构有:Position Embeddings(使编码器或解码器感知到位置变化)、Convolutional Block Structure(编码和解码上下文中的信息)、Multi-step Attention(每层解码器使用各自的注意力机制)和 Residual connections(使架构适应深度网络)。

扩展阅读: 

6421587ddc22dbefcff1b7447b63548977dd680f


  • 论文 | Zero-Shot Relation Extraction via Reading Comprehension
  • 链接 | https://www.paperweekly.site/papers/289
  • 源码 | https://bitbucket.org/omerlevy/bidaf_no_answer

本文提出了基于阅读理解的关系抽取方法,并且成功抽取未标注的新关系。本文的精华之处在于对阅读理解问题的转化和数据集的生成。

填空式(slot-filling)关系抽取是在给定的关系 R、实体 e 和句子 s,在 s 中找到集合 A,使得其中的元素 a 满足 R(e, a)。在阅读理解中,问题 q 可表示为 R(e, ?),回答问题等同于填空式关系抽取在 s 中找到答案,问题转化成:把 R(e,?) 翻译成问题 q,借助阅读理解抽取实体关系。

本文提出基于关系而非实体远程监督关系的众包标注方法,在可控的开销内,为此类问题构建一个非常大的数据集。

5c0372d164365b89f59e42ce717815f82864d275


  • 论文 | IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models
  • 链接 | https://www.paperweekly.site/papers/200
  • 源码 | https://github.com/geek-ai/irgan

本文是生成对抗网络(GAN)在信息检索(IR)中的应用。信息检索中的两种常见模式:预测给出的文档相关性;给出文档对,判别他们之间的相关性。

本文转换问题角度,得到基于对抗网络的信息检索模型(IRGAN),主要由判别模型(挖掘标注与非标注的数据中的信息,用于引导生成模型拟合给定查询的结果在文档中的分布情况)和生成模型(根据查询生成高相关性的结果)组成。

本文从三个角度使用 GAN 对信息检索建模,即:pointwise(学习人类对文档的相关性判断),pairwise(找出最具有相关性的文档对),listwise(相关性排序)。

本文的模型架构可以应用于:网页搜索在线排序(sf: LambdaRank, LambdaMART, RankNet)、item 推荐系统(cf matrix factorisation)、问答系统(退化成 IR 的评估)。

扩展阅读: 

3cb6caa066ac169d696da5a8cea666aada2775af


  • 论文 | Neural Relation Extraction with Selective Attention over Instances
  • 链接 | https://www.paperweekly.site/papers/175
  • 源码 | https://github.com/thunlp/TensorFlow-NRE

本文提出使用卷积神经网络得到句子分布式表示,并结合句子级注意力机制动态减弱噪声干扰的远程监督关系抽取模型。

本文在得到句子分布式表示 x,巧妙地引入关系的向量表示 r,并使用 r 与 x 结合得到关系在每个句子上的注意力表示,最后经过 softmax 网络得到每种关系在句子集预测值,从而动态的去除了噪声对远程监督关系抽取的影响。

与现有神经网络模型相比,本文模型不仅可以综合利用所有文本数据,而且可以降低错误标注数据的影响,抽取准确率取得显著提高。

扩展阅读: 

0e5fb8130911e984be176a32641c3ef2def2a0fc


  • 论文 | Unsupervised Neural Machine Translation
  • 链接 | https://www.paperweekly.site/papers/1036
  • 源码 | 暂无

神经机器翻译在近几年取得了巨大进步,日渐趋于成熟,但其仍然严重依赖于稀缺的平行标注语料。当源语言或目标语言是小众语种时,此问题更加突出。

本文作者认为无监督神经机器翻译是大势所趋,完全舍弃了平行数据,提出了用完全无监督的方式训练神经机器翻译系统的新方法,该方法只需使用单语语料库。在统一的向量空间上进行“意译”,使用 denosing 和 backtranslation 来强化这一目标。

该系统在 WMT 2014 法语 - 英语和德语 - 英语翻译中分别取得了 15.56 和 10.21 的 BLEU 得分。

eeb51ef3991a96bd7c892e38c4e3859e9521413d


  • 论文 | Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
  • 链接 | https://www.paperweekly.site/papers/477
  • 源码 | https://github.com/zsctju/triplets-extraction

实体和关系的联合抽取问题作为信息抽取的关键任务,其实现方法可以简单分为两类:一类是串联抽取方法,另一类是联合抽取方法。

串联抽取方法将该问题分解为两个串联的子任务,即先采用实体识别模型抽取实体,再采用关系抽取模型得到实体对之间的关系,其优势是便于单独优化实体识别任务和关系抽取任务,但缺点是它们以获取三元组的中间产物(实体或者关系类型)为目标,而实体识别的结果会进一步影响关系抽取的结果,导致误差累积。

不同于串联抽取方法,联合抽取方法使用一个模型同时抽取实体及其关系,能够更好的整合实体及其关系之间的信息。但现有的联合抽取方法也存在诸多问题。

本文提出了一个新的联合抽取的模型框架来解决此类问题,并在公开数据集 NYT 上取得了很好的效果。

扩展阅读: 

066600d8c233ab57c17915f027967cc981c2f236


  • 论文 | A Structured Self-attentive Sentence Embedding
  • 链接 | https://www.paperweekly.site/papers/1081
  • 源码 | https://github.com/ExplorerFreda/Structured-Self-Attentive-Sentence-Embedding

本文发表于 ICLR 2017,作者提出一个新的自注意力模型,能提取句子中的重要部分进行 embedding,是一篇可以直接看公式理解作者思路的论文。

本文最大的亮点在于提出了自注意力机制,无需外部信息即可对自身进行 attention。此外,本文还提出用二维矩阵表示句子,矩阵的不同行表示句子不同层面的信息,使句子表达信息更丰富,解决了句子被压缩成一维向量时的信息损失问题。

8d4c10054ebc4d2d210222279763d5dff834cdaf


  • 论文 | Dialogue Learning With Human-In-The-Loop
  • 链接 | https://www.paperweekly.site/papers/1436
  • 源码 | https://github.com/facebook/MemNN/tree/master/HITL

一般的对话机器人训练着重于在固定数据集上训练,本文使用强化学习基于在线反馈训练对话模型,在合成语境中对模型各方面性能进行测试,使用 Mechanical Turk 验证模型在真实环境中的表现,成功证明了使用固定数据集初始化模型后通在线学习改进模型的可行性。

在模型中,策略(Policy)使用 MemN2N(End-to-End Memory Network)实现,对话历史对应模型状态(State),问题的答案对应模型的动作空间(Action),回答的正误对应反馈(Reward),模型使用 batch size 控制模型参数更新频率以适用不同的学习模式。试验了 RBI (Reward-based Imitation),Reinforce,FP (Forward Prediction) 等学习方法在模型中的表现。


原文发布时间为:2018-01-30

本文作者:让你更懂AI的

本文来自云栖社区合作伙伴“PaperWeekly”,了解相关信息可以关注“PaperWeekly”微信公众号

相关文章
|
2月前
|
边缘计算 人工智能 自然语言处理
引领AI变革:边缘计算与自然语言处理结合的无尽可能
引领AI变革:边缘计算与自然语言处理结合的无尽可能
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
探索未来AI技术的前沿——自然语言处理的发展与应用
本文将深入探讨自然语言处理技术在人工智能领域中的重要性和应用前景。通过分析当前自然语言处理技术的发展趋势和实际应用案例,揭示了其在改善用户体验、提升工作效率以及推动产业创新方面的巨大潜力。
|
1月前
|
自然语言处理
【自然语言处理NLP】DPCNN模型论文精读笔记
【自然语言处理NLP】DPCNN模型论文精读笔记
43 2
|
2月前
|
机器学习/深度学习 数据采集 人工智能
构建基于AI的自然语言处理系统
【5月更文挑战第30天】本文探讨了构建基于AI的自然语言处理系统的方法,涉及需求分析、数据准备、模型选择、训练与评估、系统部署和持续优化等关键步骤。强调了数据质量和数量对模型性能的影响,选择了深度学习模型如RNN、LSTM和Transformer,并指出系统优化是持续的过程,旨在提升性能和满足用户需求,为AI领域贡献力量。
|
2月前
|
机器学习/深度学习 人工智能 数据挖掘
ICLR 49.9%论文疑有AI审稿
【5月更文挑战第20天】ICLR会议上一篇研究引发关注,推测近50%的论文可能由AI进行审稿,挑战传统审稿流程。研究者运用机器学习分析历史审稿数据,发现可能的AI审稿模式。该研究提出AI审稿可减轻审稿人负担,提高效率,但也面临证据不足、理解复杂学术概念限制及审稿行为多样性等问题。学术界需谨慎评估AI在审稿中的角色,以确保质量和公正性。[论文链接](https://arxiv.org/abs/2405.02150)
45 1
|
2月前
|
人工智能
AI大咖说-如何评价论文的创新性
《AI大咖说》探讨论文创新性,强调新意、有效性和领域研究问题的重要性。创新点在于用新颖方法有效解决研究问题。评价公式:价值=问题大小*有效性*新意度。该观点源于《跟李沐学AI》视频,提供1-100分评分标准,助力评估论文价值。5月更文挑战第14天
44 3
|
2月前
|
机器学习/深度学习 人工智能
论文介绍:AI击败最先进全球洪水预警系统,提前7天预测河流洪水
【5月更文挑战第4天】研究人员开发的AI模型(基于LSTM网络)成功击败全球最先进的洪水预警系统,能在未设测站流域提前7天预测洪水,显著提升预警时间,降低灾害影响。该模型使用公开数据集,减少了对长期观测数据的依赖,降低了预警系统的成本,有望帮助资源有限的地区。然而,模型的性能可能受特定流域条件影响,泛化能力和预测解释性仍有待改进。[论文链接](https://www.nature.com/articles/s41586-024-07145-1)
75 11
|
2月前
|
人工智能 自然语言处理 搜索推荐
【AI 初识】自然语言处理概念
【5月更文挑战第3天】【AI 初识】自然语言处理概念
|
2月前
|
数据采集 人工智能 数据挖掘
【AI大模型应用开发】【附】常用Prompt记录 - 论文全文写作
【AI大模型应用开发】【附】常用Prompt记录 - 论文全文写作
71 0
【AI大模型应用开发】【附】常用Prompt记录 - 论文全文写作
|
2月前
|
机器学习/深度学习 人工智能 算法
AI大咖说-如何有效的读论文
# AI大咖李沐教你高效读论文 李沐,亚马逊资深首席科学家,MXNet框架作者,推荐其在B站的“跟李沐学AI”。他建议读论文分三步:粗读(标题、摘要、结论)、快速浏览(整体理解)和精读(深入细节)。通过这三遍阅读,判断论文是否相关,理解解决问题的方法和实验。5月更文挑战第13天
36 0