2016年,机器学习和人工智能领域有什么重大进展?(附重要论文下载链接)

简介: 2016年机器学习领域取得了很多可以铭记在历史中的进展,将其称为”机器学习元年”也并不为过。市场上各大公司都在进行机器学习的研究,即使没有,他们也通过收购各类机器学习初创公司来快速进入这个领域。

2016年机器学习领域取得了很多可以铭记在历史中的进展,将其称为”机器学习元年”也并不为过。市场上各大公司都在进行机器学习的研究,即使没有,他们也通过收购各类机器学习初创公司来快速进入这个领域。

99f79370c3b19a2bb5256d53bb94799c5e5d55ee

造就这一轮机器学习的热潮的原因很多。虽然Google开源Tensorflow框架才过去短短一年,Tensorflow已然成为Github上最为炙手可热的项目,使用场景横跨从药物研发到自动音乐生成等各个领域。Google并不是唯一开源了机器学习基本框架的科技巨头,微软的CNTK,百度的PaddlePaddle都是目前被广泛使用的机器学习框架。Amazon虽然没有自己研发的机器学习框架,但他们已经宣布将在未来支持MXNet,以期推广他们最新的AWS ML平台。而Facebook目前主要支持两个深度学习平台:Torch以及Caffe。Google本身也同时在支持在学术和工业界都取得重大成功的机器学习框架Keras。在这个意义上来说,在AI的这场技术”军备大战”中,Google与Facebook算是打成了平手。

除了各大技术公司争相开源自己的机器学习框架,2016年也见证了无数优质的机器学习的应用,这些工作即使放到几个月前都是不可想象的。

我特别印象深刻的是Wavenet的音频生成的质量。过去我曾经处理过类似的问题,对比之下对于那些他们所完成的结果我很欣赏。我也要强调一些最近在唇读方面的成就,一个伟大的视频识别的应用,在不久的将来可能是非常有用的(也许是可怕的)。 我还应该提到谷歌在机器翻译方面取得的令人印象深刻的进步。看到这一领域在一年内有这么大进步真是令人惊讶。

事实上,机器翻译并不是我们在过去一年中在机器学习在自然语言技术领域看到的唯一有价值的进步。 通过结合深度序列神经网络以及语言相关的一些信息,我们可以生成一些更为丰富的语言模型。 例如在“A Neural Knowledge Language Model”这篇论文中,Bengio的团队将知识图谱与RNN相结合,而在“Contextual LSTM models for Large scale NLP Tasks”的论文中,Deepmind团队将文章的主题提取同时纳入到LSTM模型。 此外,我们还看到了许多在建模语言模型的attention和memory(这两个词在学术方面有专门的含义,解释成注意力和记忆也没错,但是总觉得有点不太对)方面的有趣工作。 作为一个例子,我推荐在今年的ICML(国际机器学习大会)中发表的论文“Ask Me Anything: Dynamic Memory Networks for NLP”。

此外,我还想要提及一些发表于2016年在巴塞罗那举行的NIPS上的工作。遗憾的是,我错过了这次在我的家乡举行的会议。从我了解的内容来看,两个最热门的话题可能是生成式对抗网络(包括Ian Goodfellow的非常受欢迎的教程)和结合概率模型的深度学习相关的课题。

另外我也想谈一下机器学习在我的主要专业领域,推荐系统方面的一些进步。 毫无疑问,深度学习也深刻影响了这一领域。 虽然我个人仍然不建议将DL作为推荐系统的默认方法,但看它如何在实际工作中大规模的使用是很有趣的,例如通过像Youtube这样的产品我们可以看到DL对比传统的方法上还是取得了一定进展(这里有一篇Google的paper https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/45530.pdf)。 也就是说,在该领域还是有一些有趣的研究与深度学习无关。 例如今年ACM Recsys的最佳论文奖颁给了“Local Item-Item Models For Top-N Recommendation”,这篇工作主要是针对稀疏线性方法(即SLIM)的一个有趣扩展,通过增加一个初始化非监督聚类的步骤提升效果。 此外,“Field-aware Factorization Machines for CTR Prediction”主要详细解释了在Kaggle上的Criteo CTR预测挑战赛中的获胜算法,我们不得不正视在推荐领域,Factorization Machine仍然是你的ML工具包中非常实用的一个工具。

我可以继续在接下来的段落中列举出机器学习在过去12个月里取得的有影响力的进步。例如与图像识别或者深度强化学习相关的突破,一些重要的可应用场景包括自动驾驶汽车,聊天机器人或游戏对战,这些领域在2016年都获得了巨大的进步。此外还有各类关于机器学习如何具有或可能对社会有负面影响的争论,以及关于算法偏差和公平性的讨论的兴起。

附言:(这段有点调侃,算是学术界八卦,不翻译也罢哈哈)

在我被打电话之前,我还应该提到,大多数这些进展可能是由Schmidhuber在几年前就已经发表了。 不过他至少上了今年的纽约时报特刊!

Wavenet: https://arxiv.org/pdf/1609.03499.pdf

唇读方面的成就: https://arxiv.org/pdf/1611.05358.pdf

机器翻译:https://arxiv.org/pdf/1609.08144.pdf

A Neural Knowledge Language Model:https://arxiv.org/pdf/1608.00318.pdf

Contextual LSTM models for Large scale NLP Tasks: https://arxiv.org/pdf/1602.06291.pdf

结合概率模型的深度学习相关的课题:

http://inverseprobability.com/2016/12/13/nips-highlights.html

Deep Neural Networks for YouTube Recommendations: 

http://dl.acm.org/citation.cfm?id=2959190

Local Item-Item Models For Top-N Recommendation:

http://dl.acm.org/citation.cfm?id=2959185

Field-aware Factorization Machines for CTR:Prediction:http://dl.acm.org/citation.cfm?id=2959134

算法偏差和公平性的讨论:

https://www.wired.com/2016/11/humans-can-force-machines-play-fair?mbid=social_twitter

Schmidhuber的纽约时报特刊:

http://www.nytimes.com/2016/11/27/technology/artificial-intelligence-pioneer-jurgen-schmidhuber-overlooked.html?_r=0

本文来源于Quora,作者Xavier Amatriain,译者:郭昕(来自蚂蚁金服-人工智能部)

云栖社区兴趣翻译小组提供翻译支持

目录
相关文章
|
1月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
70 3
|
19天前
|
机器学习/深度学习 人工智能 物联网
通义灵码在人工智能与机器学习领域的应用
通义灵码不仅在物联网领域表现出色,还在人工智能、机器学习、金融、医疗和教育等领域展现出广泛应用前景。本文探讨了其在这些领域的具体应用,如模型训练、风险评估、医疗影像诊断等,并总结了其提高开发效率、降低门槛、促进合作和推动创新的优势。
通义灵码在人工智能与机器学习领域的应用
|
21天前
|
机器学习/深度学习 人工智能 算法
人工智能与机器学习的融合之旅
【10月更文挑战第37天】本文将探讨AI和机器学习如何相互交织,共同推动技术发展的边界。我们将深入分析这两个概念,了解它们是如何互相影响,以及这种融合如何塑造我们的未来。文章不仅会揭示AI和机器学习之间的联系,还会通过实际案例展示它们如何协同工作,以解决现实世界的问题。
|
24天前
|
机器学习/深度学习 人工智能 机器人
推荐一些关于将图形学先验知识融入人工智能模型的研究论文
推荐一些关于将图形学先验知识融入人工智能模型的研究论文
|
20天前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
62 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之解释性AI与可解释性机器学习
随着人工智能技术的广泛应用,机器学习模型越来越多地被用于决策过程。然而,这些模型,尤其是深度学习模型,通常被视为“黑箱”,难以理解其背后的决策逻辑。解释性AI(Explainable AI, XAI)和可解释性机器学习(Interpretable Machine Learning, IML)旨在解决这个问题,使模型的决策过程透明、可信。
45 2
|
25天前
|
机器学习/深度学习 数据采集 人工智能
揭秘AI:机器学习的魔法与代码
【10月更文挑战第33天】本文将带你走进AI的世界,了解机器学习的原理和应用。我们将通过Python代码示例,展示如何实现一个简单的线性回归模型。无论你是AI新手还是有经验的开发者,这篇文章都会给你带来新的启示。让我们一起探索AI的奥秘吧!
|
27天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能与机器学习的边界####
本文深入探讨了人工智能(AI)与机器学习(ML)领域的最新进展,重点分析了深度学习技术如何推动AI的边界不断扩展。通过具体案例研究,揭示了这些技术在图像识别、自然语言处理和自动驾驶等领域的应用现状及未来趋势。同时,文章还讨论了当前面临的挑战,如数据隐私、算法偏见和可解释性问题,并提出了相应的解决策略。 ####
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的奥秘:机器学习入门指南
【10月更文挑战第30天】本篇文章是一份初学者友好的机器学习入门指南,旨在帮助读者理解并开始实践机器学习。我们将介绍机器学习的基本概念,包括监督学习、无监督学习和强化学习等。我们还将提供一些实用的代码示例,以帮助读者更好地理解和应用这些概念。无论你是编程新手,还是有一定经验的开发者,这篇文章都将为你提供一个清晰的机器学习入门路径。
37 2
|
24天前
|
机器学习/深度学习 人工智能 安全
人工智能与机器学习在网络安全中的应用
人工智能与机器学习在网络安全中的应用
52 0