问答Goodfellow:没有样例能不能训练机器学习算法?

简介:
本文来自AI新媒体量子位(QbitAI)

917c55b2f59ff2b96cdf29b05f3cbed261576a31

从图像和语音识别到自然语言分析,神经网络已经在很多领域大展身手。过去几年,它们的精确度已经几乎可以与人类媲美。但仍有很多神经网络无法完成的任务——例如,这种技术还无法取代人类的创造力。

2014年,Ian Goodfellow提出了生成式对抗网络(GAN),可以在无人监督的情况下自行训练,还能对过去的错误和不足进行分析,从而改进效果。

多数深度学习算法都需要数千或数百万添加标签的样例才能获得想要的结果,而对抗网络的出现有助于减少数据需求。从本质上讲,人工智能可以通过模仿“专家”——也就是GAN中的辨别者——来学习复杂的任务。

GAN可以训练两个目标相互竞争的独立网络,还可以用于绘制和归类图像,以及识别情绪、规则和指令。Facebook和Google等现在都在深度学习模型中高度依赖GAN。

近日一篇问答Goodfellow的报道发布,透露了他目前在Google Brain的工作以及GAN的进度。

Goodfellow目前带领一个研究团队研究机器学习中的对抗技术,他在Google Brain的任务是探索如何能够“在对抗者故意想让算法失效时,还能让算法正常运转。”

他解释了他们如何应对现实场景,例如,有垃圾信息试图逃过过滤器发送邮件,他们还研究了如何用成像对抗者让机器学习算法多加练习,并迫使其改进。

例如,GAN可以“学着通过玩游戏生成现实图像,在这个游戏中,生成网络必须产生一些图片,让物体识别网络把假图片错认成真图片。”

Goodfellow拥有计算机科学本科学位,他在美国国家卫生研究院的神经科学实验室当实习生时开始从事人工智能方面的工作。

dbff340a0e1d2d6952388a999d9091ae62a363da

以下为采访概要:

问:深度学习最近有什么重要进步?具体是怎么实现的?

答:截至2017年7月,我认为最新的进步就是2017年5月宣布的新一代谷歌TPU。机器学习始终受制于计算能力的局限。新的谷歌TPU有助于填补我们可以在深度学习实验中使用的计算量,与生物神经系统中使用的计算量之间的差距。

之前的TPU仅能提供给谷歌工程师使用,但新的TPU还可以提供给云计算用户。研究人员甚至可以申请免费使用。

这种新的TPU还支持机器学习模型训练,这较上一代实现了重大进步,之前的TPU可以运行经过训练的模型,但不能用于训练。这些进步来自持续多年的研发,这都得益于谷歌领导层对这一领域展开的先期投资。

问:你的工作在神经网络/GAN领域都有哪些实际应用?哪些领域最有可能受到影响?

答:生成式对抗网络的一个实际应用是半监督式学习。当今的多数深度学习算法都需要使用数千或数百万的标记样例——这种样例会显示具体的输入信息,以及在模型再次看到这个输入信息时所应生成的具体的输出信息。半监督式学习算法可以同时利用标记的样例和未标记的样例——也就是只包含输入信息的样例。

因此,只要还有几千个未标记的样例,它们就能通过少量标记的样例(可能是100个左右)进行学习。GAN和其他半监督式学习方法有可能把机器学习带入很多不同的长尾领域,这些领域没有展开大规模投资,无法收集像物体识别领域那么多的标记数据。

问:深度学习未来五年有望看到哪些进展?

答:我想强调一些别人可能忽视的进展:

  • 我认为在如何提升机器学习算法公平新这个问题上,我们开始看到了一些最佳实践建议,毕竟这类技术已经开始对我们的生活产生重大影响。
  • 我认为我们会开始看到更加强大的隐私保障措施,包括差别隐私、联合学习,以及同态加密。
  • 我认为我们将看到很难被攻击者欺骗的机器学习算法,但我不认为能够看到在数学证明可证明的严密安全保证。

问:有哪些潜在的机器学习进步最令你振奋?

答:我很高兴看到医药机器学习技术发展势头越来越强。

具体而言,我很高兴看到不同的私有GAN被用于证明一套可以共享临床数据,但又不会侵犯病人隐私的系统。当我本科研究神经科学的时候,我对智能的运作方式很感兴趣,希望了解如何治疗大脑疾病。

我之所以希望学习人工智能,部分原因在于我意识到,如果我能够开发更强大的人工智能算法,别人就可以利用这些算法解决生理学和其他学科领域的疑难问题。

c2426c7964bbad2d2c294be34d26f05e1f89b981

本文作者:李杉
原文发布时间:2017-10-18
相关文章
|
29天前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
96 4
|
29天前
|
人工智能 JSON 算法
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以Qwen2.5-Coder-32B为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
|
8天前
|
算法
PAI下面的gbdt、xgboost、ps-smart 算法如何优化?
设置gbdt 、xgboost等算法的样本和特征的采样率
22 2
|
26天前
|
机器学习/深度学习 算法 数据挖掘
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
43 1
|
1月前
|
人工智能 边缘计算 JSON
DistilQwen2 蒸馏小模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
本文详细介绍在 PAI 平台使用 DistilQwen2 蒸馏小模型的全链路最佳实践。
|
1月前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法:从线性回归到神经网络
深入理解机器学习算法:从线性回归到神经网络
|
1月前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
91 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
1月前
|
机器学习/深度学习 数据采集 人工智能
浅谈机器学习,聊聊训练过程,就酱!
本故事讲的是关于机器学习的基本概念和训练过程。通过这个故事,你将对机器学习有一个直观的了解。随后,当你翻阅关于机器学习的书籍时,也许会有不同的感受。如果你有感觉到任督二脉被打通了,那我真是太高兴了。如果没有,我再努努力 ヘ(・_|
41 0
浅谈机器学习,聊聊训练过程,就酱!
|
1月前
|
机器学习/深度学习 算法
深入探索机器学习中的决策树算法
深入探索机器学习中的决策树算法
41 0