问答Goodfellow:没有样例能不能训练机器学习算法?

简介:
本文来自AI新媒体量子位(QbitAI)

917c55b2f59ff2b96cdf29b05f3cbed261576a31

从图像和语音识别到自然语言分析,神经网络已经在很多领域大展身手。过去几年,它们的精确度已经几乎可以与人类媲美。但仍有很多神经网络无法完成的任务——例如,这种技术还无法取代人类的创造力。

2014年,Ian Goodfellow提出了生成式对抗网络(GAN),可以在无人监督的情况下自行训练,还能对过去的错误和不足进行分析,从而改进效果。

多数深度学习算法都需要数千或数百万添加标签的样例才能获得想要的结果,而对抗网络的出现有助于减少数据需求。从本质上讲,人工智能可以通过模仿“专家”——也就是GAN中的辨别者——来学习复杂的任务。

GAN可以训练两个目标相互竞争的独立网络,还可以用于绘制和归类图像,以及识别情绪、规则和指令。Facebook和Google等现在都在深度学习模型中高度依赖GAN。

近日一篇问答Goodfellow的报道发布,透露了他目前在Google Brain的工作以及GAN的进度。

Goodfellow目前带领一个研究团队研究机器学习中的对抗技术,他在Google Brain的任务是探索如何能够“在对抗者故意想让算法失效时,还能让算法正常运转。”

他解释了他们如何应对现实场景,例如,有垃圾信息试图逃过过滤器发送邮件,他们还研究了如何用成像对抗者让机器学习算法多加练习,并迫使其改进。

例如,GAN可以“学着通过玩游戏生成现实图像,在这个游戏中,生成网络必须产生一些图片,让物体识别网络把假图片错认成真图片。”

Goodfellow拥有计算机科学本科学位,他在美国国家卫生研究院的神经科学实验室当实习生时开始从事人工智能方面的工作。

dbff340a0e1d2d6952388a999d9091ae62a363da

以下为采访概要:

问:深度学习最近有什么重要进步?具体是怎么实现的?

答:截至2017年7月,我认为最新的进步就是2017年5月宣布的新一代谷歌TPU。机器学习始终受制于计算能力的局限。新的谷歌TPU有助于填补我们可以在深度学习实验中使用的计算量,与生物神经系统中使用的计算量之间的差距。

之前的TPU仅能提供给谷歌工程师使用,但新的TPU还可以提供给云计算用户。研究人员甚至可以申请免费使用。

这种新的TPU还支持机器学习模型训练,这较上一代实现了重大进步,之前的TPU可以运行经过训练的模型,但不能用于训练。这些进步来自持续多年的研发,这都得益于谷歌领导层对这一领域展开的先期投资。

问:你的工作在神经网络/GAN领域都有哪些实际应用?哪些领域最有可能受到影响?

答:生成式对抗网络的一个实际应用是半监督式学习。当今的多数深度学习算法都需要使用数千或数百万的标记样例——这种样例会显示具体的输入信息,以及在模型再次看到这个输入信息时所应生成的具体的输出信息。半监督式学习算法可以同时利用标记的样例和未标记的样例——也就是只包含输入信息的样例。

因此,只要还有几千个未标记的样例,它们就能通过少量标记的样例(可能是100个左右)进行学习。GAN和其他半监督式学习方法有可能把机器学习带入很多不同的长尾领域,这些领域没有展开大规模投资,无法收集像物体识别领域那么多的标记数据。

问:深度学习未来五年有望看到哪些进展?

答:我想强调一些别人可能忽视的进展:

  • 我认为在如何提升机器学习算法公平新这个问题上,我们开始看到了一些最佳实践建议,毕竟这类技术已经开始对我们的生活产生重大影响。
  • 我认为我们会开始看到更加强大的隐私保障措施,包括差别隐私、联合学习,以及同态加密。
  • 我认为我们将看到很难被攻击者欺骗的机器学习算法,但我不认为能够看到在数学证明可证明的严密安全保证。

问:有哪些潜在的机器学习进步最令你振奋?

答:我很高兴看到医药机器学习技术发展势头越来越强。

具体而言,我很高兴看到不同的私有GAN被用于证明一套可以共享临床数据,但又不会侵犯病人隐私的系统。当我本科研究神经科学的时候,我对智能的运作方式很感兴趣,希望了解如何治疗大脑疾病。

我之所以希望学习人工智能,部分原因在于我意识到,如果我能够开发更强大的人工智能算法,别人就可以利用这些算法解决生理学和其他学科领域的疑难问题。

c2426c7964bbad2d2c294be34d26f05e1f89b981

本文作者:李杉
原文发布时间:2017-10-18
相关文章
|
4天前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
19 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
1月前
|
存储 机器学习/深度学习 算法
蓝桥杯练习题(三):Python组之算法训练提高综合五十题
蓝桥杯Python编程练习题的集合,涵盖了从基础到提高的多个算法题目及其解答。
58 3
蓝桥杯练习题(三):Python组之算法训练提高综合五十题
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
16天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
17天前
|
机器学习/深度学习 数据采集 人工智能
浅谈机器学习,聊聊训练过程,就酱!
本故事讲的是关于机器学习的基本概念和训练过程。通过这个故事,你将对机器学习有一个直观的了解。随后,当你翻阅关于机器学习的书籍时,也许会有不同的感受。如果你有感觉到任督二脉被打通了,那我真是太高兴了。如果没有,我再努努力 ヘ(・_|
34 0
浅谈机器学习,聊聊训练过程,就酱!
|
25天前
|
机器学习/深度学习 算法 Java
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
|
1月前
|
机器学习/深度学习 人工智能 算法
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
玉米病害识别系统,本系统使用Python作为主要开发语言,通过收集了8种常见的玉米叶部病害图片数据集('矮花叶病', '健康', '灰斑病一般', '灰斑病严重', '锈病一般', '锈病严重', '叶斑病一般', '叶斑病严重'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。再使用Django搭建Web网页操作平台,实现用户上传一张玉米病害图片识别其名称。
55 0
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
|
1月前
|
机器学习/深度学习 算法 决策智能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
|
1月前
|
机器学习/深度学习 算法 Python
探索机器学习中的决策树算法:从理论到实践
【10月更文挑战第5天】本文旨在通过浅显易懂的语言,带领读者了解并实现一个基础的决策树模型。我们将从决策树的基本概念出发,逐步深入其构建过程,包括特征选择、树的生成与剪枝等关键技术点,并以一个简单的例子演示如何用Python代码实现一个决策树分类器。文章不仅注重理论阐述,更侧重于实际操作,以期帮助初学者快速入门并在真实数据上应用这一算法。
|
13天前
|
机器学习/深度学习 人工智能 算法
探索机器学习中的决策树算法
【10月更文挑战第29天】本文将深入浅出地介绍决策树算法,一种在机器学习中广泛使用的分类和回归方法。我们将从基础概念出发,逐步深入到算法的实际应用,最后通过一个代码示例来直观展示如何利用决策树解决实际问题。无论你是机器学习的初学者还是希望深化理解的开发者,这篇文章都将为你提供有价值的见解和指导。

热门文章

最新文章