问答Goodfellow:没有样例能不能训练机器学习算法?

简介:
本文来自AI新媒体量子位(QbitAI)

917c55b2f59ff2b96cdf29b05f3cbed261576a31

从图像和语音识别到自然语言分析,神经网络已经在很多领域大展身手。过去几年,它们的精确度已经几乎可以与人类媲美。但仍有很多神经网络无法完成的任务——例如,这种技术还无法取代人类的创造力。

2014年,Ian Goodfellow提出了生成式对抗网络(GAN),可以在无人监督的情况下自行训练,还能对过去的错误和不足进行分析,从而改进效果。

多数深度学习算法都需要数千或数百万添加标签的样例才能获得想要的结果,而对抗网络的出现有助于减少数据需求。从本质上讲,人工智能可以通过模仿“专家”——也就是GAN中的辨别者——来学习复杂的任务。

GAN可以训练两个目标相互竞争的独立网络,还可以用于绘制和归类图像,以及识别情绪、规则和指令。Facebook和Google等现在都在深度学习模型中高度依赖GAN。

近日一篇问答Goodfellow的报道发布,透露了他目前在Google Brain的工作以及GAN的进度。

Goodfellow目前带领一个研究团队研究机器学习中的对抗技术,他在Google Brain的任务是探索如何能够“在对抗者故意想让算法失效时,还能让算法正常运转。”

他解释了他们如何应对现实场景,例如,有垃圾信息试图逃过过滤器发送邮件,他们还研究了如何用成像对抗者让机器学习算法多加练习,并迫使其改进。

例如,GAN可以“学着通过玩游戏生成现实图像,在这个游戏中,生成网络必须产生一些图片,让物体识别网络把假图片错认成真图片。”

Goodfellow拥有计算机科学本科学位,他在美国国家卫生研究院的神经科学实验室当实习生时开始从事人工智能方面的工作。

dbff340a0e1d2d6952388a999d9091ae62a363da

以下为采访概要:

问:深度学习最近有什么重要进步?具体是怎么实现的?

答:截至2017年7月,我认为最新的进步就是2017年5月宣布的新一代谷歌TPU。机器学习始终受制于计算能力的局限。新的谷歌TPU有助于填补我们可以在深度学习实验中使用的计算量,与生物神经系统中使用的计算量之间的差距。

之前的TPU仅能提供给谷歌工程师使用,但新的TPU还可以提供给云计算用户。研究人员甚至可以申请免费使用。

这种新的TPU还支持机器学习模型训练,这较上一代实现了重大进步,之前的TPU可以运行经过训练的模型,但不能用于训练。这些进步来自持续多年的研发,这都得益于谷歌领导层对这一领域展开的先期投资。

问:你的工作在神经网络/GAN领域都有哪些实际应用?哪些领域最有可能受到影响?

答:生成式对抗网络的一个实际应用是半监督式学习。当今的多数深度学习算法都需要使用数千或数百万的标记样例——这种样例会显示具体的输入信息,以及在模型再次看到这个输入信息时所应生成的具体的输出信息。半监督式学习算法可以同时利用标记的样例和未标记的样例——也就是只包含输入信息的样例。

因此,只要还有几千个未标记的样例,它们就能通过少量标记的样例(可能是100个左右)进行学习。GAN和其他半监督式学习方法有可能把机器学习带入很多不同的长尾领域,这些领域没有展开大规模投资,无法收集像物体识别领域那么多的标记数据。

问:深度学习未来五年有望看到哪些进展?

答:我想强调一些别人可能忽视的进展:

  • 我认为在如何提升机器学习算法公平新这个问题上,我们开始看到了一些最佳实践建议,毕竟这类技术已经开始对我们的生活产生重大影响。
  • 我认为我们会开始看到更加强大的隐私保障措施,包括差别隐私、联合学习,以及同态加密。
  • 我认为我们将看到很难被攻击者欺骗的机器学习算法,但我不认为能够看到在数学证明可证明的严密安全保证。

问:有哪些潜在的机器学习进步最令你振奋?

答:我很高兴看到医药机器学习技术发展势头越来越强。

具体而言,我很高兴看到不同的私有GAN被用于证明一套可以共享临床数据,但又不会侵犯病人隐私的系统。当我本科研究神经科学的时候,我对智能的运作方式很感兴趣,希望了解如何治疗大脑疾病。

我之所以希望学习人工智能,部分原因在于我意识到,如果我能够开发更强大的人工智能算法,别人就可以利用这些算法解决生理学和其他学科领域的疑难问题。

c2426c7964bbad2d2c294be34d26f05e1f89b981

本文作者:李杉
原文发布时间:2017-10-18
相关文章
|
1月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
|
16天前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
|
9天前
|
机器学习/深度学习 自然语言处理 算法
|
6天前
|
机器学习/深度学习 数据采集 算法
|
25天前
|
机器学习/深度学习 分布式计算 算法
大模型开发:你如何确定使用哪种机器学习算法?
在大型机器学习模型开发中,选择算法是关键。首先,明确问题类型(如回归、分类、聚类等)。其次,考虑数据规模、特征数量和类型、分布和结构,以判断适合的算法。再者,评估性能要求(准确性、速度、可解释性)和资源限制(计算资源、内存)。同时,利用领域知识和正则化来选择模型。最后,通过实验验证和模型比较进行优化。此过程涉及迭代和业务需求的技术权衡。
|
29天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型:从数据处理到算法优化
【2月更文挑战第30天】 在数据驱动的时代,构建一个高效的机器学习模型是实现智能决策和预测的关键。本文将深入探讨如何通过有效的数据处理策略、合理的特征工程、选择适宜的学习算法以及进行细致的参数调优来提升模型性能。我们将剖析标准化与归一化的差异,探索主成分分析(PCA)的降维魔力,讨论支持向量机(SVM)和随机森林等算法的适用场景,并最终通过网格搜索(GridSearchCV)来实现参数的最优化。本文旨在为读者提供一条清晰的路径,以应对机器学习项目中的挑战,从而在实际应用中取得更精准的预测结果和更强的泛化能力。
|
1月前
|
机器学习/深度学习 自然语言处理 算法
【机器学习】包裹式特征选择之拉斯维加斯包装器(LVW)算法
【机器学习】包裹式特征选择之拉斯维加斯包装器(LVW)算法
51 0
|
1月前
|
机器学习/深度学习 存储 算法
【机器学习】包裹式特征选择之基于遗传算法的特征选择
【机器学习】包裹式特征选择之基于遗传算法的特征选择
48 0
|
1月前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
26 1
|
1月前
|
机器学习/深度学习 数据采集 算法
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
98 0