问答Goodfellow:没有样例能不能训练机器学习算法?

简介:
本文来自AI新媒体量子位(QbitAI)

917c55b2f59ff2b96cdf29b05f3cbed261576a31

从图像和语音识别到自然语言分析,神经网络已经在很多领域大展身手。过去几年,它们的精确度已经几乎可以与人类媲美。但仍有很多神经网络无法完成的任务——例如,这种技术还无法取代人类的创造力。

2014年,Ian Goodfellow提出了生成式对抗网络(GAN),可以在无人监督的情况下自行训练,还能对过去的错误和不足进行分析,从而改进效果。

多数深度学习算法都需要数千或数百万添加标签的样例才能获得想要的结果,而对抗网络的出现有助于减少数据需求。从本质上讲,人工智能可以通过模仿“专家”——也就是GAN中的辨别者——来学习复杂的任务。

GAN可以训练两个目标相互竞争的独立网络,还可以用于绘制和归类图像,以及识别情绪、规则和指令。Facebook和Google等现在都在深度学习模型中高度依赖GAN。

近日一篇问答Goodfellow的报道发布,透露了他目前在Google Brain的工作以及GAN的进度。

Goodfellow目前带领一个研究团队研究机器学习中的对抗技术,他在Google Brain的任务是探索如何能够“在对抗者故意想让算法失效时,还能让算法正常运转。”

他解释了他们如何应对现实场景,例如,有垃圾信息试图逃过过滤器发送邮件,他们还研究了如何用成像对抗者让机器学习算法多加练习,并迫使其改进。

例如,GAN可以“学着通过玩游戏生成现实图像,在这个游戏中,生成网络必须产生一些图片,让物体识别网络把假图片错认成真图片。”

Goodfellow拥有计算机科学本科学位,他在美国国家卫生研究院的神经科学实验室当实习生时开始从事人工智能方面的工作。

dbff340a0e1d2d6952388a999d9091ae62a363da

以下为采访概要:

问:深度学习最近有什么重要进步?具体是怎么实现的?

答:截至2017年7月,我认为最新的进步就是2017年5月宣布的新一代谷歌TPU。机器学习始终受制于计算能力的局限。新的谷歌TPU有助于填补我们可以在深度学习实验中使用的计算量,与生物神经系统中使用的计算量之间的差距。

之前的TPU仅能提供给谷歌工程师使用,但新的TPU还可以提供给云计算用户。研究人员甚至可以申请免费使用。

这种新的TPU还支持机器学习模型训练,这较上一代实现了重大进步,之前的TPU可以运行经过训练的模型,但不能用于训练。这些进步来自持续多年的研发,这都得益于谷歌领导层对这一领域展开的先期投资。

问:你的工作在神经网络/GAN领域都有哪些实际应用?哪些领域最有可能受到影响?

答:生成式对抗网络的一个实际应用是半监督式学习。当今的多数深度学习算法都需要使用数千或数百万的标记样例——这种样例会显示具体的输入信息,以及在模型再次看到这个输入信息时所应生成的具体的输出信息。半监督式学习算法可以同时利用标记的样例和未标记的样例——也就是只包含输入信息的样例。

因此,只要还有几千个未标记的样例,它们就能通过少量标记的样例(可能是100个左右)进行学习。GAN和其他半监督式学习方法有可能把机器学习带入很多不同的长尾领域,这些领域没有展开大规模投资,无法收集像物体识别领域那么多的标记数据。

问:深度学习未来五年有望看到哪些进展?

答:我想强调一些别人可能忽视的进展:

  • 我认为在如何提升机器学习算法公平新这个问题上,我们开始看到了一些最佳实践建议,毕竟这类技术已经开始对我们的生活产生重大影响。
  • 我认为我们会开始看到更加强大的隐私保障措施,包括差别隐私、联合学习,以及同态加密。
  • 我认为我们将看到很难被攻击者欺骗的机器学习算法,但我不认为能够看到在数学证明可证明的严密安全保证。

问:有哪些潜在的机器学习进步最令你振奋?

答:我很高兴看到医药机器学习技术发展势头越来越强。

具体而言,我很高兴看到不同的私有GAN被用于证明一套可以共享临床数据,但又不会侵犯病人隐私的系统。当我本科研究神经科学的时候,我对智能的运作方式很感兴趣,希望了解如何治疗大脑疾病。

我之所以希望学习人工智能,部分原因在于我意识到,如果我能够开发更强大的人工智能算法,别人就可以利用这些算法解决生理学和其他学科领域的疑难问题。

c2426c7964bbad2d2c294be34d26f05e1f89b981

本文作者:李杉
原文发布时间:2017-10-18
相关文章
|
机器学习/深度学习 人工智能 JSON
【解决方案】DistilQwen2.5-R1蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对DistilQwen2.5-R1模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过 PAI-ModelGallery 轻松实现 Qwen2.5 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2.5-R1 蒸馏模型的全链路最佳实践。
|
人工智能 JSON 算法
【解决方案】DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen 系列是阿里云人工智能平台 PAI 推出的蒸馏语言模型系列,包括 DistilQwen2、DistilQwen2.5、DistilQwen2.5-R1 等。本文详细介绍DistilQwen2.5-DS3-0324蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践。
|
10月前
|
机器学习/深度学习 数据采集 人工智能
【机器学习算法篇】K-近邻算法
K近邻(KNN)是一种基于“物以类聚”思想的监督学习算法,通过计算样本间距离,选取最近K个邻居投票决定类别。支持多种距离度量,如欧式、曼哈顿、余弦相似度等,适用于分类与回归任务。结合Scikit-learn可高效实现,需合理选择K值并进行数据预处理,常用于鸢尾花分类等经典案例。(238字)
|
机器学习/深度学习 自然语言处理 算法
Java 大视界 -- Java 大数据机器学习模型在自然语言处理中的对抗训练与鲁棒性提升(205)
本文探讨Java大数据与机器学习在自然语言处理中的对抗训练与鲁棒性提升,分析对抗攻击原理,结合Java技术构建对抗样本、优化训练策略,并通过智能客服等案例展示实际应用效果。
|
机器学习/深度学习 数据采集 人工智能
20分钟掌握机器学习算法指南
在短短20分钟内,从零开始理解主流机器学习算法的工作原理,掌握算法选择策略,并建立对神经网络的直观认识。本文用通俗易懂的语言和生动的比喻,帮助你告别算法选择的困惑,轻松踏入AI的大门。
1039 8
|
人工智能 自然语言处理 算法
MT-MegatronLM:国产训练框架逆袭!三合一并行+FP8黑科技,大模型训练效率暴涨200%
MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架,支持多种模型架构和高效混合并行训练,显著提升 GPU 集群的算力利用率。
1200 18
|
机器学习/深度学习 存储 Kubernetes
【重磅发布】AllData数据中台核心功能:机器学习算法平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
机器学习/深度学习 人工智能 自然语言处理
AI训练师入行指南(三):机器学习算法和模型架构选择
从淘金到雕琢,将原始数据炼成智能珠宝!本文带您走进数字珠宝工坊,用算法工具打磨数据金砂。从基础的经典算法到精密的深度学习模型,结合电商、医疗、金融等场景实战,手把手教您选择合适工具,打造价值连城的智能应用。掌握AutoML改装套件与模型蒸馏术,让复杂问题迎刃而解。握紧算法刻刀,为数字世界雕刻文明!
566 6
|
机器学习/深度学习 人工智能 边缘计算
DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路,DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下,显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。

热门文章

最新文章