一周AI论文 | FB发布商业化图像识别系统,多任务学习还能这样用

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: 一周AI论文 | FB发布商业化图像识别系统,多任务学习还能这样用

呜啦啦啦啦啦啦啦大家好,本周的AI Scholar Weekly栏目又和大家见面啦!

AI ScholarWeekly是AI领域的学术专栏,致力于为你带来最新潮、最全面、最深度的AI学术概览,一网打尽每周AI学术的前沿资讯。

每周更新,做AI科研,每周从这一篇开始就够啦!

本周关键词:计算机视觉、强化学习、NLI基准数据集

本周最佳学术研究

统一的计算机视觉模型中继和商业嵌入

在本文中,Facebook研究人员介绍了一种已商业化的图像识别系统GrokNet,它利用多任务学习方法来训练单个计算机视觉中继。

与此前最先进的Facebook产品识别系统相比,该系统在精确的产品匹配准确度方面提高了2.1倍。研究人员使用80个多分类损失函数和3个嵌入损失函数,在跨多个垂直行业的7个数据集上对该系统进行了训练。

此外,研究人员还分享了他们合并不同来源的广泛标签语义和图像统计信息的经验,包括从人工注释、用户生成标签以及嘈杂的搜索引擎交互数据中学习等。GrokNet已展示出在生产应用中的收益,并在全Facebook范围内运营。

原文:
https://scontent.fnbo10-1.fna.fbcdn.net/v/t39.8562-6/99353320_565175057533429_3886205100842024960_n.pdf?_nc_cat=110&_nc_sid=ae5e01&_nc_eui2=AeE9yczGL2fQu7hI63j5N9JkGJXM2UeHCFkYlczZR4cIWZeNJCkxO3DCo_SXRQWlEFw&_nc_ohc=TEpZ9hHEe8MAX8JRlp2&_nc_ht=scontent.fnbo10-1.fna&oh=705ea8b2efbaa816bf427c6929103c46&oe=5F26CCF8

用于序列建模的快速可扩展工具包

本文介绍了一种快速且可扩展的工具包FAIRSEQ,它可用于序列建模,也可延伸到多种应用。它是开源的,允许研究人员和开发人员训练定制模型来进行翻译、摘要、语言建模和其他文本生成任务等。

FAIRSEQ基于PyTorch,支持跨多个GPU和多台机器的分布式训练,同时还支持在现代GPU上进行快速混合精度训练和推断。研究人员表明,他们将继续开发该工具包来为相关领域的研究进展助力。

视频:
https://www.youtube.com/watch?v=OtgDdWtHvto&fbclid=IwAR39fEIMOnZejKDHWiNY1iwuKxNOoul3dwg35V5TPgXbBHfnZi0KfyzUksU

原文:
https://scontent.fnbo10-1.fna.fbcdn.net/v/t39.8562-6/83051144_1038597923140515_8256016209179312128_n.pdf?_nc_cat=101&_nc_sid=ae5e01&_nc_eui2=AeFisb47moWp-IVWsG9L4d1epUcjMidpohelRyMyJ2miF768UDPeplEoIDI_hPDx_tI&_nc_ohc=2adsknzxL2gAX8hXTR0&_nc_ht=scontent.fnbo10-1.fna&oh=27c4d6428f92abc4b030a916c35dce11&oe=5F254DB6

转换器(Transformers)即循环神经网络(RNNs):具有线性注意力的快速自回归转换器

本文提出了一种线性转换器,即一种可以显著减少原始转换器内存和计算成本的模型。

研究人员利用矩阵乘积的关联属性,计算出时间和存储上的自注意力,这些自注意力与该模型可以与因果掩码(causal masking)一同使用,并且仍能保持其线性渐近复杂度。

此外,研究人员还将该转换器模型表达为循环神经网络(RNNs),这一特性能将自回归任务的推断速度提高了数千倍。这一特征的发现同时为RNNs和转换器相关的信息存储和检索的研究开辟了众多新的方向。

原文:
https://linear-transformers.com/

如何评估强化学习算法的优劣?

当我们将强化学习(RL)算法应用于实际场景时,拥有可靠的算法来实现高性能表现而又无需专家协助或大量的人工干预就显得至关重要。

为了进一步开发可靠且易于使用的算法,研究人员提出了一种有原则的评估程序来量化使用算法的难易程度。

评估框架提供了一种量化评估RL算法的方法。这种方法通过消除研究环境中常见的意外偏差促进了算法比较时的公平性。通过开发一种在此方法上建立高置信范围的方法,它们提供了比较所需的可靠框架。

他们希望这一实施方案能够使研究人员轻松利用该方法来量化他们的算法性能。

原文:
https://arxiv.org/abs/2006.16958v1

自然语言理解的又一新基准

Facebook AI Research引入了一个新的大规模NLI基准数据集,该数据集是通过迭代的、对抗性的“人与模型循环”程序收集的。他们表明,在这个新数据集上的训练模型可以在各种流行的NLI基准上带来最先进的性能,同时使用新的测试集提出了更加困难的挑战。

他们的分析揭示了当前最新模型的缺点,并表明非专家标注者可以成功地发现其缺点。这样的数据收集方法可以应用在永无止境的学习场景中,成为NLU的动态目标,而不是会很快饱和的静态基准。

原文:
https://scontent.fnbo10-1.fna.fbcdn.net/v/t39.8562-6/106008535_712002762933999_6704813911278641056_n.pdf?_nc_cat=100&_nc_sid=ae5e01&_nc_eui2=AeGQU6B72T8RDkwJ4QkLXjsR3PXrJi4yJRLc9esmLjIlEgjf2LkzO6ZhxWJAweH0dFQ&_nc_ohc=nVz1kCdImBcAX-qNc90&_nc_ht=scontent.fnbo10-1.fna&oh=3aa35fa01a1d4f3ce5254f5f4a382094&oe=5F27302E

其他爆款论文

Google AI:利用上下文R-CNN构建细微处的内容关系以实现对象检测:
https://ai.googleblog.com/2020/06/leveraging-temporal-context-for-object.html

新研究表明,在单个目标图像上训练条件对抗生成器足以执行复杂的图像操作:https://arxiv.org/abs/2007.01289v1

JUMPS:用于增加2D姿态估算中的节点数量并恢复被遮挡或丢失节点的最新方法:https://arxiv.org/abs/2007.01151v1

研究人员重新评估了最近关于 BERT的研究方法:利用BERT改善少数样本的微调,并重新评估其有效性:
https://github.com/asappresearch/revisit-bert-finetuning

一项关于基于模型的强化学习的调查:
https://arxiv.org/abs/2006.16712v1

AI资源

每个ML工程师都需要知道的基本算法:
https://towardsdatascience.com/essential-algorithms-every-ml-engineer-needs-to-know-3167b1e940f

教程:使用Keras、TensorFlow和OpenCV将任何CNN图像分类器转换为对象检测器:
https://www.pyimagesearch.com/2020/06/22/turning-any-cnn-image-classifier-into-an-object-detector-with-keras-tensorflow-and-opencv/

我从200种机器学习工具中学到了什么:
https://huyenchip.com/2020/06/22/mlops.html

Nvidia全新的100美元开发板使探索机器学习变得容易:
https://spectrum.ieee.org/geek-life/hands-on/quickly-embed-ai-into-your-projects-with-nvidias-jetson-nano

AI大事件

Google全新的ML Kit SDK可以在设备上保留所有机器学习信息: https://www.slashgear.com/googles-new-ml-kit-sdk-keeps-all-machine-learning-on-the-device-24626181/

机器人将如何彻底改变医疗保健:
https://www.zdnet.com/article/how-robots-are-revolutionizing-healthcare/

AI求职市场是否有免受歧视的保障:
https://www.analyticsinsight.net/ai-in-hiring-a-safeguard-from-discrimination/

相关文章
|
28天前
|
机器学习/深度学习 数据采集 人工智能
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】随着人工智能的发展,深度学习技术正逐步应用于教育领域,特别是个性化学习系统中。通过分析学生的学习数据,深度学习模型能够精准预测学生的学习表现,并为其推荐合适的学习资源和规划学习路径,从而提供更加高效、有趣和个性化的学习体验。
84 9
|
6天前
|
机器学习/深度学习 人工智能 算法
【AI系统】AI芯片驱动智能革命
本课程深入解析AI模型设计演进,探讨AI算法如何影响AI芯片设计,涵盖CPU、GPU、FPGA、ASIC等主流AI芯片,旨在全面理解AI系统体系,适应后摩尔定律时代的技术挑战。
28 5
|
2月前
|
存储 人工智能 自然语言处理
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
|
27天前
|
机器学习/深度学习 人工智能 搜索推荐
AI在医疗领域的革命:智能诊断系统的未来
在科技日新月异的今天,人工智能(AI)技术正逐渐渗透到我们生活的每一个角落,其中医疗领域尤为显著。本文将探讨AI在医疗诊断中的应用及其带来的变革,重点介绍智能诊断系统的发展现状与未来趋势。通过深入浅出的方式,我们将揭示AI如何改变传统医疗模式,提高诊断效率和准确性,最终造福广大患者。
|
6天前
|
机器学习/深度学习 存储 人工智能
【AI系统】计算之比特位宽
本文详细介绍了计算机中整数和浮点数的比特位宽概念及其在AI模型中的应用。通过对比特位宽的定义、整数与浮点数的表示方法、AI中常用的数据类型(如FP32、TF32、FP16、BF16、FP8和Int8)及其在模型训练和推理中的作用进行了阐述。特别关注了FP8数据类型在提高计算性能和减少内存占用方面的新进展,以及降低比特位宽对AI芯片性能的影响,强调了低比特位宽在AI领域的重要性。
21 0
|
2月前
|
人工智能 API 决策智能
swarm Agent框架入门指南:构建与编排多智能体系统的利器 | AI应用开发
Swarm是OpenAI在2024年10月12日宣布开源的一个实验性质的多智能体编排框架。其核心目标是让智能体之间的协调和执行变得更轻量级、更容易控制和测试。Swarm框架的主要特性包括轻量化、易于使用和高度可定制性,非常适合处理大量独立的功能和指令。【10月更文挑战第15天】
248 6
|
2月前
|
机器学习/深度学习 人工智能 算法
利用AI技术进行图像识别的探索之旅
【10月更文挑战第21天】本文主要介绍了如何运用人工智能技术进行图像识别。通过深入浅出的解释,让读者对AI图像识别有更深入的理解。同时,文章还提供了一些代码示例,帮助读者更好地理解和应用这些技术。
|
26天前
|
人工智能 自然语言处理 安全
AI技术在智能客服系统中的应用与挑战
【10月更文挑战第28天】本文将深入探讨人工智能(AI)技术在智能客服系统中的应用及其面临的挑战。我们将通过实例分析,了解AI如何改善客户服务体验,提高效率和降低成本。同时,我们也将关注AI在实际应用中可能遇到的问题,如语义理解、情感识别和数据安全等,并提出相应的解决方案。
|
28天前
|
安全 搜索推荐 机器学习/深度学习
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】在人工智能的推动下,个性化学习系统逐渐成为教育领域的重要趋势。深度学习作为AI的核心技术,在构建个性化学习系统中发挥关键作用。本文探讨了深度学习在个性化推荐系统、智能辅导系统和学习行为分析中的应用,并提供了代码示例,展示了如何使用Keras构建模型预测学生对课程的兴趣。尽管面临数据隐私和模型可解释性等挑战,深度学习仍有望为教育带来更个性化和高效的学习体验。
74 0
|
2月前
|
人工智能 自然语言处理 机器人
对话阿里云CIO蒋林泉:AI时代,企业如何做好智能化系统建设?
10月18日, InfoQ《C 位面对面》栏目邀请到阿里云CIO及aliyun.com负责人蒋林泉(花名:雁杨),就AI时代企业CIO的角色转变、企业智能化转型路径、AI落地实践与人才培养等主题展开了讨论。