一周AI论文 | FB发布商业化图像识别系统,多任务学习还能这样用-阿里云开发者社区

开发者社区> -技术小助手-> 正文

一周AI论文 | FB发布商业化图像识别系统,多任务学习还能这样用

简介: 一周AI论文 | FB发布商业化图像识别系统,多任务学习还能这样用
+关注继续查看

呜啦啦啦啦啦啦啦大家好,本周的AI Scholar Weekly栏目又和大家见面啦!

AI ScholarWeekly是AI领域的学术专栏,致力于为你带来最新潮、最全面、最深度的AI学术概览,一网打尽每周AI学术的前沿资讯。

每周更新,做AI科研,每周从这一篇开始就够啦!

本周关键词:计算机视觉、强化学习、NLI基准数据集

本周最佳学术研究

统一的计算机视觉模型中继和商业嵌入

在本文中,Facebook研究人员介绍了一种已商业化的图像识别系统GrokNet,它利用多任务学习方法来训练单个计算机视觉中继。

与此前最先进的Facebook产品识别系统相比,该系统在精确的产品匹配准确度方面提高了2.1倍。研究人员使用80个多分类损失函数和3个嵌入损失函数,在跨多个垂直行业的7个数据集上对该系统进行了训练。

此外,研究人员还分享了他们合并不同来源的广泛标签语义和图像统计信息的经验,包括从人工注释、用户生成标签以及嘈杂的搜索引擎交互数据中学习等。GrokNet已展示出在生产应用中的收益,并在全Facebook范围内运营。

原文:
https://scontent.fnbo10-1.fna.fbcdn.net/v/t39.8562-6/99353320_565175057533429_3886205100842024960_n.pdf?_nc_cat=110&_nc_sid=ae5e01&_nc_eui2=AeE9yczGL2fQu7hI63j5N9JkGJXM2UeHCFkYlczZR4cIWZeNJCkxO3DCo_SXRQWlEFw&_nc_ohc=TEpZ9hHEe8MAX8JRlp2&_nc_ht=scontent.fnbo10-1.fna&oh=705ea8b2efbaa816bf427c6929103c46&oe=5F26CCF8

用于序列建模的快速可扩展工具包

本文介绍了一种快速且可扩展的工具包FAIRSEQ,它可用于序列建模,也可延伸到多种应用。它是开源的,允许研究人员和开发人员训练定制模型来进行翻译、摘要、语言建模和其他文本生成任务等。

FAIRSEQ基于PyTorch,支持跨多个GPU和多台机器的分布式训练,同时还支持在现代GPU上进行快速混合精度训练和推断。研究人员表明,他们将继续开发该工具包来为相关领域的研究进展助力。

视频:
https://www.youtube.com/watch?v=OtgDdWtHvto&fbclid=IwAR39fEIMOnZejKDHWiNY1iwuKxNOoul3dwg35V5TPgXbBHfnZi0KfyzUksU

原文:
https://scontent.fnbo10-1.fna.fbcdn.net/v/t39.8562-6/83051144_1038597923140515_8256016209179312128_n.pdf?_nc_cat=101&_nc_sid=ae5e01&_nc_eui2=AeFisb47moWp-IVWsG9L4d1epUcjMidpohelRyMyJ2miF768UDPeplEoIDI_hPDx_tI&_nc_ohc=2adsknzxL2gAX8hXTR0&_nc_ht=scontent.fnbo10-1.fna&oh=27c4d6428f92abc4b030a916c35dce11&oe=5F254DB6

转换器(Transformers)即循环神经网络(RNNs):具有线性注意力的快速自回归转换器

本文提出了一种线性转换器,即一种可以显著减少原始转换器内存和计算成本的模型。

研究人员利用矩阵乘积的关联属性,计算出时间和存储上的自注意力,这些自注意力与该模型可以与因果掩码(causal masking)一同使用,并且仍能保持其线性渐近复杂度。

此外,研究人员还将该转换器模型表达为循环神经网络(RNNs),这一特性能将自回归任务的推断速度提高了数千倍。这一特征的发现同时为RNNs和转换器相关的信息存储和检索的研究开辟了众多新的方向。

原文:
https://linear-transformers.com/

如何评估强化学习算法的优劣?

当我们将强化学习(RL)算法应用于实际场景时,拥有可靠的算法来实现高性能表现而又无需专家协助或大量的人工干预就显得至关重要。

为了进一步开发可靠且易于使用的算法,研究人员提出了一种有原则的评估程序来量化使用算法的难易程度。

评估框架提供了一种量化评估RL算法的方法。这种方法通过消除研究环境中常见的意外偏差促进了算法比较时的公平性。通过开发一种在此方法上建立高置信范围的方法,它们提供了比较所需的可靠框架。

他们希望这一实施方案能够使研究人员轻松利用该方法来量化他们的算法性能。

原文:
https://arxiv.org/abs/2006.16958v1

自然语言理解的又一新基准

Facebook AI Research引入了一个新的大规模NLI基准数据集,该数据集是通过迭代的、对抗性的“人与模型循环”程序收集的。他们表明,在这个新数据集上的训练模型可以在各种流行的NLI基准上带来最先进的性能,同时使用新的测试集提出了更加困难的挑战。

他们的分析揭示了当前最新模型的缺点,并表明非专家标注者可以成功地发现其缺点。这样的数据收集方法可以应用在永无止境的学习场景中,成为NLU的动态目标,而不是会很快饱和的静态基准。

原文:
https://scontent.fnbo10-1.fna.fbcdn.net/v/t39.8562-6/106008535_712002762933999_6704813911278641056_n.pdf?_nc_cat=100&_nc_sid=ae5e01&_nc_eui2=AeGQU6B72T8RDkwJ4QkLXjsR3PXrJi4yJRLc9esmLjIlEgjf2LkzO6ZhxWJAweH0dFQ&_nc_ohc=nVz1kCdImBcAX-qNc90&_nc_ht=scontent.fnbo10-1.fna&oh=3aa35fa01a1d4f3ce5254f5f4a382094&oe=5F27302E

其他爆款论文

Google AI:利用上下文R-CNN构建细微处的内容关系以实现对象检测:
https://ai.googleblog.com/2020/06/leveraging-temporal-context-for-object.html

新研究表明,在单个目标图像上训练条件对抗生成器足以执行复杂的图像操作:https://arxiv.org/abs/2007.01289v1

JUMPS:用于增加2D姿态估算中的节点数量并恢复被遮挡或丢失节点的最新方法:https://arxiv.org/abs/2007.01151v1

研究人员重新评估了最近关于 BERT的研究方法:利用BERT改善少数样本的微调,并重新评估其有效性:
https://github.com/asappresearch/revisit-bert-finetuning

一项关于基于模型的强化学习的调查:
https://arxiv.org/abs/2006.16712v1

AI资源

每个ML工程师都需要知道的基本算法:
https://towardsdatascience.com/essential-algorithms-every-ml-engineer-needs-to-know-3167b1e940f

教程:使用Keras、TensorFlow和OpenCV将任何CNN图像分类器转换为对象检测器:
https://www.pyimagesearch.com/2020/06/22/turning-any-cnn-image-classifier-into-an-object-detector-with-keras-tensorflow-and-opencv/

我从200种机器学习工具中学到了什么:
https://huyenchip.com/2020/06/22/mlops.html

Nvidia全新的100美元开发板使探索机器学习变得容易:
https://spectrum.ieee.org/geek-life/hands-on/quickly-embed-ai-into-your-projects-with-nvidias-jetson-nano

AI大事件

Google全新的ML Kit SDK可以在设备上保留所有机器学习信息: https://www.slashgear.com/googles-new-ml-kit-sdk-keeps-all-machine-learning-on-the-device-24626181/

机器人将如何彻底改变医疗保健:
https://www.zdnet.com/article/how-robots-are-revolutionizing-healthcare/

AI求职市场是否有免受歧视的保障:
https://www.analyticsinsight.net/ai-in-hiring-a-safeguard-from-discrimination/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
轻量化AI服务再添两将!阿里云机器学习PAI DSW 2.0 & Alink商业版重磅发布
近日,阿里云推出机器学习PAI两大新品DSW 2.0 & Alink商业版,机器学习PAI产品家族,覆盖了机器学习的数据处理、建模、训练、模型优化、在线预测的全产品线,用户既可以搭建完整的个性化推荐系统,让CTR提高10%+; 也可以使用Blade进行深度学习模型进行优化,节省GPU消耗50%。
538 0
使用SQL Server 2005作业设置定时任务
原文:使用SQL Server 2005作业设置定时任务 公司有一个老项目由于直接把终端拍摄的图片以二进制的形式保存到数据库中,数据库比较大所以需要经常删除这些冗余数据,手动删除费时费力,项目组长让我把这些操作变成自动的,每天执行一次,只保留最近两个月的图片数据。
619 0
基于多任务学习和负反馈的深度召回模型
召回结果的好坏对整个推荐结果有着至关重要的影响,最近的一系列实践和研究表明,基于行为序列的深度学习推荐模型搭配高性能的近似检索算法可以实现既准又快的召回性能;与此同时,用户在天猫精灵上还可以进行实时指令操控(歌名点播:“播放七里香”、风格流派推荐点播:“来点摇滚”、主动切歌:“下一首”等),如何利用这些丰富的反馈信息改进召回模型的性能,他们是怎么做的呢?
1094 0
1457
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载