一周AI最火论文 | 万物皆可预训练,NLP和CV皆获巨大性能提升-阿里云开发者社区

开发者社区> 大数据文摘> 正文
登录阅读全文

一周AI最火论文 | 万物皆可预训练,NLP和CV皆获巨大性能提升

简介: 一周AI最火论文 | 万物皆可预训练,NLP和CV皆获巨大性能提升

开源软件(OSS)开发人员专业知识一览

涉及开源软件的项目个数和开发人员人数现在越来越多了。GitHub报告称,仅在2019年,新加入的开发人员就超过1000万,而新创建的项目超过4400万个。

OSS生态系统以其数以千万计的项目和开发人员而焕发生机,同时也颇具威慑力。它存储着最关键的基础结构的源代码,并拥有最杰出的开发人员作为后盾。然而,低质量、甚至恶意软件,以及新手开发人员也比比皆是。因此,虽然外部捐款对于OSS项目至关重要,但是捐款是否被接受(甚至被考虑)都取决于开发人员和捐款人之间互相信任与否。

本文定义了API、开发人员和项目的技能栈。与通过汇总活动数相比,这项定义能更准确地反映开发人员的知识;与关注开发人员过去修改的代码文件相比,这项定义更为广泛。

原文:
https://arxiv.org/abs/2005.10176v1

开源BiT:探索用于计算机视觉的大规模预训练

计算机视觉研究人员普遍认为,当前的深度神经网络总是渴求更多的带标签数据。比如训练当前最新的CNN时需要诸如OpenImages或Places等的大数据集,它们包含了超过1M的带标签图像。但很多时候,普通从业人员难以收集如此多的带标签数据。

类比BERT和T5在语言领域取得的进步,Google AI研究人员认为,大规模预训练也可以提高计算机视觉模型的性能。

在本文中,研究人员表明,在对大量通用数据进行预训练的情况下,简单的传输策略就能在大型数据集和数据量少(最少每类只有一张图像)的任务上都得到好的结果。他们现在发布了BiT-M模型,在ImageNet-21k上进行了预训练的R152x4,以及为在Jax、TensorFlow2和PyTorch间的传输提供支持的协同实验室。他们希望该模型能替代常用的ImageNet预训练模型为从业者和研究人员所用。

Github传送门:
https://github.com/google-research/big_transfer
原文:
https://arxiv.org/abs/1912.11370

用于Web规模推荐系统的多视图多任务图表示学习框架

将图表示学习与多视图数据相结合来进行推荐是业界一大趋势。现有方法大多可以被归类为多视图表示融合。它们首先构建一张图,然后将图中每个节点的多视图集成到单个紧凑表示中。这些方法近来在工程和算法方面都引起了人们的担忧。

为了应对这一挑战,本文研究人员提出了M2GRL。这是一种用于Web级推荐系统的新型多视图多任务图表示学习框架。它为每个单视图数据构造了一个图形,从每个图形中学习单独的表示形式,最后对多个表示形式进行对齐以建立交叉视图关系。M2GRL支持不限数量的数据视图,并且可以分布式部署处理数十亿规模的数据样本。

M2GRL在淘宝网上的评估、离线实验和在线A / B测试都显示,M2GRL优于其他竞争基准。

原文:
https://arxiv.org/abs/2005.10110v1

电子游戏中的异常检测

为了设计自动化的游戏质量检验工具,一组研究人员提出了将游戏中的错误识别为异常检测(AD)问题。他们开发了State-State Siamese Networks(S3N),这是在这种情况下针对AD的有效深度学习指标,并探索了如何将其用作自动化测试工具的一部分。

研究人员通过对一系列Atari游戏的评估进一步表明,S3N能够构建有意义的“嵌入”,并且能够成功识别许多常见类型的游戏漏洞。

数据集链接:
https://www.kaggle.com/benedictwilkinsai/atari-anomaly-dataset-aad
代码与训练好的模型:
https://github.com/BenedictWilkinsAI/S3N
原文:
https://arxiv.org/abs/2005.10211v1

英语推文的预训练语言模型

澳大利亚eHealth研究中心与VinAI Research合作的研究人员最近提出了BERTweet这一模型,这是第一个针对英文推文的公共、大规模预训练语言模型。BERTweet使用RoBERTa预训练过程进行训练,并且模型配置与BERT-base相同。

研究人员通过证明BERTweet优于其基准RoBERTabase和XLMRbase并帮助产生比以前SOTA模型更好的性能来证明BERTweet的优势。该模型在POS标记、NER和文本分类的三个下游Tweet NLP任务中均得到了体现。BERTweet发行版还旨在促进Tweet分析任务的未来研究和应用。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据文摘
使用钉钉扫一扫加入圈子
+ 订阅

官方博客
最新文章
相关文章
官网链接