暂无个人介绍
调参、改激活函数提高模型性能已经见怪不改了。最近Google Brain的首席Quoc发布了一个搜索框架,能够自动搜索高效率的Transformer变体,并找到一些有效的模型Primer,其中ReLU加个平方竟然能提升最多性能!
北航教授团队发明了一种直接有效的方法来生产热稳定的块状纳米孪晶钛。这种材料的机械性能,特别是其强度和拉伸延展性,在从环境温度到低温温度都有很大程度的提高,并且非常经济,有望在工业中大规模使用。纳米孪晶钛五彩斑斓的的微观结构登上了这期《Science》的封面。
模型为中心的竞赛见得太多了,最近国内上新了一个中文NLP竞赛DataCLUE。与以往不同的是,它是以数据为中心的竞赛!不用调参,不用改模型,只需要修改输入数据即可,还有能白嫖的数据分析服务。
不用文本就能训练语言模型?听起来像天方夜谭,竟被Facebook 给实现了!最近他们推出了一种新的语言模型训练方式GSLM,从语音开始训练,不需要标签,不需要大规模数据,不需要ASR模型,让每个语言都能享受大规模语言模型的便利!
在AI时代,残障人士也受到了更多来自技术上的关怀,例如专属的聊天训练机器人、手语翻译机器、自闭症患者VR训练等等,最近Google针对语言障碍人士开发了专属的语音识别模型,让你说的话可以被更多人听懂!
你是否抱怨过深度学习这畸形的研究发展路线,大公司才能玩得起sota,普通人连买张显卡都要承受几倍的溢价!最近Google发布了一个新的语言模型FLAN,或许能在深度学习中带来新的发展趋势,它相比GPT-3少了400亿参数,性能还更强!
图神经网络近几年的发展十分火热,主要原因还是图能够表示连通关系,例如知识图谱等更贴切现实应用!Google Research最近发了一篇博客,从零开始教学GNN的发展路程,不熟悉的同学可以查缺补漏啦!
图神经网络近几年的发展十分火热,主要原因还是图能够表示连通关系,例如知识图谱等更贴切现实应用!Google Research最近发了一篇博客,从零开始教学GNN的发展路程,不熟悉的同学可以查缺补漏啦!
ICLR2021和CVPR2021双料大作,谷歌最新成果,融合单类分类与深度表示的自监督学习的异常检测算法,超越多个数据集基准。
参数量和模型的性能有绝对关系吗?苏黎世华人博士提出SwinIR模型,实验结果告诉你,越小的模型还可能更强!SwinIR使用Transformer力压CNN,又在图像修复领域屠榜,模型参数量降低67%,再也不要唯参数量论英雄了!
零样本的风格迁移听说过没有?英伟达一个实习生小哥集文本CLIP和图像生成StyleGAN于一身,只需要输入几个单词就可以完成你想要的风格迁移效果!再也不用为了风格迁移找数据啦!
王言治教授团队与美国色拉布公司(Snap Inc.)首次提出了一种GAN剪枝的方法,除了使压缩时间减少了四个数量级以外,还在远低于原始计算量的条件下,获得来比原有模型更好的性能,并且实现了更高的生成图片质量。论文已被CVPR 2021收录。
AI程序员狠起来连自己的岗位都要干掉。随着AutoML研究的深入,自动搜索最优的神经网络模型已经变得越来越快。最近微软开源了他们的方案FLAMA,网络搜索性能比sota还要显著提升,资源消耗降低为原来的十分之一!最重要的是它是Python库,三行代码就能彻底改造你的AutoML方案!
你印象中的多模态模型还停留在文本+图片吗?DeepMind最近开源了一个新模型Perceiver IO,除了传统的音频、文本、图片数据可以输入进去以外,还能打星际争霸!作者宣称这可能是迈向通用人工智能的重要一步!
Transformer模型好是好,可惜太慢了!最近一位清华大神在arxiv上传了一篇论文,提出新模型Fastformer,线性时间复杂度,训练和推理效率史上最快,还顺手在排行榜刷了个sota。
上周特斯拉举办AI日,除了发布机器人,还公布了其自研的D1芯片。凭借这款芯片,特斯拉打造出了最快的 AI 训练计算机ExaPOD。
图像预处理的一个重要操作就是resize,把不同大小的图像缩放到同一尺寸,但目前用到的resize技术仍然是老旧的,无法根据数据变换。Google Research提出一个可学习的resizer,只需在预处理部分略作修改,即可提升CV模型性能!
近日,瑞士格劳宾登应用科学大学团队历时101天9小时,完成了圆周率小数点后62.8万亿位的计算,比创下吉尼斯纪录耗费的计算时间减少一半!诞生如此多位小数的算法「y-cruncher」竟出自高中生之手。
机器人对人类语言有促进作用吗?近期Nature杂志上的一篇文章告诉你:是的!
由于标注人员的社会背景不同,所标注的数据也可能存在着固有偏见,从而导致训练的模型继承了这种偏见。Google 对于这个问题发布了一个数据分析平台Know Your Data,能做三件事,让数据变得公平、公平、还是公平!
安卓12已经发布第四测试版,距离正式版的发布会也仅有一步之遥,还记得Android 12有什么重大新功能吗?在看发布会之前一起回顾一下吧!
近日,GitHub宣布转移到去年5月就推出的Codespaces,现在,基于浏览器的编码环境Codespaces配置了32核、64GB RAM的VM,提前克隆和引导存储库,只需要10秒时间就能够和团队共享开发环境。
Github 2200星,备受好评的排序库tensorflow ranking最近又迎来大更新:新的架构,支持更多Tensor库!尤其是Keras,官方直言:用Keras可以让开发人员更方便地开发和部署。
近日,谷歌联合几十位物理学家,用量子计算机造出了「时间晶体」。
近日,LeCun带领两位来自UC伯克利的华人博士共同发表了一份关于如何减少参数冗余问题的论文,团队提出的RPG循环参数生成器,在减少骨干参数的同时,也依然能获得比SOTA更好的性能。
写故事没灵感?有AI啊!谷歌提出文本编辑器Wordcraft,内置人工智能,使用少量样本学习和对话就能支持各种用户交互,还可以帮助用户进行故事规划、写作和编辑,再也不用担心被催更啦!
写故事没灵感?有AI啊!谷歌提出文本编辑器Wordcraft,内置人工智能,使用少量样本学习和对话就能支持各种用户交互,还可以帮助用户进行故事规划、写作和编辑,再也不用担心被催更啦!
昨日,DeepMind和华盛顿大学分别在nature和Science两大顶级杂志发布了各自预测蛋白质结构的工具,并同时开源了代码。
昨日,DeepMind和华盛顿大学分别在nature和Science两大顶级杂志发布了各自预测蛋白质结构的工具,并同时开源了代码。
GPT-4将会有高达10兆个参数?近日,有网友在分析了GPT-3和其他语言模型之后大胆预测,GPT-4将会达到GPT-3的57倍!而「开源版本」则会达到和GPT-3同等的规模。
你是否受到Transformer无法输入篇章级词汇数量的困扰?马里兰大学华人博士提出能输入超长文本的Transformer-LS!无需更换硬件,输入长度即可提升三倍,参数压缩率超100%!
这两天的上海来了一位重量级选手,它有个绰号「AI粒子对撞机」!作为AI界「基础设施型」选手,一亮相就带来了「真刀实枪」!
Data Is Not All You Need! 如今有海量数据可供研究,确保数据质量和隐私变得更加紧迫。本期的「Nature封面」介绍了新兴研究领域「计算社会科学」,讨论了如何用大数据集解决社会问题。
神经网络的设计到底能不能借鉴人类大脑构造?近日,Hinton在Twitter上开了一个小讨论:人们反对在设计神经网络时从大脑获取灵感,就像在设计飞行器时从羽毛中获取灵感一样。这次没论文,就是一个观点,你同意吗?
神经网络的设计到底能不能借鉴人类大脑构造?近日,Hinton在Twitter上开了一个小讨论:人们反对在设计神经网络时从大脑获取灵感,就像在设计飞行器时从羽毛中获取灵感一样。这次没论文,就是一个观点,你同意吗?
AI模型进入大数据时代,单机早已不能满足训练模型的要求,最近Google Brain和DeepMind联手发布了一个可以分布式训练模型的框架Launchpad,堪称AI界的MapReduce。
深度学习都能模拟现实了?通过观察机器人的运行轨迹,连摩擦系数都能学出来!Google X的一位斯坦福华人博士最近在ICLR2021上发表了一篇文章,教你动态模拟现实!
在最近放出的CVPR 2021论文中,微软的研究者提出了多重注意力机制统一目标检测头方法Dynamic Head。在Transformer骨干和额外数据加持下,将COCO单模型测试取得新纪录:60.6 AP。
收藏夹是我们信息获取的主要渠道,作为一名程序员,你的收藏夹够精简、够专业吗?也许你需要对照一下下面这份「程序员生存指南」。
机器人的训练相比自然语言处理、视觉等领域来说更加困难,因为需要实际搭建一个环境,更多的时间来试错。而使用模拟器来模拟机器人,训练出来的模型想要直接应用到真实环境之间还需要消除他们之间的gap。
Python30岁了!「没想到Python这么流行!」
全球最轻的智能眼镜,超精细的立体油画打印,可以食用的PLAiR餐盒,还有什么黑科技?理光|理创大赛把这些技术都开放给你,想怎么玩儿都可以!
给机器人赋予情感一直是AI工程师在做的事,最近哥伦比亚华人博士研究了一个能做6种情绪、42种表情的机器人,脸是蓝色的,看起来十分炫酷。相关工作已在ICRA 2021上发表。
一个计算机探索宇宙的史诗级时刻!近日,被誉为全球最快的人工智能工作负载超级计算机——Perlmutte宣布开启。这台新超级计算机以拥有6144个英伟达A100张量核心图形处理器,将负责拼接有史以来最大的可见宇宙3D地图。并且,它有望拨开物理学天空的乌云——暗能量。
继「九章」量子计算原型机后,近日,潘建伟、朱晓波、彭承志等组成的研究团队,成功研制了62比特可编程超导量子计算原型机「祖冲之号」,并在此基础上实现了可编程的二维量子行走。相关研究成果已在Science上发表。
Facebook在语音识别上又出重磅新作,继wav2vec, wav2vec 2.0以来,又出完全不需要监督数据的wav2vec-U,小众语言也能用语音识别啦!
在刚刚举行的高通5G峰会上,高通宣布推出了全新骁龙778G 5G移动平台,旨在带来影像、游戏、AI极致多媒体「三项全能」体验。荣耀、小米、OPPO又可以升级了!
在刚刚举行的高通5G峰会上,高通宣布推出了全新骁龙778G 5G移动平台,旨在带来影像、游戏、AI极致多媒体「三项全能」体验。荣耀、小米、OPPO又可以升级了!
预训练的经验来说,数据越多,效果越好!Google最近在NAACL 2021上发了一篇文章,可以从知识图谱中自动生成文本数据,再也不怕语料不够用了!
程序员的工作就是取代重复、算法可替代的工作,而他们自己也在研究如何取代自己。Facebook新发表的代码补全模型准确率超50%,动动手指就能写几百行代码!