微软亚研20周年,微软ResNet等AI技术突破盘点

本文涉及的产品
文档翻译,文档翻译 1千页
图片翻译,图片翻译 100张
语种识别,语种识别 100万字符
简介: ResNet、r-Net,在人工智能迅猛发展的今天,微软研究之花可独表一枝

2016 年,《财富》杂志在文章《Why deep learning is suddenly changing your life》曾如此描述这波 AI 浪潮的兴起,「最初的革命火花开始于 2009 年。那年夏天微软的邓力邀请神经网络先驱、多伦多大学的 Geoffrey Hinton 来参观并合作... 邓力的团队用神经网络做了大量语言识别方面的实验。」


作为世界顶尖的研究中心之一,成立于 1991 年的微软研究院经过数十年的积累,成为了这波深度学习浪潮中的主力军。而微软亚研作为微软在美国本土以外最大的基础研究机构,作出了 ResNet、r-Net 这样的顶级研究成果,也培养了何恺明、孙剑这样一批优秀的后继力量。


11 月 5 日,是微软亚洲研究院(MSRA) 成立 20 周年。在「21 世纪的计算」学术研讨会以及后续的 20 周年庆典上,微软回顾了他们为全球 AI 技术发展贡献的重要研究成果,特别是在 AI 领域的突破性研究。机器之心对这些突破性研究进行了盘点,很荣幸的是我们从 2015 年初就已经开始关注、报道微软在 AI 领域的技术突破。


微信图片_20211130141801.jpg图:来自「21 世纪的计算」学术研讨会上洪小文演讲


计算机视觉 ResNet、Faster R-CNN


计算机视觉是人工智能核心领域之一,过去数年因深度学习得以快速发展。在 2015 年微软研究院的研究者们提出 ResNet 之前,卷积网络的深度有非常大的限制,最深的网络受限于梯度传播也只有十几二十层。而微软的研究者创新地提出了残差连接,从而使得训练数百甚至数千层成为可能,并在这种情况下能展现出大大超越以往的性能。


在 ImageNet 比赛分类任务中,ResNet 获得第一名,ResNet 的作者何恺明也因此摘得 CVPR2016 最佳论文奖,其他作者包括张祥雨(Xiangyu Zhang)、任少卿(Shaoqing Ren)和孙剑(Jiangxi Sun)


微信图片_20211130141834.jpg


现在,ResNet 已经成为了计算机视觉领域的一大经典技术,很多 CV 任务都将预训练的 ResNet 作为基础网络,可以说大多数 CV 模型都离不开 ResNet。除了 ResNet,在计算机视觉领域微软还提出了用于实时物体检测的 Faster R-CNN,用于立体视觉的置信度传播算法,用于图像分割的 Lazy Snapping 算法以及暗通道去雾法等。


参见:



「超人」语音识别


除了计算机视觉,语音识别也因深度学习取得极大的突破。2016 年,微软在语音识别次错率上不断刷新记录:2016 年 9 月份,微软的单个系统在产业标准 Switchboard 语音识别任务的基准评估取得了 6.3% 的词错率(WER);2016 年 10 月份,微软语音识别系统实现了和专业速录员相当甚至更低的词错率(WER),达到了 5.9%;2017 年 8 月,微软语音识别研究团队在黄学东的带领下,将去年 10 月刷新的 5.9% 词错率降至 5.1%。


微信图片_20211130141910.jpg


在 2017 年 9 月份,机器之心对黄学东的专访中他曾表示,「在技术研究的「最后一英里」,每 0.1 个百分点的进步都异常艰难。」但他也表示,「真正的语音识别有口音、噪音、远场、语速等等问题,在这些方面,人的鲁棒性还是不同一般的。所以我们在这个任务上达到了『超人』的水平只是一个小小的里程碑。」在这个领域,还有大量的工作需要完成。


参见:



机器阅读理解打破人类记录


2018 年 1 月初,AI 社区为微软、阿里所引爆。几乎在同一时间,微软和阿里巴巴的机器阅读理解系统在最新的 SQuAD 数据集测评结果中取得了并列第一的成绩,历史上第一次打破了人类记录。


在此比赛中,微软使用的是 MSRA 于 2017 年发布的论文《R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS》中提出的 R-Net。R-NET 模型在 SQuAD 文本理解挑战赛中,EM 值(表示预测答案和真实答案完全匹配)达到 82.650 分。此后,微软亚洲研究院升级后的 NL-NET 模型在 EM 值和 F1 值(表示预测答案和真实答案近似匹配)两个维度上,分别获得了 85.954、91.677 的高分。


微信图片_20211130141939.jpg虽然此成绩经过媒体的夸大传播引起了 NLP 社区的反感,但我们确实在机器阅读理解领域不断进步。除此之外,过去几年,微软研究院一直在「让机器理解人类上」压以重注,如 2016 年微软发布数据集 MS MARCO,有意打造阅读理解领域的「ImageNet」;2017 年微软收购 NLP 明星公司 Maluuba。


参见:



机器翻译媲美人类


2016 年,自谷歌宣布谷歌翻译整合神经网络实现颠覆性突破之后,机器翻译成为了深度学习社区的热门研究领域。2018 年 3 月,微软研究团队表示,微软和微软亚研创造了首个在质量与准确率上匹配人类水平的中英新闻机器翻译系统。



微信图片_20211130142008.jpg


在接受机器之心专访时,微软语音、自然语言与机器翻译的技术负责人黄学东表示,他们采用专业人类标注与盲测评分代替 BLEU 分值而具有更高的准确性,且新系统相比于现存的机器翻译系统有非常大的提升。因此,根据人类盲测评分,微软机器翻译取得了至少和专业翻译人员相媲美的效果。

相关文章
|
1月前
|
人工智能 数据安全/隐私保护
如何识别AI生成内容?探秘“AI指纹”检测技术
如何识别AI生成内容?探秘“AI指纹”检测技术
335 119
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
AI检测技术:如何识别机器生成的“数字指纹”?
AI检测技术:如何识别机器生成的“数字指纹”?
236 115
|
1月前
|
人工智能 自然语言处理 算法
揭秘AI文本:当前主流检测技术与挑战
揭秘AI文本:当前主流检测技术与挑战
317 115
|
1月前
|
人工智能 vr&ar UED
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
|
1月前
|
人工智能 新制造
TsingtaoAI受邀参加宁波AI海曙科创训练营并分享技术落地实践
10月12日至15日,由宁波市海曙区组织部主办的AI海曙科创训练营在宁波成功举办。作为受邀企业代表,TsingtaoAI团队深入参与了多项活动,与政府领导、行业专家及科创企业代表围绕AI技术在制造业、成果转化等领域的实际应用展开交流,用真实案例诠释了“技术扎根产业”的价值逻辑。
81 2
|
1月前
|
机器学习/深度学习 人工智能 算法
AI可以做电商主图了:技术原理,AI电商图生成工具对比及技术解析
双十一临近,电商主图需求激增。AI技术凭借多图融合、扩散模型等,实现高效智能设计,30秒生成高质量主图,远超传统PS效率。支持风格迁移、背景替换、文案生成,助力商家快速打造吸睛商品图,提升转化率。
615 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
如何准确检测AI生成内容?这三大技术是关键
如何准确检测AI生成内容?这三大技术是关键
563 116
|
1月前
|
人工智能 机器人 人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
268 117
|
1月前
|
机器学习/深度学习 人工智能 算法
AI生成内容的“指纹”与检测技术初探
AI生成内容的“指纹”与检测技术初探
186 9

热门文章

最新文章