谷歌AI负责人Jeff Dean:一文回顾谷歌的2018技术进展

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介: 一年一度的谷歌AI总结公布了。

一年一度的谷歌AI总结公布了。

1月15日,谷歌高级研究员、谷歌AI负责人Jeff Dean发表了博文,回顾总结了2018年谷歌的技术研究进展。

TB1Pj_UCcbpK1RjSZFyXXX_qFXa.png

Jeff Dean从谷歌的人工智能、量子计算、感知技术、算法理论、AutoML、机器人以及TPU等多个技术层面,系统地还原了谷歌AI的2018。

众所周知,在去年一整年,谷歌遭遇了诸多危机,尤其是不作恶的原则受到内外的质疑。Jeff Dean博客中首要提到的便是谷歌的道德原则和AI。

道德原则和人工智能

今年,我们发布了Google AI原则,但是,由于AI的发展非常迅速,AI原则中诸如“避免制造或加强不公平的偏见”、“对人民负责”等也在不断变化和改进。

其中,机器学习公平性和模型可解释性等领域的新研究,正反向推动我们的产品进步,使其更具包容性。例如我们在谷歌翻译中减少“性别偏见”,并允许探索和发布更具包容性的图像数据集和模型,使计算机视觉能够适应全球文化的多样性。

社会公益

Jeff Dean举例了AI应用于解决现实公共问题的案例:

洪水预测工作。该研究与Google的许多团队合作,旨在提供有关洪水发生可能和范围的准确细粒度信息,使洪水易发地区的人们能够更好地保护自己及其财产。

地震余震预测的工作。谷歌展示了机器学习(ML)模型可以比传统的基于物理的模型更准确地预测余震位置。

除此之外,还有许多Google研究人员和工程师合作,使用TensorFlow等开源软件解决各种科学和社会问题,例如使用卷积神经网络来识别座头鲸的位置,检测新的系外行星,识别患病的木薯植物等。

AI辅助技术

为了使ML和计算机科学帮助用户更快更有效地完成任务,谷歌推出了智能语音技术Google Duplex。

这是一个囊括自然语言研究和对话理解以及文本、语言识别的技术。其核心是一个循环神经网络,使用的是TensorFlow Extend(TFX)的机器学习平台构建。

当Google Duplex拨打电话时,它的声音近乎真实的普通人。你可以听到Google Duplex帮你打电话预约理发。

其他应用案例还包括Smart Compose,它可以使用预测模型提供有关如何撰写电子邮件的相关建议,使电子邮件撰写过程更快更容易的工具。

TB1MLQgChjaK1RjSZKzXXXVwXXa.gif

我们研究的一个重点是让Google智能助理这样的产品支持更多语言,并且可以更好地理解语义相似性。

量子计算

在过去的一年里,我们制作了许多令人兴奋的量子计算新成果,包括开发了一种新的72比特通用量子计算设备Bristlecone,该设备可以扩大量子计算机在量子领域可以解决的问题。

TB15nfTCjTpK1RjSZKPXXa3UpXa.jpg

我们还发布了量子计算机的开源编程框架Cirq,并探讨了量子计算机如何用于神经网络。最后,我们分享了量子处理器性能波动的经验和技术以及量子计算机如何作为神经网络计算基板的一些想法。

自然语言理解

2018年,Google的自然语言研究在基础研究和以产品为中心的合作上都取得了非常棒的成果。我们在之前的机器学习模型基础上开发了一个新的并行版本的模型 Universal Transformer,它在包括翻译和语言推理在内的许多自然语言任务中都显示出强大的技术能力。

我们还开发了BERT,这是第一个深度双向,无监督的自然语言处理模型,仅使用纯文本语料库进行预训练,就能使用迁移学习对各种自然语言任务进行微调。

感知

我们的感知研究解决了允许计算机理解图像,声音以及为图像获取,压缩,处理,创造性表达和增强现实提供更强大工具的难题。

Google AI使命的一个关键是让其他人能够从我们的技术中受益,今年我们在改进作为Google API一部分的功能和构建块方面取得了很大进展。比如通过ML Kit 在Cloud ML API和面部相关设备构建块中实现视觉和视频的改进和新功能。

TB1.LQgChjaK1RjSZKzXXXVwXXa.png

MobileNetV2是谷歌的下一代移动计算机视觉模型,我们的MobileNets广泛应用于学术界和工业界。MorphNet提出了一种有效的方法来学习深层网络的结构,从而在计算资源有限的同时,改进图像和音频模型上的性能。

计算摄影

手机拍照性能的提升不仅仅在于物理传感器的改进,更大部分要归咎于计算摄影技术的发展。

我们的计算摄影技术正在与Google的Android和消费者硬件团队密切合作,将这项研究交付给最新的Pixel和Android手机及其他设备。2014年,我们推出了HDR +,可以在软件中对齐帧,并将它们与计算软件结合,使图片具有比单次曝光更高的动态范围。这是2018年我们能够在Pixel 2中开发Motion Photos,以及Motion Stills中开发增强现实模式的基础。

今年,我们在计算摄影研究方面的主要工作之一就是创造一种名为Night Sight的新功能,即便在没有闪光灯的情况下,也能让Pixel用户在非常昏暗的场景中拍出清晰的照片。

TB1v9LWCkvoK1RjSZFDXXXY3pXa.jpg

算法和理论

在过去的一年中,我们的研究涵盖从理论基础到应用算法,从图形挖掘到隐私保护计算等广泛领域。我们在优化方面的工作涉及从研究机器学习的持续优化到分布式组合优化的领域。在前一领域,我们研究用于训练神经网络的随机优化算法的收敛性(其赢得了ICLR 2018)最佳论文奖),展示了流行的基于梯度的优化方法(例如ADAM的一些变体)的问题,为新的基于梯度的优化方法提供了坚实的基础。

软件系统

我们对软件系统的大部分研究仍然与构建机器学习模型,尤其是TensorFlow有关。我们的一些新研究引入了Mesh TensorFlow,这使得用模型并行性指定大规模分布式计算变得容易。另外,我们还使用TensorFlow发布了一个可扩展的深度神经排序库。

另一个重要的研究方向是将ML应用于软件系统的堆栈层面。在安全漏洞问题方面,我们的编译器研究团队将他们用于测量机器指令延迟和端口压力的工具集成到LLVM中,从而可以做出更好的编译决策。

我们研究了Google软件定义网络WAN,这是一个独立的联合查询处理平台,可以在许多存储系统中对基于不同文件格式存储的数据执行SQL查询(BigTable,Spanner, Google Spreadsheets等)

运行内容托管等大型Web服务需要在动态环境中实现稳定的负载平衡。我们开发了一致的哈希方案,对每台服务器的最大负载提供了严格的可证明保证,并将其部署到Google Cloud Pub / Sub中的云客户。

AutoML

去年,我们展示了如何使用进化算法自动发现最先进的神经网络架构,快速构建计算机视觉模型的AutoML。还探讨了强化学习如何应用于除神经网络架构搜索之外的其他问题,表明它可以用于1)自动生成图像变换序列,以提高各种图像模型的准确性,以及2)找到新的符号优化表达式,比常用的优化更新规则更有效。

TB1ZIYMCmrqK1RjSZK9XXXyypXa.gif

我们的另一个重点是自动发现计算效率高的神经网络架构,以便它们可以在自动驾驶环境中运行,这些环境对计算资源或推理时间有严格的限制。为此,我们认为在强化学习架构搜索的奖励函数中将模型的准确性与其推理计算时间相结合,可以找到高度准确的模型,同时满足特定的性能约束。我们还探索了使用ML来学习自动压缩ML模型以获得更少的参数并使用更少的计算资源。

TPU

TPU已经实现了谷歌研究方面的突破,例如BERT(前面已讨论过)。它还允许世界各地的研究人员通过开源建立谷歌研究,并寻求自己的新突破。例如,任何人都可以通过Colab免费对TPU上的BERT进行微调,而TensorFlow Research Cloud让数千名研究人员有机会从更大量的免费云TPU计算能力中受益。

TB17YYVCa6qK1RjSZFmXXX0PFXa.png

在谷歌内部,TPU还推动了Google的核心产品的重大改进,包括搜索,YouTube,Gmail,Google智能助理,谷歌翻译等等。

开源软件和数据集

我们的开源工具TensorFlow已经被下载超过3000万。2018年,TensorFlow有八个主要版本,并增加了快速执行和分发策略等功能。随着TensorFlow Lite、TensorFlow.js 和TensorFlow Probability等相关产品的推出,TensorFlow生态系统在2018年大幅增长。

除了继续开发现有的开源生态系统之外,我们在2018年引入了一个新的框架,用于灵活和可重复强化学习的可视化工具,可以快速了解数据集的特征(无需编写任何代码)。

今年,我们很高兴发布Google数据集搜索,这是一种从所有网络中查找公共数据集的新工具。多年来,我们还策划并发布了许多新颖的数据集。

我们发布了Open Images V4数据集,包含190万张图片,共计600个类别,共标记了1540万个边界框,这是迄今的有对象位置注释的最大数据集。这些边界框大部分都是由专业注释人员手动绘制的,确保了它们的准确性和一致性。

TB1ktPWChTpK1RjSZFMXXbG_VXa.gif

健康

在过去几年中,我们一直将ML应用于健康,我们在这个领域的一般方法是与医疗保健组织合作解决基础研究问题(利用临床专家的反馈优化技术),然后将结果发表在同行评审的科学和临床期刊上。一旦研究得到临床和科学验证,我们就会进行用户和HCI研究,以了解我们如何在现实临床环境中进行部署。2018年,我们在计算机辅助诊断上取得新的突破。

2018年,我们研发了一个可以与视网膜专家相媲美的深度学习模型。我们与Verily的Alphabet同事合作,在印度的Aravind Eye Hospitals和泰国卫生部附属的Rajavithi医院等 10多个地点部署了这种糖尿病视网膜病变检测系统。

TB1uLZgChjaK1RjSZKzXXXVwXXa.png

我们还发表了一种机器学习模型的研究,该模型可以评估视网膜图像的心血管风险,可以帮助临床医生更好地了解患者的健康状况。

研究之外

2018年,我们在加纳阿克拉建立了我们在非洲的第一个人工智能研究办公室,同时扩大了在巴黎,东京和阿姆斯特丹的人工智能研究,并在普林斯顿开设了一个研究实验室。

本文编译自《Looking Back at Google’s Research Efforts in 2018》,有删节。

相关文章
|
12天前
|
人工智能 达摩院 计算机视觉
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
SHMT 是阿里达摩院与武汉理工等机构联合研发的自监督化妆转移技术,支持高效妆容迁移与动态对齐,适用于图像处理、虚拟试妆等多个领域。
48 9
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
|
8天前
|
存储 人工智能 安全
AI时代的网络安全:传统技术的落寞与新机遇
在AI时代,网络安全正经历深刻变革。传统技术如多因素身份认证、防火墙和基于密码的系统逐渐失效,难以应对新型攻击。然而,AI带来了新机遇:智能化威胁检测、优化安全流程、生物特征加密及漏洞管理等。AI赋能的安全解决方案大幅提升防护能力,但也面临数据隐私和技能短缺等挑战。企业需制定清晰AI政策,强化人机协作,推动行业持续发展。
39 16
|
9天前
|
机器学习/深度学习 人工智能 测试技术
登上Nature的AI芯片设计屡遭质疑,谷歌发文反击,Jeff Dean:质疑者连预训练都没做
2020年,谷歌的AlphaChip在Nature上发表并开源,其深度强化学习方法能生成超越人类水平的芯片布局,引发AI在芯片设计领域的研究热潮。然而,ISPD 2023的一篇论文对其性能提出质疑,指出未按Nature论文方法运行、计算资源不足等问题。谷歌DeepMind团队回应,强调AlphaChip已在多代TPU和Alphabet芯片中成功应用,并批驳ISPD论文的主要错误。此外,针对Igor Markov的“元分析”和无根据猜测,谷歌提供了详细的时间线和非机密部署情况,澄清事实并重申AlphaChip的开放性和透明度。
25 13
|
9天前
|
机器学习/深度学习 存储 人工智能
AI实践:智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具,通过多渠道接入、自然语言处理等技术,实现工单自动生成、分类和分配。它优化了客户服务流程,提高了效率与透明度,减少了运营成本,提升了客户满意度。系统还依托知识库和机器学习,持续改进处理策略,助力企业在竞争中脱颖而出。
33 5
|
13天前
|
机器学习/深度学习 人工智能 编译器
BladeDISC++:Dynamic Shape AI 编译器下的显存优化技术
本文介绍了阿里云 PAI 团队近期发布的 BladeDISC++项目,探讨在动态场景下如何优化深度学习训练任务的显存峰值,主要内容包括以下三个部分:Dynamic Shape 场景下显存优化的背景与挑战;BladeDISC++的创新解决方案;Llama2 模型的实验数据分析
|
13天前
|
人工智能 编解码 安全
全球AI新浪潮:智能媒体服务的技术创新与AIGC加速出海
本文介绍了智能媒体服务的国际化产品技术创新及AIGC驱动的内容出海技术实践。首先,探讨了媒体服务在视频应用中的升级引擎作用,分析了国际市场的差异与挑战,并提出模块化产品方案以满足不同需求。其次,重点介绍了AIGC技术如何推动媒体服务2.0智能化进化,涵盖多模态内容理解、智能生产制作、音视频处理等方面。最后,发布了阿里云智能媒体服务的国际产品矩阵,包括媒体打包、转码、实时处理和传输服务,支持多种广告规格和效果追踪分析,助力全球企业进行视频化创新。
|
15天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
12天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
147 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
6天前
|
人工智能 自然语言处理 JavaScript
微软开源课程!21节课程教你开发生成式 AI 应用所需了解的一切
微软推出的生成式 AI 入门课程,涵盖 21 节课程,帮助开发者快速掌握生成式 AI 应用开发,支持 Python 和 TypeScript 代码示例。
110 14
|
24天前
|
机器学习/深度学习 人工智能 算法
AI在体育分析与预测中的深度应用:变革体育界的智能力量
AI在体育分析与预测中的深度应用:变革体育界的智能力量
106 31