神经网络计算爆炸

简介: 神经网络计算爆炸

深度挖掘的公司开始为特定应用定制这种方法,并花费大量资金来获得初创公司。

具有先进并行处理的神经网络已经开始扎根于预测地震和飓风到解析MRI图像数据的许多市场,以便识别和分类肿瘤。

由于这种方法在更多的地方得到实施,所以它是以许多专家从未设想的方式进行定制和解析的。它正在推动对这些计算架构如何应用的新研究。

荷兰Asimov研究所的深度学习研究员Fjodor van Veen已经确定了27种不同的神经网络结构类型。 (参见下面的图1)。差异主要是应用程序特定的。

神经网络

图。 1:神经网络架构。资料来源:阿西莫夫研究所

神经网络是基于阈值逻辑算法的概念,这是1943年由神经生理学家Warren McCulloch和逻辑学家Walter Pitts首次提出的。研究在接下来的70年里一直徘徊,但是它真的开始飙升。

Nvidia的加速计算集团产品团队负责人Roy Kim表示:“2012-2013年的大爆炸事件发生在两个里程碑式的出版物上。其中一篇论文是由Geoffrey Hinton和他的团队从多伦多大学(现在也是谷歌的半时间)撰写,题为“ImageNet Classification with Deep Convolutional Neural Networks”。然后在2013年,Stanford的Andrew Ng(现在也是百度首席科学家),他的团队发表了“与COTS HPC系统深度学习”。

Nvidia早期认识到,深层神经网络是人工智能革命的基础,并开始投资于将GPU引入这个世界。 Kim指出卷积神经网络,复发神经网络和长时间内存(LSTM)网络,其中每个网络都设计用于解决特定问题,如图像识别,语音或语言翻译。他指出,Nvidia正在所有这些领域招聘硬件和软件工程师。

6月份,Google大幅增加新闻,Google在神经网络手臂竞赛的半导体领域处于领先地位。 Google卓越的硬件工程师Norm Jouppi公布了公司几年努力的细节,Tensor处理器单元(TPU)是实现硅芯片神经网络组件的ASIC,而不是使用原始硅计算电源和内存库和软件,这也是谷歌也做的。

TPU针对TensorFlow进行了优化,TensorFlow是Google使用数据流图进行数值计算的软件库。它已经在Google数据中心运行了一年多。

不过,这不仅仅是一些正在争夺这一市场的玩家。创业公司Knupath和Nervana进入这个战争,寻求设计具有神经网络的晶体管领域。英特尔上个月向Nervana报了4.08亿美元。

Nervana开发的硅“引擎”是在2017年的某个时候。Nervana暗示了前进的内存缓存,因为它具有8 Tb /秒的内存访问速度。但事实上,Nervana在2014年以种子资本开始投入60万美元,并在两年之后卖出近680倍的投资,这证明了行业和金融家们正在占据的空间 - 以及这个市场有多热。

市场驱动

汽车是该技术的核心应用,特别适用于ADAS。 Arteris董事长兼首席执行官Charlie Janac说:“关键是您必须决定图像是什么,并将其转化为卷积神经网络算法。 “有两种方法。一个是GPU。另一种是ASIC,其最终获胜并且使用较少的电力。但一个非常好的实现是紧密耦合的硬件和软件系统。

然而,到紧密耦合系统的这一点,取决于对什么问题需要解决的深刻理解。

Leti首席执行官Marie Semeria说:“我们必须开发不同的技术选择。 “这是全新的。首先,我们必须考虑使用。这是一种完全不同的驾驶技术方式。这是一个神经性的技术推动。你需要什么?然后,您将根据此开发解决方案。“

该解决方案也可以非常快。 Cadence顾问Chris Rowen表示,其中一些系统每秒可以运行数万亿次操作。但并不是所有这些操作都是完全准确的,而且这个操作也必须被构建到系统中。

Rowen说:“你必须采取一种统计手段来管理正确性。 “你正在使用更高的并行架构。”

最有效的

比较这些系统并不容易。在讨论Google TPU时,Jouppi强调了世界各地的研究人员和工程师团队的基本工作方法,以及他们正在使用的硬件和软件的性能:ImageNet。 ImageNet是大学研究人员独立维护的1400万张图像的集合,它允许工程团队将他们的系统找到对象和分类(通常是其子集)的时间缩短。

本月晚些时候,ImageNet大型视觉识别挑战赛(ILSVRC)的结果将于2016年发布,作为在阿姆斯特丹举行的欧洲计算机视觉会议(ECCV)的一部分。

所有在这里讨论的玩家将在那里,包括Nvidia,百度,谷歌和英特尔。高通也将在那里,因为它开始关键的软件库,就像Nvidia一样。 Nvidia将展示其DGX-1深度学习用具和Jetson嵌入式平台,适用于视频分析和机器学习。

ECCV 2016的总裁Arnold Smeulders和Theo Gevers告诉“半导体工程”,ECCV的许多与会者都在半导体技术领域工作(而不是硅片上运行的软件),从而实现计算机视觉。

“最近,半导体技术强国已经开始对计算机视觉感兴趣,”他们通过电子邮件说。 “现在,电脑可以了解图像中存在哪些类型的场景和类型的场景。这需要从注释示例中描述与机器学习匹配的特征中的图像。在过去五年中,这些算法的力量使用深层学习架构大大增加。由于它们是计算密集型产品,包括高通,英特尔,华为和三星在内的芯片制造商,以及苹果,谷歌,亚马逊等大型企业以及许多高科技创业公司也将进入计算机视觉阶段。

Smeulders和Gevers表示,兴趣已经增长到这样的高度,会议场地在一个月前达到最大容量,注册预计将会结束。

以前的ECCV版本长期以来每年大约有100名与会者长大,在苏黎世的上一版本以1,200的成绩结束。 “今年,我们在会议前一个月已经有1500位与会者。在这一点上,我们不得不关闭注册,因为我们雇用的建筑,荷兰皇家剧院,不能更舒适地拥有,“他们写道。

随着行业的复杂和变化,工程经理寻找必要的技能是很困难的。它还引发了电气工程和计算机科学学生关于他们的课程是否会过时的问题,然后才能将它们应用于市场。那么一个学生对电子学有兴趣,特别是半导体在计算机视觉中的作用呢,可以在现场找到工作吗?

Semulders和Gevers表示:“由于图像[识别]是每1/30秒的大量数据,所以半导体行业受到重视是很自然的事情。” “由于大量的数据,直到最近,注意力仅限于处理图像以产生另一个图像(更可见,更清晰的图像中的突出显示元素)或减少图像(目标区域或压缩版本)。这是图像处理领域:图像输入,图像输出。但最近,计算机视觉领域 - 即对图像中可见的解释 - 已经经历了一个非常有成效的时期。他们写道:要了解图像的本质,正在形成的方式和深入网络分析的方式,是现代计算机视觉的关键组成部分。

随机信号处理,机器学习和计算机视觉将是学习和培训的领域。

ECCV的亚洲对手是亚洲CCV。在这几年,国际CCV举行。 Smeulders和Gevers指出,每年夏天在美国举行的计算机视觉和模式识别会议是对CCVs的补充,但是重点略有不同。 Google认为它是所有审查学科的前100名研究来源之一,这是列表中唯一的会议。论文将于11月15日在檀香山举行的7月份e会议上公布。

Nvidia的Kim和其他人认为2012年至2013年将成为在这些神经网络应用中用于计算机视觉等任务的GPU的“大爆炸”。那么下一个大爆炸又是什么?

“自2004年以来,对图像内容进行分类的比赛重新开始,几个算法步骤已经铺平了道路,”Smeulders和Gevers写道。 “一个是SIFT特征[Scale Invariant Feature Transform]。另一种是一些单词和其他编码方案,以及特征定位算法,以及大量图像数据的特征学习。然后,GPU为深入学习网络铺平了道路,进一步提高了性能,因为它们加速了数据集的学习。这意味着需要几周的任务现在可以在一夜之间运行。下一个大爆炸将再次在算法方面。

鉴于投入这笔市场的金额很大,毫无疑问,大事情将会前进。还有多大的待观察,但鉴于这种方法的活动量以及投资的数量,预期是非常高的。


相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
5月前
|
机器学习/深度学习
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
|
3月前
|
机器学习/深度学习
神经网络各种层的输入输出尺寸计算
神经网络各种层的输入输出尺寸计算
178 1
|
1月前
|
存储 缓存 算法
|
1月前
|
存储
|
3月前
|
云安全 安全 网络安全
云端防御战线:融合云计算与网络安全的未来策略
【7月更文挑战第47天】 在数字化时代,云计算已成为企业运营不可或缺的部分,而网络安全则是维护这些服务正常运行的基石。随着技术不断进步,传统的安全措施已不足以应对新兴的威胁。本文将探讨云计算环境中的安全挑战,并提出一种融合云服务与网络安全的综合防御策略。我们将分析云服务模式、网络威胁类型以及信息安全实践,并讨论如何构建一个既灵活又强大的安全体系,确保数据和服务的完整性、可用性与机密性。
|
3月前
|
机器学习/深度学习 存储 自然语言处理
天啊!深度神经网络中 BNN 和 DNN 基于存内计算的传奇之旅,改写能量效率的历史!
【8月更文挑战第12天】深度神经网络(DNN)近年在图像识别等多领域取得重大突破。二进制神经网络(BNN)作为DNN的轻量化版本,通过使用二进制权重和激活值极大地降低了计算复杂度与存储需求。存内计算技术进一步提升了BNN和DNN的能效比,通过在存储单元直接进行计算减少数据传输带来的能耗。尽管面临精度和硬件实现等挑战,BNN结合存内计算代表了深度学习未来高效节能的发展方向。
49 1
|
3月前
|
网络协议 算法 网络架构
OSPF 如何计算到目标网络的最佳路径
【8月更文挑战第24天】
58 0
|
5月前
|
存储 机器学习/深度学习 弹性计算
阿里云ECS计算型c8i服务器测评_网络PPS_云盘IOPS性能参数
阿里云ECS计算型c8i实例采用Intel Xeon Emerald Rapids或Sapphire Rapids CPU,主频2.7 GHz起,支持CIPU架构,提供强大计算、存储、网络和安全性能。适用于机器学习、数据分析等场景。实例规格从2核到192核,内存比例1:2,支持ESSD云盘,网络带宽高达100 Gbit/s,具备IPv4/IPv6,vTPM和内存加密功能。详细规格参数表包括不同实例的vCPU、内存、网络带宽、IOPS等信息,最高可达100万PPS和100万IOPS。
|
5月前
|
机器学习/深度学习 算法
**反向传播算法**在多层神经网络训练中至关重要,它包括**前向传播**、**计算损失**、**反向传播误差**和**权重更新**。
【6月更文挑战第28天】**反向传播算法**在多层神经网络训练中至关重要,它包括**前向传播**、**计算损失**、**反向传播误差**和**权重更新**。数据从输入层流经隐藏层到输出层,计算预测值。接着,比较预测与真实值计算损失。然后,从输出层开始,利用链式法则反向计算误差和梯度,更新权重以减小损失。此过程迭代进行,直到损失收敛或达到训练次数,优化模型性能。反向传播实现了自动微分,使模型能适应训练数据并泛化到新数据。
69 2
|
5月前
|
存储 弹性计算 网络协议
阿里云服务器ECS计算型c7实例详解_网络PPS_云盘IOPS性能参数
阿里云ECS计算型c7实例,基于三代神龙架构,采用Intel Ice Lake CPU,2.7 GHz基频,3.5 GHz全核睿频,提供高性能计算、存储和网络能力。支持vTPM和Enclave特性,适用于高网络负载、游戏、数据分析等场景。实例规格从2核4GB至128核256GB,最大网络收发包可达2400万PPS。详细规格及性能参数见官方页面。
116 1
下一篇
无影云桌面