开发者社区> 玄学酱> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

如何用FPGA加速卷积神经网络(CNN)?

简介: 过早地执着于fpga的技术细节(用hdl还是hls,用啥芯片,用啥接口)容易只见树木不见森林。现在software define network/flash/xxx,已然大势所趋。之前开组会时跟同志们聊过,算法是纲,纲举目张;软件是妈,软件是爹,软件比基金委都亲。
+关注继续查看

以下主要引用自西安邮电大学李涛老师关于连接智能和符号智能的报告,以及fpl2016上ASU的 Yufei Ma的文章和slide,推荐大家去读下原文。

Scalable and Modularized RTL Compilation of Convolutional Neural Network onto FPGA

地址:http://fpl2016.org/slides/S5b_1.pdf

我做过一些计算加速的工作,个人感觉要入手先要想好几个问题: 要加速的是什么应用,应用的瓶颈是什么,再针对这个瓶颈,参考前人工作选择合适的方案。

过早地执着于fpga的技术细节(用hdl还是hls,用啥芯片,用啥接口)容易只见树木不见森林。现在software define network/flash/xxx,已然大势所趋。之前开组会时跟同志们聊过,算法是纲,纲举目张;软件是妈,软件是爹,软件比基金委都亲。所以推荐先把cnn的算法看一下,拿一些开源代码跑一下经典的例子(lenet, alexnet, etc)看好输入输出,摸清算法。

如何用FPGA加速卷积神经网络(CNN)?

比如以下是一个lenet的cpp和opencl的实现:

nachiket/papaa-opencl

地址:https://github.com/nachiket/papaa-opencl

以下图片源自Yufei Ma的Slide。

如何用FPGA加速卷积神经网络(CNN)?

可以看到cnn算法主要由conv ,pooling,norm等几个部分组成。工作时将image跟weight灌进去,最终得到预测结果。

接下来拿profiler(比如perf)去分析下软件算法,找找热点和性能瓶颈。在cnn里面主要耗时的就是conv二维卷积了。性能瓶颈也主要在于卷积时需要大量乘加运算,参与计算的大量weight参数会带来的很多访存请求。

接下来考察下前人的工作和当前的灌水热点。按理说这种大量的乘加运算用dsp应该不错,但是在cnn中大家并不需要这么大的位宽,有时候8位就够了。dsp动辄32/64位的乘加器实在是浪费。于是乎大家就开始减位宽,多堆几个运算单元。面对大量的访存请求,大家就开始设计各种tricky的缓存了。

以下是大家的一些灌水方向:

如何用FPGA加速卷积神经网络(CNN)?

如何用FPGA加速卷积神经网络(CNN)?

于是就有了以下各路硬件设计:

如何用FPGA加速卷积神经网络(CNN)?

如何用FPGA加速卷积神经网络(CNN)?

有人照着dsp风格去设计加速器:

如何用FPGA加速卷积神经网络(CNN)?

ceva也出了一系列面向CNN的IP:

如何用FPGA加速卷积神经网络(CNN)?

如何用FPGA加速卷积神经网络(CNN)?

有人用了脉动阵列或者Dataflow的风格:

如何用FPGA加速卷积神经网络(CNN)?

有人设计了专用的芯片比如计算所的Cambricon:

如何用FPGA加速卷积神经网络(CNN)?

还有的就是你提到的fpga。

所有的事情到了硬件层面实际上能用的手段也就有限了。不外乎堆资源和切流水两招。再不然就是做一些bit level的小技巧,比如乘法器变查表之类的,这些技巧在很多二十年前的dsp教材里面都描述得很细致了,拿来用就好。比如这本书亲测有效。

VLSI Digital Signal Processing System--Design and Implementation by Keshab

典型的fpga实现可以参考Yufei Ma的文章,不论是conv,还是pooling,依葫芦画瓢设计data path,切好流水,再想好状态机加上控制信号。这些就看大家撸rtl的基本功了。

比如Conv模块如下图,主要拿一堆乘法器以及加法器树搭好data path,切好流水,接着加上控制信号。

如何用FPGA加速卷积神经网络(CNN)?

Pooling也是大同小异:

如何用FPGA加速卷积神经网络(CNN)?

还有Norm:

如何用FPGA加速卷积神经网络(CNN)?

最后把这些模块通过router连接,外面再套一层控制模块,封成ip就好了。

如何用FPGA加速卷积神经网络(CNN)?

剩下的就是集成进你的系统(microblaze, nios还是arm,配好dma,写好灌数据的驱动,这些就是各有各的道儿了)。推荐动手码rtl前先写好文档,约定好端口,寄存器和软件api,否则边写边改容易乱。

整体来说,cnn这种应用流水线控制相对cpu简单,没有写cpu的那一堆hazard让人烦心,也不用写汇编器啥的。太大的cnn放在fpga里挺费劲,做出创新很难,但是fpga上写个能用的lenet这种级别的cnn还是挺容易的。最后还可以依照惯例跟cpu比性能,跟gpu比功耗。



本文作者:Non
本文转自雷锋网禁止二次转载,原文链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Java内存区域
线程私有 由于Java虚拟机的多线程是通过线程轮流切换并分配处理器执行时间的方式来实现的,在任何一个确定的时刻,一个处理器(对于多核处理器来说是一个内核)都只会执行一条线程中的指令。
899 0
了解内部类,请读这份“说明书” | 带你学《Java面向对象编程》之八十三
本节向读者介绍了内部类在内外部访问上的注意事项,并推广“内部”这一设计思路,介绍了内部的抽象类与接口的概念。
0 0
迅速了解Java预设函数式接口 | 带你学《Java面向对象编程》之八十八
本节简单介绍了Java在提供Lambda表达式的同时预设的四大类函数式接口,供给开发者直接使用这些方法进行方法引用。
0 0
Java开发GUI之可编辑区域
Java开发GUI之可编辑区域
0 0
java开发实战(2):springboot多模块工程引入日志配置和swagger3
java开发实战(2):springboot多模块工程引入日志配置和swagger3
0 0
什么是响应式编程,Java 如何实现
什么是响应式编程,Java 如何实现
0 0
Java开发手册——嵩山版(清幽现云山,虚静出内功)-2
Java开发手册——嵩山版(清幽现云山,虚静出内功)
0 0
+关注
玄学酱
这个时候,玄酱是不是应该说点什么...
文章
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
深度学习论文实现:空间变换网络-第一部分
立即下载
端上智能-深度学习模型压缩与加速
立即下载
端上智能 -深度学习模型压缩与加速
立即下载