一万元搭建深度学习系统:硬件、软件安装教程,以及性能测试

本文涉及的产品
性能测试 PTS,5000VUM额度
简介:
本文来自AI新媒体量子位(QbitAI)

Macbook这种轻薄的笔记本,是搞不了深度学习的。亚马逊P2云服务,会给堆积越来越多的账单,换个便宜的服务,训练时间又太长……

没办法,已经十多年没用过台式机的我,只能重新着手DIY装机,搭建一套自己的深度学习系统。以下是我的系统搭建和测试过程。

硬件清单

之前,我在AWS亚马逊云服务上的花费是每月70美元(约480元人民币)。按照使用两年计算,我给这套系统的总预算是1700美元(约11650元)。

GPU

肯定得买Nvidia,没有其他选择。买两块还是一块?我想了想,还是先买一个性能更好的,以后有钱了再增加。综合显存、带宽等因素,我最终选了GTX 1080 Ti,跟Titan X相比,性能差不了多少,但价格便宜不少。

CPU

虽然比不上GPU,但CPU也很重要。从预算出发,我选了一颗中端产品英特尔i5 7500。相对便宜,但不会拖慢整个系统。

内存

两条16GB容量的内存,总共是32GB。

硬盘

两块。

一块SSD硬盘运行操作系统和当前数据,我选的是MyDigitalSSD NVMe 480GB。一块速度较慢的2TB容量HDD硬盘存储大的数据集(例如ImageNet)。

主板

为了以后的拓展,我得选能支持两块GTX 1080 Ti的主板。最后的选择是:华硕TUF Z270。

电源

得为GPU何GPU们提供足够的电力供应。英特尔i5 7500功耗是65W,一块1080Ti需要250W(以后还想加一块),所以最后选择了Deepcool 750W Gold PSU。

机箱

我听从朋友的建议,选了Thermaltake N23机箱。只是没有LED灯,伤心。

组装

组装过程按下不表,装机也是个手艺,最后效果如下图所示。

安装软件

提示:如果你想装Windows系统,最好先安装Windows,再装Linux。要不然Windows会搞乱启动分区。

安装Ubuntu

大部分深度学习框架都工作在Linux环境中,所以我选择安装Ubuntu。一个2GB容量的U盘就能搞定安装,如何制作?

  • OSX用户参考这里:

https://www.ubuntu.com/download/desktop/create-a-usb-stick-on-macos

  • Windows用户参考这里:

https://rufus.akeo.ie/

我写这个教程的时候,Ubuntu 17.04版本刚刚发布,但是我选择了之前的16.04版本,因为老版本的相关文档可能更全一点。另外,我选择的是Ubuntu桌面版本,不过关闭了图形界面X,电脑启动会进入终端模式。

如果需要图形界面,只需要输入:startx

及时更新

更新可以使用下面这个命令

深度学习堆栈

为了展开深度学习,我们需要如下软件来使用GPU:

  • GPU驱动:让操作系统和显卡可以对话
  • CUDA:能让GPU运行通用目的代码
  • CuDNN:CUDA之上的神经网络加速库
  • 深度学习框架:TensorFlow等

安装GPU驱动

最新的驱动,可以参考官网

http://nvidia.com/Download/index.aspx

或者直接使用如下代码安装:

安装CUDA

可以从Nvidia下载CUDA,地址如下:

https://developer.nvidia.com/cuda-downloads

或者直接运行如下的代码:

安装好CUDA之后,下面的代码能把CUDA添加到PATH变量:

现在可以检验一下CUDA装好没有,运行如下代码即可:

删除CUDA或GPU驱动,可以参考如下代码:

安装CuDNN

我用的是CuDNN 5.1,因为最新的TensorFlow不支持CuDNN 6。下载CuDNN,你需要创建一个免费的开发者账号。下载之后,用如下命令安装。

Anaconda

Anaconda是一个很棒的Python软件包管理器,我现在使用了Python 3.6版本,所以对应的使用Anaconda 3版本,安装如下:

TensorFlow

最流行的深度学习框架,安装:

为了检查一下TensorFlow安装好没有,可以运行MNIST看看:

应该能在训练过程中,看到loss的逐渐减少:

Keras

一个高级神经网络框架,安装非常简单:

PyTorch

深度学习框架届的新兵,但也值得推荐,安装命令:

Jupyter notebook

Jupyter是一个交互式的笔记本,随着Anaconda安装,我们要配置和测试一下:

现在打开 http://localhost:8888 ,应该就能看到Jupyter的界面。

我们可以把Jupyter设置成自动启动,使用crontab来设置。运行crontab -e,然后把如下代码添加在最后。

测试

现在基本上准备妥当了,是时候测试一下了。参加此次对比的几个选手是:

  • AWS P2实例GPU(K80)
  • AWS P2虚拟CPU
  • 英伟达GTX 1080 Ti
  • 英特尔i5 7500

MNIST多层感知器

MNIST数据集由70000手写数字组成。我们在这个数据集上运行了一个使用多层感知器(MLP)的Keras案例,代码地址:

https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py

MLP的意思是只使用全连接的层,而不用卷积。这个模型在这个数据集上进行了20次训练,实现了超过98%的准确率。

可以看到在训练这个模型时,GTX 1080 Ti比AWS P2 K80快2.4倍,这有点惊人,因为两个显卡的性能应该差不多,我觉得可能是AWS上有降频或者受到虚拟化的影响。

CPU的表现比GPU慢9倍。有趣的是,i5 7500比亚马逊的虚拟CPU快2.3倍。

VGG微调

为Kaggle猫狗识别竞赛而微调一个VGG网络。使用相同的batch在CPU上运行这个模型不可行,所以我们在GPU上微调了390个batch,在CPU上是10个batch。代码如下:

https://github.com/slavivanov/cats_dogs_kaggle

这次1080 Ti比AWS P2 K80快5.5倍。CPU在这个环节的表现,最多慢了200倍。

Wasserstein GAN

生成对抗网络(GAN)用来训练模型产生图像。Wasserstein GAN是原始GAN的一个改进版。我这里用了一个PyTorch实现,代码地址:

https://github.com/martinarjovsky/WassersteinGAN

这个模型需要50步训练,CPU在这个训练中不予考虑。

GTX 1080 Ti比AWS P2 K80快5.5倍。

风格迁移

最后一个测试是在TensorFlow上的风格迁移实现,代码地址:

https://github.com/slavivanov/Style-Tranfer

GTX 1080 Ti比AWS P2 K80快4.3倍。CPU比GPU慢30-50倍。

好啦,关于万元打造一个深度学习系统的分享,就先到这里。

各位端午节快乐。

【完】

本文作者:Slav Ivanov@blog.slavv.com
原文发布时间:2017-05-30
相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
相关文章
|
20天前
|
监控 测试技术
如何进行系统压力测试?
【10月更文挑战第11天】如何进行系统压力测试?
83 34
|
20天前
|
存储 监控 网络协议
服务器压力测试是一种评估系统在极端条件下的表现和稳定性的技术
【10月更文挑战第11天】服务器压力测试是一种评估系统在极端条件下的表现和稳定性的技术
90 32
|
22天前
|
自然语言处理 机器人 Python
ChatGPT使用学习:ChatPaper安装到测试详细教程(一文包会)
ChatPaper是一个基于文本生成技术的智能研究论文工具,能够根据用户输入进行智能回复和互动。它支持快速下载、阅读论文,并通过分析论文的关键信息帮助用户判断是否需要深入了解。用户可以通过命令行或网页界面操作,进行论文搜索、下载、总结等。
39 1
ChatGPT使用学习:ChatPaper安装到测试详细教程(一文包会)
|
5天前
|
编解码 安全 Linux
网络空间安全之一个WH的超前沿全栈技术深入学习之路(10-2):保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali——Liinux-Debian:就怕你学成黑客啦!)作者——LJS
保姆级别教会你如何搭建白帽黑客渗透测试系统环境Kali以及常见的报错及对应解决方案、常用Kali功能简便化以及详解如何具体实现
|
29天前
|
缓存 测试技术 Apache
告别卡顿!Python性能测试实战教程,JMeter&Locust带你秒懂性能优化💡
【10月更文挑战第1天】告别卡顿!Python性能测试实战教程,JMeter&Locust带你秒懂性能优化💡
55 4
|
2月前
|
Linux
kickstart自动安装系统 --DHCP 配置及测试
PXE+Kickstart自动安装系统需配置DHCP服务器分配IP。dhcpd.conf示例:设置更新样式、忽略客户端更新、指定下一服务器及启动文件。定义子网、网关、掩码、动态地址池并预留特定MAC地址。重启xinetd、NFS、DHCP服务,确保新服务器与Kickstart服务器在同一网络,避免误装其他机器。注意隔离测试网络以防干扰生产环境。
77 18
|
1月前
|
存储 Linux 网络安全
Kali 渗透测试:Meterpreter在Windows系统下的使用
Kali 渗透测试:Meterpreter在Windows系统下的使用
|
2月前
|
缓存 测试技术 Apache
告别卡顿!Python性能测试实战教程,JMeter&Locust带你秒懂性能优化💡
【9月更文挑战第5天】性能测试是确保应用在高负载下稳定运行的关键。本文介绍Apache JMeter和Locust两款常用性能测试工具,帮助识别并解决性能瓶颈。JMeter适用于测试静态和动态资源,而Locust则通过Python脚本模拟HTTP请求。文章详细讲解了安装、配置及使用方法,并提供了实战案例,帮助你掌握性能测试技巧,提升应用性能。通过分析测试结果、模拟并发、检查资源使用情况及代码优化,确保应用在高并发环境下表现优异。
71 5
|
2月前
|
测试技术 UED 开发者
软件测试的艺术:从代码审查到用户反馈的全景探索在软件开发的宇宙中,测试是那颗确保星系正常运转的暗物质。它或许不总是站在聚光灯下,但无疑是支撑整个系统稳定性与可靠性的基石。《软件测试的艺术:从代码审查到用户反馈的全景探索》一文,旨在揭开软件测试这一神秘面纱,通过深入浅出的方式,引领读者穿梭于测试的各个环节,从细微处着眼,至宏观视角俯瞰,全方位解析如何打造无懈可击的软件产品。
本文以“软件测试的艺术”为核心,创新性地将技术深度与通俗易懂的语言风格相结合,绘制了一幅从代码审查到用户反馈全过程的测试蓝图。不同于常规摘要的枯燥概述,这里更像是一段旅程的预告片,承诺带领读者经历一场从微观世界到宏观视野的探索之旅,揭示每一个测试环节背后的哲学与实践智慧,让即便是非专业人士也能领略到软件测试的魅力所在,并从中获取实用的启示。
|
3月前
|
测试技术
探索软件测试的多维视角:从单元到系统,从静态到动态
【8月更文挑战第27天】本文将带领读者穿越软件测试的迷宫,从最微小的单元测试开始,逐步扩展到复杂的系统测试。我们将一起探索静态测试和动态测试的不同面貌,以及它们如何互补地确保软件质量。通过实际代码示例,我们将揭示测试用例的设计思路和执行过程,旨在为读者提供一个全面而深入的软件测试全景图。让我们开始这段旅程,解锁软件测试的秘密,确保我们的代码不仅能够运行,而且能够完美运行。

热门文章

最新文章