TensorFlow还是PyTorch?哪一个才更适合编写深度神经网络?

简介: TensorFlow还是PyTorch?哪一个才更适合编写深度神经网络?

1. 神经网络编程步骤

a)导入必要的库

在这两个框架中,我们需要首先导入一些Python库并定义一些我们将需要训练的超参数:

import numpy as np
import matplotlib.pyplot as plt
epochs = 10
batch_size=64
对于TensorFlow,您仅需要额外导入以下库:
import tensorflow as tf
而对于PyTorch,您还需要导入这两个库:
import torch
import torchvision

b)导入并预处理数据

使用TensorFlow加载和准备数据可以使用以下两行代码:

(x_trainTF_, y_trainTF_), _ = tf.keras.datasets.mnist.load_data()
x_trainTF = x_trainTF_.reshape(60000, 784).astype('float32')/255
y_trainTF = tf.keras.utils.to_categorical(y_trainTF_,
             num_classes=10)

而在PyTorch则是这两行代码:

xy_trainPT = torchvision.datasets.MNIST(root='./data', train=True, download=True,transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]))
xy_trainPT_loader = torch.utils.data.DataLoader(xy_trainPT, batch_size=batch_size)

我们可以通过matplotlib.pyplot库验证这两个代码是否加载了相同的数据:

print("TensorFlow:")
fig = plt.figure(figsize=(25, 4))
for idx in np.arange(20):
    ax = fig.add_subplot(2, 20/2, idx+1, xticks=[], yticks=[])
    ax.imshow(x_trainTF_[idx], cmap=plt.cm.binary)
    ax.set_title(str(y_trainTF_[idx]))

image.png

print("PyTorch:")
fig = plt.figure(figsize=(25, 4))
for idx in np.arange(20):
    ax = fig.add_subplot(2, 20/2, idx+1, xticks=[], yticks=[])
    ax.imshow(torch.squeeze(image, dim = 0).numpy(),
              cmap=plt.cm.binary)
    image, label = xy_trainPT [idx]
    ax.set_title(str(label))

image.png

c)定义模型

在定义模型的时候,这两种框架都使用相当相似的语法来完成。对于TensorFlow,可以使用以下代码来完成:

modelTF = tf.keras.Sequential([ tf.keras.layers.Dense(10,activation='sigmoid',input_shape=(784,)), tf.keras.layers.Dense(10,activation='softmax') ])

在PyTorch下则这么完成:

modelPT= torch.nn.Sequential( torch.nn.Linear(784,10),torch.nn.Sigmoid(), torch.nn.Linear(10,10), torch.nn.LogSoftmax(dim=1) )

d)定义优化器与损失函数

同样,指定优化器和loss函数的方法在两个框架下也是很相似的。在TensorFlow下,我们可以这样做:

modelTF.compile(
                loss="categorical_crossentropy",    
                optimizer=tf.optimizers.SGD(lr=0.01),
                metrics = ['accuracy']
                )

在PyTorch下则是这样的:

criterion = torch.nn.NLLLoss()
optimizer = torch.optim.SGD(modelPT.parameters(), lr=0.01)

e)训练模型

最大的不同在于训练。对于TensorFlow,我们只需要这一行代码:

_ = modelTF.fit(x_trainTF, y_trainTF, epochs=epochs,
                 batch_size=batch_size, verbose = 0)

而在PyTorch下则更长,像这样:

for e in range(epochs):
     for images, labels in xy_trainPT_loader:
         images = images.view(images.shape[0], -1)
         loss = criterion(modelPT(images), labels)
         loss.backward()
         optimizer.step()
         optimizer.zero_grad()

PyTorch没有内置像在Keras或Scikit-learn中非常常见的fit()等训练方法,因此训练循环必须由程序员手动指定。嗯,这其实是在简单性和实用性之间进行一定的折衷,以便能够做更多自定义的事情。

f)评估模型

评估模型也是如此,在TensorFlow中,您只需对测试数据调用evaluate()方法:

_, (x_testTF, y_testTF)= tf.keras.datasets.mnist.load_data()
x_testTF = x_testTF.reshape(10000, 784).astype('float32')/255
y_testTF = tf.keras.utils.to_categorical(y_testTF, num_classes=10)
_ , test_accTF = modelTF.evaluate(x_testTF, y_testTF)
print('\nAccuracy del model amb TensorFlow =', test_accTF)
TensorFlow model Accuracy = 0.8658999800682068

在PyTorch中,再次需要程序员手动定义评估循环:

xy_testPT = torchvision.datasets.MNIST(root='./data', train=False, download=True,
             transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]))
xy_test_loaderPT = torch.utils.data.DataLoader(xy_testPT)
correct_count, all_count = 0, 0
for images,labels in xy_test_loaderPT:
   for i in range(len(labels)):
     img = images[i].view(1, 784)
     logps = modelPT(img)
     ps = torch.exp(logps)
     probab = list(ps.detach().numpy()[0])
     pred_label = probab.index(max(probab))
     true_label = labels.numpy()[i]
     if(true_label == pred_label):
       correct_count += 1
     all_count += 1
print("\nAccuracy del model amb PyTorch =", (correct_count/all_count))
TensorFlow model Accuracy = 0.8657

2. 更重要的是,它们在相互融合!

好了,如这个简单的示例所示,在TensorFlow和PyTorch中创建神经网络的方式并没有真正的区别,只是在一些细节方面,程序员必须实现训练和评估循环的方式,以及一些超参数,像epochbatch_size是在不同的步骤中指定的。

实际上,在过去两年中,这两个框架一直在不断融合,相互学习并采用它们的长处。例如,在几周前发布的新版本TensorFlow 2.2中,训练步骤可以像PyTorch一样,现在程序员可以通过实现train_step()来指定循环主体的详细内容。因此,不必担心选择“错误的”框架,它们正在相互融合!最重要的是要学习背后的深度学习概念,您在其中一个框架中获得的所有知识在另一个框架下照样有用。

3. 工业应用还是学术研究?

但是,很明显,神经网络的工业应用与学术研究是截然不同的。在这种情况下,决定选择哪一个很重要。

TensorFlow是一个非常强大且成熟的Python库,具有强大的可视化功能以及用于高性能模型开发的各种选项。它具有准备用于生产的部署共轭能,并自动支持Web和移动平台。

另一方面,PyTorch仍然是一个年轻的框架,但是拥有一个非常活跃的社区,尤其是在研究领域。门户网站The Gradient在附图中显示了主要的深度学习会议(CVPR,ICRL,ICML,NIPS,ACL,ICCV等)发表的研究论文中PyTorch的使用量,可以看到PyTorch在研究界的兴起和广泛采用。

从2018年的数据可以看出,Pythorch框架的使用还是少数,而相比之下,2019年的使用量对比TensorFlow是压倒性的。因此,如果你想创造与人工智能相关的产品,TensorFlow是一个不错的选择。如果你想做研究,我推荐PyTorch。

4. 新手请选择Keras

如果你还是个萌新,对这一切都还很不了解,请从TensorFlow的Keras API开始。PyTorch的API具有更大的灵活性和控制力,但显然TensorFlow的Keras API可以更容易上手。而且,如果您正在阅读这篇文章,我假定您是深度学习领域的入门者。

顺便说一句,Keras计划在2020年推出几种新特性,它们都是为了“让事情变得更容易”。以下是最近添加的或即将发布的一些新功能的列表:

  • 预处理层API

到目前为止,我们已经使用NumPy和PIL(Python Imaging Library)编写的辅助工具完成了预处理。这种外部预处理使模型的可移植性降低,因为每次有人重用已经训练好的模型时,他们都必须重新实现整个预处理流程。因此,通过“预处理层”,预处理现在可以成为模型的一部分。这包括诸如文本标准化,标记化,向量化,图像标准化,数据增强等方面。也就是说,这将允许模型接受原始文本或原始图像作为输入。我个人认为这将非常有趣。

  • Keras Tuner

这是一个可让您在Keras中找到模型的最佳超参数的框架。当你开始进行一些深度学习工作时,您会发现超参数的调整将是整个工作中最为繁重的部分,这个框架旨在解决这一问题。

  • AutoKeras

该项目旨在用几行代码建立一个很好的机器学习模型,根据可能的模型空间自动搜索最佳模型,并使用Keras Tuner查找进行超参数调整。对于高级用户,AutoKeras还允许对搜索空间和过程的配置进行更高级别的控制。

  • Cloud Keras

我们的愿景是让程序员更容易地将本地代码(我们的笔记本电脑或Google Colab本地工作)移动到云端,使其能够在云端以最佳和分布式的方式执行此代码,而不必担心集群或Docker参数。

  • 与TensorFlow集成

与TFX(TensorFlow Extended,用于管理机器学习生产应用程序的平台)进行更多集成的工作正在进行中,并为将模型导出到TF Lite(用于移动和嵌入式设备的机器学习执行引擎)提供更好的支持。毫无疑问,改善对模型生产的支持对于Keras程序员的忠诚度至关重要。

5. 小结

打个比方,你认为哪种语言是入门编程的最佳语言,C++还是Java?好吧…这取决于我们想用它做什么,最重要的是取决于我们能学到什么样的工具。我们可能无法达成一致,因为我们有一个先入为主的观点,我们很难改变对这个问题的回答(同样的情况也发生在PyTorch和TensorFlow的“粉丝”身上😉 )。但我们都同意的一点是,最重要的是知道如何编程。事实上,无论我们从一种语言的编程中学到什么,当我们使用另一种语言时,它都会为我们服务,对吧?对于框架来也是如此,重要的是要了解深入学习,而不是框架的语法细节,然后我们将这些知识用于正在流行的框架或者我们想用的其他框架。

作者:Jordi TORRES.AI

deephub翻译组:Alexander Zhao

目录
相关文章
|
1天前
|
机器学习/深度学习 PyTorch TensorFlow
深度学习工具和框架详细指南:PyTorch、TensorFlow、Keras
在深度学习的世界中,PyTorch、TensorFlow和Keras是最受欢迎的工具和框架,它们为研究者和开发者提供了强大且易于使用的接口。在本文中,我们将深入探索这三个框架,涵盖如何用它们实现经典深度学习模型,并通过代码实例详细讲解这些工具的使用方法。
|
7天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了9种常见的蘑菇种类数据集【"香菇(Agaricus)", "毒鹅膏菌(Amanita)", "牛肝菌(Boletus)", "网状菌(Cortinarius)", "毒镰孢(Entoloma)", "湿孢菌(Hygrocybe)", "乳菇(Lactarius)", "红菇(Russula)", "松茸(Suillus)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,
51 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
15天前
|
机器学习/深度学习 数据可视化 算法
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
神经常微分方程(Neural ODEs)是深度学习领域的创新模型,将神经网络的离散变换扩展为连续时间动力系统。本文基于Torchdyn库介绍Neural ODE的实现与训练方法,涵盖数据集构建、模型构建、基于PyTorch Lightning的训练及实验结果可视化等内容。Torchdyn支持多种数值求解算法和高级特性,适用于生成模型、时间序列分析等领域。
162 77
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
|
22天前
|
机器学习/深度学习 搜索推荐 PyTorch
基于昇腾用PyTorch实现传统CTR模型WideDeep网络
本文介绍了如何在昇腾平台上使用PyTorch实现经典的WideDeep网络模型,以处理推荐系统中的点击率(CTR)预测问题。
189 66
|
1月前
|
机器学习/深度学习 算法 PyTorch
深度强化学习中SAC算法:数学原理、网络架构及其PyTorch实现
软演员-评论家算法(Soft Actor-Critic, SAC)是深度强化学习领域的重要进展,基于最大熵框架优化策略,在探索与利用之间实现动态平衡。SAC通过双Q网络设计和自适应温度参数,提升了训练稳定性和样本效率。本文详细解析了SAC的数学原理、网络架构及PyTorch实现,涵盖演员网络的动作采样与对数概率计算、评论家网络的Q值估计及其损失函数,并介绍了完整的SAC智能体实现流程。SAC在连续动作空间中表现出色,具有高样本效率和稳定的训练过程,适合实际应用场景。
216 7
深度强化学习中SAC算法:数学原理、网络架构及其PyTorch实现
|
2月前
|
机器学习/深度学习 算法 PyTorch
基于Pytorch Gemotric在昇腾上实现GraphSage图神经网络
本文详细介绍了如何在昇腾平台上使用PyTorch实现GraphSage算法,在CiteSeer数据集上进行图神经网络的分类训练。内容涵盖GraphSage的创新点、算法原理、网络架构及实战代码分析,通过采样和聚合方法高效处理大规模图数据。实验结果显示,模型在CiteSeer数据集上的分类准确率达到66.5%。
|
2月前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
356 55
|
2月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
220 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
3月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言,通过收集了5种常见的垃圾数据集('塑料', '玻璃', '纸张', '纸板', '金属'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对图像数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面,实现用户在网页端上传一张垃圾图片识别其名称。
141 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
|
3月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
91 3

热门文章

最新文章

推荐镜像

更多