Theano 中文文档 0.9 - 7.2.6 Theano如何处理形状信息

简介: 7.2.6 Theano如何处理形状信息 译者:Python 文档协作翻译小组,原文:How Shape Information is Handled by Theano。

7.2.6 Theano如何处理形状信息

译者:Python 文档协作翻译小组,原文:How Shape Information is Handled by Theano

本文以 CC BY-NC-SA 4.0 协议发布,转载请保留作者署名和文章出处。

Python 文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。

在构建图形时,不可能严格执行Theano变量的形状,因为在运行时间为Theano函数的参数提供的特定值可能会调整其图形中的Theano变量的形状。

目前,关于形状的信息在Theano中以两种方式使用:

  • 为了在CPU和GPU上生成用于2d卷积的更快的C代码,当预先知道确切的输出形状时。

  • 当我们只想知道形状,而不是变量的实际值时,去除图中的计算。这通过Op.infer_shape方法完成。

    例:

>>> import theano
>>> x = theano.tensor.matrix('x')
>>> f = theano.function([x], (x ** 2).shape)
>>> theano.printing.debugprint(f) 
MakeVector{dtype='int64'} [id A] ''   2
 |Shape_i{0} [id B] ''   1
 | |x [id C]
 |Shape_i{1} [id D] ''   0
 |x [id C]
AI 代码解读

此编译函数的输出不包含任何乘法或幂。Theano已经删除它们直接计算输出的形状。

Shape Inference Problem

Theano在图形中传播关于形状的信息。有时这可能会导致错误。考虑这个例子:

>>> import numpy
>>> import theano
>>> x = theano.tensor.matrix('x')
>>> y = theano.tensor.matrix('y')
>>> z = theano.tensor.join(0, x, y)
>>> xv = numpy.random.rand(5, 4)
>>> yv = numpy.random.rand(3, 3)
AI 代码解读
>>> f = theano.function([x, y], z.shape)
>>> theano.printing.debugprint(f) 
MakeVector{dtype='int64'} [id A] ''   4
 |Elemwise{Add}[(0, 0)] [id B] ''   3
 | |Shape_i{0} [id C] ''   1
 | | |x [id D]
 | |Shape_i{0} [id E] ''   2
 |   |y [id F]
 |Shape_i{1} [id G] ''   0
 |x [id D]
AI 代码解读
>>> f(xv, yv) # DOES NOT RAISE AN ERROR AS SHOULD BE.
array([8, 4])
AI 代码解读
>>> f = theano.function([x,y], z)# Do not take the shape.
>>> theano.printing.debugprint(f) 
Join [id A] ''   0
 |TensorConstant{0} [id B]
 |x [id C]
 |y [id D]
AI 代码解读
>>> f(xv, yv)  
Traceback (most recent call last):
  ...
ValueError: ...
AI 代码解读

正如你所看到的,当仅仅请求一些计算的形状(在示例中join)时,直接计算推断的形状,而不执行计算本身(没有join

这使得形状的计算更快,但它也可以隐藏错误。在此示例中,join的输出形状的计算仅基于第一个输入Theano变量完成,这导致错误。

这可能会发生在其他操作,例如elemwisedot。实际上,为了执行一些优化(例如,对于速度或稳定性),Theano假定计算是正确的,并且在第一位置是一致的,如在这里。

您可以通过运行代码而不进行此优化,使用Theano标志optimizer_excluding=local_shape_to_shape_i来检测这些问题。你也可以通过在模式FAST_COMPILE(它不会应用此优化,也不会应用大多数其他优化)或DebugMode优化(慢得多))。

Specifing Exact Shape

目前,指定一个形状不是那么容易和灵活,我们希望,我们计划一些升级。这里是可以做什么的当前状态:

  • 你可以直接传递形状信息到ConvOp创建时调用conv2d。你只需在调用中设置参数image_shapefilter_shape。它们必须是4个元素的元组。例如:
theano.tensor.nnet.conv2d(..., image_shape=(7, 3, 5, 5), filter_shape=(2, 3, 4, 4))
AI 代码解读
  • 您可以使用SpecifyShape op在图形中的任何位置添加形状信息。这允许执行一些优化。在以下示例中,这使得有可能将Theano函数预先计算为常数。
>>> import theano
>>> x = theano.tensor.matrix()
>>> x_specify_shape = theano.tensor.specify_shape(x, (2, 2))
>>> f = theano.function([x], (x_specify_shape ** 2).shape)
>>> theano.printing.debugprint(f) 
DeepCopyOp [id A] ''   0
 |TensorConstant{(2,) of 2} [id B]
AI 代码解读

Future Plans

参数“恒定形状”将添加到theano.shared()。这可能是shared变量??最常见的情况。它将使代码更简单,并且可以检查更新shared变量??时形状不会改变。

Shape Inference Problem

Theano在图形中传播关于形状的信息。有时这可能会导致错误。考虑这个例子:

>>> import numpy
>>> import theano
>>> x = theano.tensor.matrix('x')
>>> y = theano.tensor.matrix('y')
>>> z = theano.tensor.join(0, x, y)
>>> xv = numpy.random.rand(5, 4)
>>> yv = numpy.random.rand(3, 3)
AI 代码解读
>>> f = theano.function([x, y], z.shape)
>>> theano.printing.debugprint(f) 
MakeVector{dtype='int64'} [id A] ''   4
 |Elemwise{Add}[(0, 0)] [id B] ''   3
 | |Shape_i{0} [id C] ''   1
 | | |x [id D]
 | |Shape_i{0} [id E] ''   2
 |   |y [id F]
 |Shape_i{1} [id G] ''   0
 |x [id D]
AI 代码解读
>>> f(xv, yv) # DOES NOT RAISE AN ERROR AS SHOULD BE.
array([8, 4])
AI 代码解读
>>> f = theano.function([x,y], z)# Do not take the shape.
>>> theano.printing.debugprint(f) 
Join [id A] ''   0
 |TensorConstant{0} [id B]
 |x [id C]
 |y [id D]
AI 代码解读
>>> f(xv, yv)  
Traceback (most recent call last):
  ...
ValueError: ...
AI 代码解读

正如你所看到的,当仅仅请求一些计算的形状(在示例中join)时,直接计算推断的形状,而不执行计算本身(没有join

这使得形状的计算更快,但它也可以隐藏错误。在此示例中,join的输出形状的计算仅基于第一个输入Theano变量完成,这导致错误。

这可能会发生在其他操作,例如elemwisedot。实际上,为了执行一些优化(例如,对于速度或稳定性),Theano假定计算是正确的,并且在第一位置是一致的,如在这里。

您可以通过运行代码而不进行此优化,使用Theano标志optimizer_excluding=local_shape_to_shape_i来检测这些问题。你也可以通过在模式FAST_COMPILE(它不会应用此优化,也不会应用大多数其他优化)或DebugMode优化(慢得多))。

Specifing Exact Shape

目前,指定一个形状不是那么容易和灵活,我们希望,我们计划一些升级。这里是可以做什么的当前状态:

  • 你可以直接传递形状信息到ConvOp创建时调用conv2d。你只需在调用中设置参数image_shapefilter_shape。它们必须是4个元素的元组。例如:
theano.tensor.nnet.conv2d(..., image_shape=(7, 3, 5, 5), filter_shape=(2, 3, 4, 4))
AI 代码解读
  • 您可以使用SpecifyShape op在图形中的任何位置添加形状信息。这允许执行一些优化。在以下示例中,这使得有可能将Theano函数预先计算为常数。
>>> import theano
>>> x = theano.tensor.matrix()
>>> x_specify_shape = theano.tensor.specify_shape(x, (2, 2))
>>> f = theano.function([x], (x_specify_shape ** 2).shape)
>>> theano.printing.debugprint(f) 
DeepCopyOp [id A] ''   0
 |TensorConstant{(2,) of 2} [id B]
AI 代码解读
相关文章
基于Pytorch的PyTorch Geometric(PYG)库构造个人数据集
基于Pytorch的PyTorch Geometric(PYG)库构造个人数据集
1067 0
基于Pytorch的PyTorch Geometric(PYG)库构造个人数据集
PyTorch 之 简介、相关软件框架、基本使用方法、tensor 的几种形状和 autograd 机制-1
PyTorch 是一个基于 Torch 的 Python 开源机器学习库,用于自然语言处理等应用程序。它主要由 Facebook 的人工智能小组开发,不仅能够实现强大的 GPU 加速,同时还支持动态神经网络,这一点是现在很多主流框架如 TensorFlow 都不支持的。
【Pytorch神经网络理论篇】 27 图神经网络DGL库:简介+安装+卸载+数据集+PYG库+NetWorkx库
DGL库是由纽约大学和亚马逊联手推出的图神经网络框架,支持对异构图的处理,开源相关异构图神经网络的代码,在GCMC、RGCN等业内知名的模型实现上也取得了很好的效果。
1738 0
PyG (PyTorch Geometric) Dropbox系图数据集无法下载的解决方案(AMiner, DBLP, IMDB, LastFM)(持续更新ing...)
本文主要关注PyG官方提供的数据集中,因为数据下载源是Dropbox,所以不能直接下载的解决方案。
如何用Pytorch加载部分权重
在我做实验的过程中,由于卷积神经网络层数的更改,导致原始网络模型的权重加载失败,经过分析,是因为不匹配造成的,如下方式可以解决.
299 0
PyTorch学习系列教程:Tensor如何实现自动求导
今天本文继续PyTorch学习系列。虽然前几篇推文阅读效果不是很好(大体可能与本系列推文是新开的一个方向有关),但自己选择的路也要坚持走下去啊! 前篇推文介绍了搭建一个深度学习模型的基本流程,通过若干个Epoch即完成了一个简单的手写数字分类模型,效果还不错。在这一过程中,一个重要的细节便是模型如何学习到最优参数,答案是通过梯度下降法。实际上,梯度下降法是一类优化方法,是深度学习中广泛应用甚至可称得上是深度学习的基石。本篇不打算讲解梯度下降法,而主要来谈一谈Tensor如何实现自动求导,明白这一过程方能进一步理解各种梯度下降法的原理。
346 0
PyTorch学习系列教程:Tensor如何实现自动求导
PyTorch学习系列教程:何为Tensor?
本文继续PyTorch学习系列教程,来介绍在深度学习中最为基础也最为关键的数据结构——Tensor。一方面,Tensor之于PyTorch就好比是array之于Numpy或者DataFrame之于Pandas,都是构建了整个框架中最为底层的数据结构;另一方面,Tensor又与普通的数据结构不同,具有一个极为关键的特性——自动求导。今天,本文就来介绍Tensor这一数据结构。
606 0
PyTorch学习系列教程:何为Tensor?
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等