TensorFlow学习笔记(一): tf.Variable() 和tf.get_variable()详解

简介: 这篇文章详细介绍了TensorFlow中`tf.Variable()`和`tf.get_variable()`的使用方法、参数含义以及它们之间的区别。

对于tf.Variable和tf.get_variable,这两个都是在我们训练模型的时候常遇到的函数,我们首先要知道懂得它的语法格式、常用的语法格式的作用以及在实际代码中是如何调用、如何运行的,运行之后具有什么样的作用。

tf.Variable()

作用:用于生成一个初始值为initial-value的变量。必须指定初始化值。

语法格式如下:

tf.Variable(initial_value=None, trainable=True, collections=None, validate_shape=True, 
caching_device=None, name=None, variable_def=None, dtype=None, expected_shape=None, 
import_scope=None)

经常使用的是initial_value、name、shape、dtype、trainable,分别是初始化,命名,所需要的形状大小,变量类型。

参数解释:

  • initial_value:Tensor或可转换为Tensor的Python对象,它是Variable的初始值。除非validate_shape设置为False,否则初始值必须具有指定的形状。也可以是一个可调用的,没有参数,在调用时返回初始值。在这种情况下,必须指定dtype。
    (请注意,init_ops.py中的初始化函数必须首先绑定到形状才能在此处使用。)
  • validate_shape:如果为False,则允许使用未知形状的值初始化变量。如果为True,则 默认为initial_value的形状必须已知。
  • shape:新变量或现有变量的形状。
  • name:变量的可选名称。默认为“Variable”并自动获取。
  • dtype:如果设置,则initial_value将转换为给定类型。如果为None,则保留数据类型(如果initial_value是Tensor),或者convert_to_tensor将决定。
  • trainable: 若trainable=False :防止该变量被数据流图的GraphKeys.TRAINABLE_VARIABLES (优化器优化的默认变量列表)收集,
    这样我们就不会在训练的时候尝试更新它的值。如果把trainable设置为True的话,就会把该变量放置到该列表中;如果trainable设置为True的话,就不会放置到该列表中,在训练的时候就不会更新此值。所以显而易见它的作用就是模型训练的时候是否会更新这个参数。
  • collections:一个图graph集合列表的关键字。新变量将添加到这个集合中。默认为[GraphKeys.GLOBAL_VARIABLES]。也可自己指定其他的集合列表;
  • validate_shape:如果为False,则允许使用未知形状的值初始化变量。如果为True,则默认为initial_value的形状必须已知。
  • caching_device:可选设备字符串,描述应该缓存变量以供读取的位置。默认为Variable的设备。如果不是None,则在另一台设备上缓存。典型用法是在使用变量驻留的Ops的设备上进行缓存,以通过Switch和其他条件语句进行重复数据删除。
  • variable_def:VariableDef协议缓冲区。如果不是None,则使用其内容重新创建Variable对象,引用图中必须已存在的变量节点。图表未更改。 variable_def和其他参数是互斥的。
  • expected_shape:TensorShape。如果设置,则initial_value应具有此形状。
  • import_scope:可选字符串。要添加到变量的名称范围。仅在从协议缓冲区初始化时使用。

实际代码:

import tensorflow as tf

v1=tf.Variable(tf.random_normal(shape=[4,3],mean=0,stddev=1),name='v1')
v2=tf.Variable(tf.constant(2),name='v2')
v3=tf.Variable(tf.ones([4,3]),name='v3')
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(v1))
    print(sess.run(v2))
    print(sess.run(v3))

程序结果:

[[-1.2115501   1.0484737   0.55210656]
 [-1.5301195   0.9060654  -2.6766613 ]
 [ 0.27101386 -0.32336152  0.44544214]
 [-0.0120788  -0.3409422  -0.48505628]]
2
[[1. 1. 1.]
 [1. 1. 1.]
 [1. 1. 1.]
 [1. 1. 1.]]

tf.get_variable()

作用:用于获取已存在的变量(要求不仅名字,而且初始化方法等各个参数都一样),如果不存在,就新建一个。可以用各种初始化方法,不用明确指定值。

语法格式如下:

tf.get_variable(name, shape=None, dtype=None, initializer=None, regularizer=None, 
trainable=True, collections=None, caching_device=None, partitioner=None, validate_shape=True, 
custom_getter=None)

参数解释:

  • name:新变量或现有变量的名称,这个参数是必须的,函数会根据变量名称去创建或者获取变量。
  • shape:新变量或现有变量的形状。
  • dtype:新变量或现有变量的类型(默认为DT_FLOAT)。
  • ininializer:如果创建了则用它来初始化变量。初始化的方式在下面会有一个归纳
  • regularizer:A(Tensor - >
    Tensor或None)函数;将它应用于新创建的变量的结果将添加到集合tf.GraphKeys.REGULARIZATION_LOSSES中,并可用于正则化。
  • trainable:如果为True,还将变量添加到图形集合GraphKeys.TRAINABLE_VARIABLES(参见tf.Variable)。
  • collections:要将变量添加到的图表集合列表。默认为[GraphKeys.GLOBAL_VARIABLES](参见tf.Variable)。
  • caching_device:可选的设备字符串或函数,描述变量应被缓存以供读取的位置。默认为Variable的设备。如果不是None,则在另一台设备上缓存。典型用法是在使用变量驻留的Ops的设备上进行缓存,以通过Switch和其他条件语句进行重复数据删除。
  • partitioner:可选callable,接受完全定义的TensorShape和要创建的Variable的dtype,并返回每个轴的分区列表(当前只能对一个轴进行分区)。
  • validate_shape:如果为False,则允许使用未知形状的值初始化变量。如果为True,则默认为initial_value的形状必须已知。
  • use_resource:如果为False,则创建常规变量。如果为true,则使用定义良好的语义创建实验性ResourceVariable。默认为False(稍后将更改为True)。在Eager模式下,此参数始终强制为True。
  • custom_getter:Callable,它将第一个参数作为true getter,并允许覆盖内部get_variable方法。

实际代码:

import tensorflow as tf;  
import numpy as np;  
import matplotlib.pyplot as plt;  

a1 = tf.get_variable(name='a1', shape=[2,3], initializer=tf.random_normal_initializer(mean=0, stddev=1))
a2 = tf.get_variable(name='a2', shape=[1], initializer=tf.constant_initializer(1))
a3 = tf.get_variable(name='a3', shape=[2,3], initializer=tf.ones_initializer())

with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    print sess.run(a1)
    print sess.run(a2)
    print sess.run(a3)
#输出
[[ 0.42299312 -0.25459203 -0.88605702]
 [ 0.22410156  1.34326422 -0.39722782]]
[ 1.]
[[ 1.  1.  1.]
 [ 1.  1.  1.]]

两者的区别

1、使用tf.Variable时,能真正的定义变量,如果检测到命名冲突,系统会自己处理。使用tf.get_variable()时,是获取变量,系统不会处理冲突,而会报错
比如说:

import tensorflow as tf
w_1 = tf.Variable(3,name="w_1")
w_2 = tf.Variable(1,name="w_1")
print w_1.name
print w_2.name
#输出
#w_1:0
#w_1_1:0
import tensorflow as tf

w_1 = tf.get_variable(name="w_1",initializer=1)
w_2 = tf.get_variable(name="w_1",initializer=2)
#错误信息
#ValueError: Variable w_1 already exists, disallowed. Did
#you mean to set reuse=True in VarScope?

2、基于这两个函数的特性,当我们需要共享变量的时候,需要使用tf.get_variable()。在其他情况下,这两个的用法是一样的。为了方便变量管理,tensorflow 还有一个变量管理器,叫做tf.variable_scope,也就是说定义了variable_scope,这样才可以有相同的名字

import tensorflow as tf

with tf.variable_scope("scope1"): # scopename is scope1
    w1 = tf.get_variable("w1", shape=[])
    w2 = tf.Variable(0.0, name="w2")
with tf.variable_scope("scope1", reuse=True):
    w1_p = tf.get_variable("w1", shape=[])
    w2_p = tf.Variable(1.0, name="w2")

print(w1 is w1_p, w2 is w2_p)
#输出
#True  False

由于tf.Variable() 每次都在创建新对象,所有reuse=True 和它并没有什么关系。对于get_variable(),来说,如果已经创建的变量对象,就把那个对象返回,如果没有创建变量对象的话,就创建一个新的。

initializer是变量初始化的方式归纳,初始化的方式有以下几种:

  1. tf.constant_initializer:常量初始化函数
    tf.random_normal_initializer:正态分布
    tf.truncated_normal_initializer:截取的正态分布
    tf.random_uniform_initializer:均匀分布
    tf.zeros_initializer:全部是0
    tf.ones_initializer:全是1
    tf.uniform_unit_scaling_initializer:满足均匀分布,但不影响输出数量级的随机值

例如:

import tensorflow as tf;  
import numpy as np;  
import matplotlib.pyplot as plt;  

a1 = tf.get_variable(name='a1', shape=[2,3], initializer=tf.random_normal_initializer(mean=0, stddev=1))
a2 = tf.get_variable(name='a2', shape=[1], initializer=tf.constant_initializer(1))
a3 = tf.get_variable(name='a3', shape=[2,3], initializer=tf.ones_initializer())

with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())
    print sess.run(a1)
    print sess.run(a2)
    print sess.run(a3)
#输出
[[ 0.42299312 -0.25459203 -0.88605702]
 [ 0.22410156  1.34326422 -0.39722782]]
[ 1.]
[[ 1.  1.  1.]
 [ 1.  1.  1.]]

注意:不同的变量之间不能有相同的名字,除非你定义了variable_scope,这样才可以有相同的名字

注意:

  • 如果initializer初始化方法是None(默认值),则会使用variable_scope()中定义的initializer,如果也为None,则默认使用glorot_uniform_initializer,也可以使用其他的tensor来初始化,value,和shape与此tensor相同
  • 正则化方法默认是None,如果不指定,只会使用variable_scope()中的正则化方式,如果也为None,则不使用正则化;
目录
相关文章
|
1月前
|
TensorFlow 算法框架/工具
Tensorflow学习笔记(二):各种tf类型的函数用法集合
这篇文章总结了TensorFlow中各种函数的用法,包括创建张量、设备管理、数据类型转换、随机数生成等基础知识。
28 0
|
人工智能 TensorFlow 算法框架/工具
人工智能|Tensorflow-2.0学习笔记:基础操作篇一
人工智能|Tensorflow-2.0学习笔记:基础操作篇一
127 0
|
机器学习/深度学习 TensorFlow 算法框架/工具
Whale 基于 Tensorflow 深度学习分布式训练框架|学习笔记
快速学习 Whale 基于 Tensorflow 深度学习分布式训练框架。
490 0
Whale 基于 Tensorflow 深度学习分布式训练框架|学习笔记
|
机器学习/深度学习 存储 算法
TensorFlow 实现图像分类|学习笔记
快速学习 TensorFlow 实现图像分类。
166 0
TensorFlow 实现图像分类|学习笔记
|
Ubuntu TensorFlow 算法框架/工具
最新 Tensorflow 2.2极简安装教程 | 学习笔记
快速学习最新 Tensorflow 2.2极简安装教程
最新 Tensorflow 2.2极简安装教程 | 学习笔记
|
机器学习/深度学习 TensorFlow 算法框架/工具
逻辑回归的 tensorflow 实现 | 学习笔记
快速学习逻辑回归的 tensorflow 实现
逻辑回归的 tensorflow 实现 | 学习笔记
|
并行计算 TensorFlow 算法框架/工具
Tensorflow 2.0 GPU 版本的安装 | 学习笔记
快速学习 Tensorflow 2.0 GPU 版本的安装
Tensorflow 2.0 GPU 版本的安装 | 学习笔记
|
机器学习/深度学习 人工智能 搜索推荐
TensorFlow 与 ApacheFlink 的结合(二)| 学习笔记
快速学习 TensorFlow 与 ApacheFlink 的结合。
TensorFlow 与 ApacheFlink 的结合(二)| 学习笔记
|
机器学习/深度学习 存储 TensorFlow
《TensorFlow技术解析与实战》学习笔记2
《TensorFlow技术解析与实战》学习笔记2
115 0
|
机器学习/深度学习 算法 BI
《TensorFlow深度学习应用实践》学习笔记1
《TensorFlow深度学习应用实践》学习笔记1
113 0
下一篇
无影云桌面