Tensorflow 相关概念

简介: 一、概述  人工智能:artificial intelligence  权重: weights  偏差:biases   图中包含输入( input)、塑形( reshape)、 Relu 层( Relulayer)、 Logit 层( Logit layer)、 Softmax、交叉熵( cross entropy)、梯度( gradient)、 SGD 训练( SGD Trainer)等部分,是一个简单的回归模型。

一、概述

  人工智能:artificial intelligence

  权重: weights

  偏差:biases 

  图中包含输入( input)、塑形( reshape)、 Relu 层( Relulayer)、 Logit 层( Logit layer)、 Softmax、交叉熵( cross entropy)、梯度( gradient)、 SGD 训练( SGD Trainer)等部分,是一个简单的回归模型。

  计算过程是,首先从输入开始,经过塑形后,一层一层进行前向传播运算。 Relu 层(隐藏层)里会有两个参数,即 Wh1bh1,在输出前使用 ReLuRectified Linear Units)激活函数做非线性处理。然后进入 Logit 层(输出层),学习两个参数 Wsmbsm。用 Softmax 来计算输

出结果中各个类别的概率分布。用交叉熵来度量两个概率分布(源样本的概率分布和输出结果的概率分布)之间的相似性。然后开始计算梯度,这里是需要参数 Wh1bh1Wsmbsm,以及交叉熵后的结果。随后进入 SGD 训练,也就是反向传播的过程,从上往下计算每一层的参数,
依次进行更新。也就是说,计算和更新的顺序为 bsmWsmbh1Wh1

  Tensorflow 边(edge) 有两种连接关系: 数据依赖和控制依赖。

  节点(算子): 代表一个操作(operation op)

  批标准化(batch normalization, BN)是为了克服神经网络层数加深导致难以训练而诞生的,我们知道,深度神经网络随着网络深度加深,训练起来越来越困难,收敛速度会很慢,常常会导致梯度弥散问题(vanishing gradient problem)。

模型的存储与加载

  训练好一个神经网络模型后,我们就希望能够将其应用在预测数据上。那么,如何把模型存储起来呢?同时,对于一个已经存储起来的模型,在将其应用在预测数据上时又如何加载呢?

  Tensorflow提供的API来存储和加载模型:

    1、生成检查点文件checkpoint file),扩展名一般为.ckpt,通过在 tf.train.Saver 对象上调用 Saver.save()生成。它包含权重和其他在程序中定义的变量,不包含图结构。如果需要在另一个程序中使用,需要重新创建图形结构,并告诉 TensorFlow 如何处理这些权重

    2、生成图协议文件( graph proto file),这是一个二进制文件,扩展名一般为.pb,用tf.train.write_graph()保存,只包含图形结构,不包含权重,然后使用 tf.import_graph_def()来加载图形。

 

 

 



相关文章
|
6月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
TensorFlow入门指南:基础概念与安装
【4月更文挑战第17天】TensorFlow入门指南介绍了该流行深度学习框架的基础概念和安装步骤。核心概念包括张量(多维数组)、计算图(表示计算任务的图结构)、会话(执行环境)以及变量(存储模型参数)。安装TensorFlow可通过pip或conda,GPU支持需额外条件。安装成功后,通过Python验证版本即可开始使用。
|
6月前
|
机器学习/深度学习 TensorFlow 语音技术
TensorFlow 的基本概念和使用场景
TensorFlow 的基本概念和使用场景
70 1
|
6月前
|
机器学习/深度学习 自然语言处理 算法
TensorFlow 的基本概念和使用场景
TensorFlow 的基本概念和使用场景
116 0
|
机器学习/深度学习 自然语言处理 算法
TensorFlow 的基本概念和使用场景
TensorFlow 的基本概念和使用场景
|
机器学习/深度学习 自然语言处理 并行计算
介绍 TensorFlow 的基本概念和使用场景
介绍 TensorFlow 的基本概念和使用场景
|
机器学习/深度学习 分布式计算 并行计算
《30天吃掉那只 TensorFlow2.0》 二、TensorFlow的核心概念
《30天吃掉那只 TensorFlow2.0》 二、TensorFlow的核心概念
《30天吃掉那只 TensorFlow2.0》 二、TensorFlow的核心概念
|
机器学习/深度学习 人工智能 算法
python+tensorflow人脸识别(1)-深度学习基础概念
python+tensorflow人脸识别(1)-深度学习基础概念
279 0
python+tensorflow人脸识别(1)-深度学习基础概念
|
机器学习/深度学习 前端开发 TensorFlow
深度学习:Tensorflow的基本概念和张量
深度学习:Tensorflow的基本概念和张量
190 0
|
机器学习/深度学习 人工智能 TensorFlow
深度学习(1)---Tensorflow基础概念
深度学习(1)---Tensorflow基础概念
162 0
深度学习(1)---Tensorflow基础概念
|
TensorFlow 算法框架/工具
TF学习——Tensorflow框架之基础概念、设计思路、常用方法之详细攻略
TF学习——Tensorflow框架之基础概念、设计思路、常用方法之详细攻略
下一篇
无影云桌面