用TensorBoard可视化tensorflow神经网络模型结构与训练过程的方法

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 用TensorBoard可视化tensorflow神经网络模型结构与训练过程的方法

  本文介绍基于TensorBoard工具,对tensorflow库构建的神经网络模型加以可视化,并对其训练过程中的损失函数Loss)、精度指标Metric)等的变化情况加以可视化的方法。

  在之前的两篇文章基于Python TensorFlow Estimator的深度学习回归与分类代码——DNNRegressorhttps://blog.csdn.net/zhebushibiaoshifu/article/details/114001720)与基于Python TensorFlow Keras的深度学习回归代码——keras.Sequential深度神经网络https://blog.csdn.net/zhebushibiaoshifu/article/details/114016531)中,我们介绍了利用Python中的tensorflow库,实现机器学习深度学习的具体思路与代码实现;此外,我们也曾介绍过神经网络模型可视化的方法,例如基于Python的神经网络模型结构框架可视化绘图简便方法https://blog.csdn.net/zhebushibiaoshifu/article/details/116212113)以及神经网络模型结构框架可视化的在线与软件绘图方法https://blog.csdn.net/zhebushibiaoshifu/article/details/116723916)等。但是,一直没有介绍过基于tensorflow库中的TensorBoard工具,对神经网络模型,以及其训练过程中各项参数变化情况加以可视化的方法;这篇文章就对其加以具体介绍。

  TensorBoardTensorFlow提供的一个可视化工具,可以帮助用户更好地理解和调试TensorFlow模型。它提供了各种图表和面板,可以展示模型的训练过程、性能指标、网络结构、数据分布等信息。

  首先,为了使用TensorBoard进行可视化,需要在代码中添加TensorBoard回调函数。在模型训练时,每个epoch结束时将记录模型的性能和其他相关信息,并将它们写入TensorBoard日志目录中。以下是添加TensorBoard回调函数的示例代码。

from tensorflow.keras.callbacks import TensorBoard
# 创建TensorBoard回调函数并指定日志目录
tensorboard_callback = TensorBoard(log_dir = "E:/01_Reflectivity/03_Code")
# 在fit()函数中将TensorBoard回调函数添加到回调列表中
model.fit(train_data, train_targets, epochs=50, batch_size=64, validation_data=(test_data, test_targets), callbacks=[tensorboard_callback])

  当然,很显然上述代码只是一个添加TensorBoard回调函数的示例代码,并不是tensorflow库实现神经网络模型的全部代码;如果大家需要全部的代码,可以参考基于Python TensorFlow Keras的深度学习回归代码——keras.Sequential深度神经网络https://blog.csdn.net/zhebushibiaoshifu/article/details/114016531)这篇文章,这里就不再赘述了。

  上述代码中,log_dir是大家存放日志的目录,大家可以自行修改。

  随后,启动TensorBoard服务器。在终端中输入以下命令来启动TensorBoard服务器。

tensorboard --logdir=E:\01_Reflectivity\03_Code

  其中,最后的路径就是前面我们提到的存放日志的路径。随后,运行上述代码,如下图所示。

  接下来,在浏览器中查看TensorBoard。在浏览器中访问http://localhost:6006/,就可以看到TensorBoard的主界面了。在界面上,你可以查看模型的架构、性能指标、激活直方图等信息。如下图所示。

  TensorBoard中的主要面板包括以下几个:

Scalars:展示训练过程中的标量指标,比如训练误差、验证误差、学习率等。

Graphs:展示计算图,可以看到每一层的输入输出,以及参数的维度和数值。

Distributions:展示数据分布情况,可以查看权重、梯度、激活值等的分布情况,有助于诊断过拟合或欠拟合等问题。

Histograms:展示数据分布的直方图,类似于Distributions,但更详细。

Images:展示图像数据,可以查看输入图片、卷积层的输出等。

Projector:展示高维数据的嵌入情况,可以对数据进行降维可视化。

Text:展示文本数据,可以查看文本分类、生成等任务的结果。

  总之,TensorBoard提供了丰富的可视化功能,可以帮助用户更好地理解和优化模型。

  其中,我们往往对ScalarsGraphs面板比较感兴趣,我们也就在此主要谈谈这两个部分。

  当我们训练模型时,可能会想要实时监控模型的训练情况,比如损失函数的变化、准确率的变化等。TensorBoard提供了Scalars界面,可以方便地对这些指标进行可视化;如下图所示。

  在代码中,我们可以使用tf.summary.scalar函数将指标写入TensorBoard日志文件中。

  其次,介绍一下Graphs界面。在TensorFlow中,Graphs(图)是表示神经网络的计算图,包括各个层之间的连接、每个层的参数以及激活函数等等。Graphs界面可以用于可视化TensorFlow计算图的结构,从而更好地理解神经网络的计算过程。如下图所示。

  在Graphs界面中,可以看到神经网络中每一层的名称和形状,以及层与层之间的连接。通过单击每个层,可以查看该层的详细信息,包括该层的参数、激活函数等等。此外,Graphs界面还可以显示每个变量和操作的名称,以及它们在计算图中的位置。

  通过Graphs界面,可以更好地理解神经网络的计算过程,发现神经网络中可能存在的问题,并对神经网络的结构进行优化。同时,Graphs界面还可以与TensorBoard的其他界面(如ScalarsHistograms等)进行配合使用,进一步提升神经网络的可视化效果和调试能力。

  此外,TensorBoard还具有非常巨大的功能,大家具体可以查阅其官方帮助文档。

欢迎关注:疯狂学习GIS

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3天前
|
监控 安全 BI
什么是零信任模型?如何实施以保证网络安全?
随着数字化转型,网络边界不断变化,组织需采用新的安全方法。零信任基于“永不信任,永远验证”原则,强调无论内外部,任何用户、设备或网络都不可信任。该模型包括微分段、多因素身份验证、单点登录、最小特权原则、持续监控和审核用户活动、监控设备等核心准则,以实现强大的网络安全态势。
|
23天前
|
机器学习/深度学习 自然语言处理 数据可视化
【由浅到深】从神经网络原理、Transformer模型演进、到代码工程实现
阅读这个文章可能的收获:理解AI、看懂模型和代码、能够自己搭建模型用于实际任务。
|
25天前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
48 8
|
1月前
|
存储 网络协议 安全
30 道初级网络工程师面试题,涵盖 OSI 模型、TCP/IP 协议栈、IP 地址、子网掩码、VLAN、STP、DHCP、DNS、防火墙、NAT、VPN 等基础知识和技术,帮助小白们充分准备面试,顺利踏入职场
本文精选了 30 道初级网络工程师面试题,涵盖 OSI 模型、TCP/IP 协议栈、IP 地址、子网掩码、VLAN、STP、DHCP、DNS、防火墙、NAT、VPN 等基础知识和技术,帮助小白们充分准备面试,顺利踏入职场。
83 2
|
1月前
|
运维 网络协议 算法
7 层 OSI 参考模型:详解网络通信的层次结构
7 层 OSI 参考模型:详解网络通信的层次结构
113 1
|
1月前
|
网络协议 算法 网络性能优化
计算机网络常见面试题(一):TCP/IP五层模型、TCP三次握手、四次挥手,TCP传输可靠性保障、ARQ协议
计算机网络常见面试题(一):TCP/IP五层模型、应用层常见的协议、TCP与UDP的区别,TCP三次握手、四次挥手,TCP传输可靠性保障、ARQ协议、ARP协议
|
1月前
|
机器学习/深度学习 人工智能 算法
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
车辆车型识别,使用Python作为主要编程语言,通过收集多种车辆车型图像数据集,然后基于TensorFlow搭建卷积网络算法模型,并对数据集进行训练,最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面,实现用户上传一张车辆图片识别其类型。
85 0
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
|
5天前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
42 17
|
16天前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
17天前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
39 10
下一篇
DataWorks