【Tensorflow深度学习】优化算法、损失计算、模型评估、向量嵌入、神经网络等模块的讲解(超详细必看)

简介: 【Tensorflow深度学习】优化算法、损失计算、模型评估、向量嵌入、神经网络等模块的讲解(超详细必看)

觉得有帮助请点赞关注收藏~~~

一、优化算法

1)Adam算法: 基于一阶或二阶动量(Moments)的随机梯度下降算法,动量是非负超参数,主要作用是调整方向梯度下降并抑制波动。此算法适用于数据量和参数规模较大的场合。

(2)SGD算法: 动量梯度下降算法。

(3)Adagrad算法: 学习率与参数更新频率相关。

(4)Adamax算法:Adam算法的扩展型,词嵌入运算有时优于Adam算法。

(5)Ftrl算法:谷歌发明的算法,适用于大稀疏特征空间的场合。

(6)Nadam算法: 基于Adam算法,使用Nesterov动量。

(7)RMSprop算法:基于梯度平方均值。

(8)Adadelta算法:使用随机梯度下降算法和自适应学习率,避免训练过程中学习率持续劣化以及手动设定问题。

二、损失计算

Tensorflow的keras.losses库中定义了各种损失值得运算类,下面重点介绍常用的几种

(1)CategoricalCrossentropy类: 计算标签和预测值之间的交叉熵损失(Crossentropy Loss)。

(2)SparseCategoricalCrossentropy类: 原理与CategoricalCrossentropy类似。比较适用于有两个及以上标签类别的场景,如果运算基于独热表示标签,更适合使用CategoricalCrossentropy损失。

(3) BinaryCrossentropy类: 类似CategoricalCrossentropy,适用于0或者1二分类的场合。

(4)MeanSquaredError类:计算标签和预测值之间的误差平方均值。

(5)MeanAbsoluteError类:计算标签和预测值之间的绝对误差均值。

(6)Hinge类:计算真实值和预测值之间的铰链损失。

三、模型评估

Tensorflow的keras.metrics库中定义了模型评估指标 下面介绍几种代表性指标

(1)AUC类:代表Area Under The Curve,计算ROC 的曲线下面积。

(2)MeanSquaredError类:计算预测值和真实值的误差平方均值。

(3)MeanAbsoluteError类:计算标签值和预测值的误差绝对均值。

(4)Accuracy类:计算标签值和预测值相同的频率。

(5)CategoricalCrossentropy类: 计算标签和预测值之间的交叉熵。

(6)SparseCategoricalCrossentropy类: 原理与CategoricalCrossentropy类似,比较适用于有两个及以上标签类别的场景

四、向量嵌入

机器学习模型将向量作为输入,因此在将字符串输入模型之前需要将字符串转换为数值向量,也称为词嵌入。词嵌入提供了一种高效表示的方法,其中相似的词具有相似的编码,在处理大型数据集时,通常会看到多维的词嵌入处理,高纬度嵌入可以体现词间的细粒度关系,但需要更多的数据来学习

Embedding(    input_dim, output_dim, embeddings_initializer,    embeddings_regularizer, activity_regularizer,    embeddings_constraint, mask_zero, input_length, **kwargs )

主要参数说明:

input_dim:词语大小;

output_dim:嵌入维度;

embeddings_initializer:嵌入矩阵初始值;

embeddings_regularizer:嵌入矩阵调整函数;

embeddings_constraint:嵌入矩阵限定函数;

mask_zero:布尔值,判断是否零作为填充;

input_length:输入序列长度。

五、神经网络

门控机制基于循环神经网络,门控循环单元网络(GRU)类似于附带遗忘门的长短期记忆网络,但参数比后者少,门控循环单元网络在自然语言处理的部分性能能与长短期记忆网络相似,在较小数据集上的分析效果比较突出 语法定义如下

GRU(units, activation, recurrent_activation,    use_bias, kernel_initializer,recurrent_initializer,    bias_initializer, kernel_regularizer,    recurrent_regularizer, bias_regularizer, activity_regularizer,kernel_constraint, recurrent_constraint, bias_constraint,dropout, recurrent_dropout, return_sequences, return_state,go_backwards, stateful, unroll, time_major,    reset_after, **kwargs)

主要参数说明:

·  units:输出空间维度;

·  Activation:激活函数;

·  recurrent_activation:重复激活函数;

·  use_bias:偏置量标识;

·  kernel_initializer:权重矩阵初始化;

·  dropout:输入的丢弃率,介于0和1之间;

·  go_backwards:逆向处理输入序列。

创作不易  觉得有帮助请点赞关注收藏~~~

相关文章
|
7天前
|
存储 算法 数据处理
公司局域网管理中的哈希表查找优化 C++ 算法探究
在数字化办公环境中,公司局域网管理至关重要。哈希表作为一种高效的数据结构,通过哈希函数将关键值(如IP地址、账号)映射到数组索引,实现快速的插入、删除与查找操作。例如,在员工登录验证和设备信息管理中,哈希表能显著提升效率,避免传统线性查找的低效问题。本文以C++为例,展示了哈希表在局域网管理中的具体应用,包括设备MAC地址与IP分配的存储与查询,并探讨了优化哈希函数和扩容策略,确保网络管理高效准确。
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于生物地理算法的MLP多层感知机优化matlab仿真
本程序基于生物地理算法(BBO)优化MLP多层感知机,通过MATLAB2022A实现随机数据点的趋势预测,并输出优化收敛曲线。BBO模拟物种在地理空间上的迁移、竞争与适应过程,以优化MLP的权重和偏置参数,提升预测性能。完整程序无水印,适用于机器学习和数据预测任务。
|
8天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
害虫识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了12种常见的害虫种类数据集【"蚂蚁(ants)", "蜜蜂(bees)", "甲虫(beetle)", "毛虫(catterpillar)", "蚯蚓(earthworms)", "蜚蠊(earwig)", "蚱蜢(grasshopper)", "飞蛾(moth)", "鼻涕虫(slug)", "蜗牛(snail)", "黄蜂(wasp)", "象鼻虫(weevil)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Djan
48 1
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
7天前
|
算法 数据安全/隐私保护
基于二次规划优化的OFDM系统PAPR抑制算法的matlab仿真
本程序基于二次规划优化的OFDM系统PAPR抑制算法,旨在降低OFDM信号的高峰均功率比(PAPR),以减少射频放大器的非线性失真并提高电源效率。通过MATLAB2022A仿真验证,核心算法通过对原始OFDM信号进行预编码,最小化最大瞬时功率,同时约束信号重构误差,确保数据完整性。完整程序运行后无水印,展示优化后的PAPR性能提升效果。
|
10天前
|
机器学习/深度学习 数据采集 算法
基于PSO粒子群优化的CNN-LSTM-SAM网络时间序列回归预测算法matlab仿真
本项目展示了基于PSO优化的CNN-LSTM-SAM网络时间序列预测算法。使用Matlab2022a开发,完整代码含中文注释及操作视频。算法结合卷积层提取局部特征、LSTM处理长期依赖、自注意力机制捕捉全局特征,通过粒子群优化提升预测精度。适用于金融市场、气象预报等领域,提供高效准确的预测结果。
|
3天前
|
机器学习/深度学习 资源调度 算法
基于入侵野草算法的KNN分类优化matlab仿真
本程序基于入侵野草算法(IWO)优化KNN分类器,通过模拟自然界中野草的扩散与竞争过程,寻找最优特征组合和超参数。核心步骤包括初始化、繁殖、变异和选择,以提升KNN分类效果。程序在MATLAB2022A上运行,展示了优化后的分类性能。该方法适用于高维数据和复杂分类任务,显著提高了分类准确性。
|
9天前
|
监控 算法 安全
公司电脑网络监控场景下 Python 广度优先搜索算法的深度剖析
在数字化办公时代,公司电脑网络监控至关重要。广度优先搜索(BFS)算法在构建网络拓扑、检测安全威胁和优化资源分配方面发挥重要作用。通过Python代码示例展示其应用流程,助力企业提升网络安全与效率。未来,更多创新算法将融入该领域,保障企业数字化发展。
34 10
|
2月前
|
机器学习/深度学习 运维 安全
深度学习在安全事件检测中的应用:守护数字世界的利器
深度学习在安全事件检测中的应用:守护数字世界的利器
105 22
|
3月前
|
机器学习/深度学习 传感器 数据采集
深度学习在故障检测中的应用:从理论到实践
深度学习在故障检测中的应用:从理论到实践
254 6
|
1月前
|
机器学习/深度学习 人工智能 运维
深度学习在流量监控中的革命性应用
深度学习在流量监控中的革命性应用
85 40

热门文章

最新文章