Python用线性回归和TensorFlow非线性概率神经网络不同激活函数分析可视化

简介: Python用线性回归和TensorFlow非线性概率神经网络不同激活函数分析可视化

全文链接:https://tecdat.cn/?p=33792


在这篇文章中,我将尝试介绍从简单的线性回归到使用神经网络构建非线性概率模型的步骤点击文末“阅读原文”获取完整代码数据


这在模型噪声随着模型变量之一变化或为非线性的情况下特别有用,比如在存在异方差性的情况下。

当客户的数据是非线性时,这样会对线性回归解决方案提出一些问题:

# 添加的噪声量是 x 的函数
n = 20000
......
x_train = x[: n // 2]
x_test = x[n // 2 :]
y_train = y[: n // 2]
......
plt.show()

image.png

线性回归方法

我们用均方差作为优化目标,这是线性回归的标准损失函数。

model_lin_reg = tf.keras.Sequential(
......
history = model_lin_reg.fit(x_train, y_train, epochs=10, verbose=0)
# 模型已经收敛:
plt.plot(history.history["loss"])
......

image.png

Final loss: 5.25

我们定义一些辅助函数来绘制结果:

def plot_results(x, y, y_est_mu, y_est_std=None):
  ......
    plt.show()
def plot_model_results(model, x, y, tfp_model: bool = True):
    model.weights
......
    plot_results(x, y, y_est_mu, y_est_std)

模型残差的标准差不影响收敛的回归系数,因此没有绘制。

plot_modesults(mod_linreg......, tfp_model=False)

image.png

点击标题查阅往期内容


Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化


01

02

03

04

TensorFlow概率

我们可以通过最大化正态分布的似然性来拟合上述相同的模型,其中平均值是线性回归模型的估计值。

def negloglik(y, distr):
  ......
model_lin_reg_tfp = tf.keras.Sequential(
 ......
            lambda t: tfp.distributions.Normal(loc=t, scale=5,)
        ),
    ]
)
model_lin_reg_tfp.compile(
......)
history = model_lin_reg_tf......
plot_model_results(model_lin_r......rue)

image.png

拟合带有标准差的线性回归

为了拟合线性回归模型的最佳标准差,我们需要进行一些操作。我们需要网络输出两个节点,一个用于表示平均值,另一个用于表示标准差。

model_lin_reg_std_tfp = tf.keras.Sequential(
    [
  ......
        ),
    ]
)
model_lin_reg_std_tfp.compile(
......)
history = model_lin_reg_std_tfp.fit(x_train, y_train, epochs=50, ......train, tfp_model=True)

image.png

上面的图表显示,标准差和均值都与之前不同。它们都随着x变量的增加而增加。然而,它们对数据仍然不是很好的拟合,无法捕捉到非线性关系。

神经网络方法

为了帮助拟合x和y之间非线性关系,我们可以利用神经网络。这可以简单地使用我们设计的相同TensorFlow模型,但添加一个具有非线性激活函数的隐藏层。

model_lin_reg_std_nn_tfp = tf.keras.Sequential(
    [
 ......
            )
        ),
    ]
)
model_lin_reg_std_nn_tfp.compile(
   ......
plot_model_results(mode ......rain, tfp_model=True)

image.png

神经网络模型拟合的均值比线性回归模型更好地符合数据的非线性关系。

结果

我们对训练集和测试集运行了各个模型。在任何模型中,两者之间的性能变化不大。我们可以看到,神经网络模型在训练集和测试集上的表现最好。

results = pd.DataFrame(index=["Train", "Test"])
models = {
  ......
        ).numpy(),
    ]
results.transpose()

image.png

激活函数

下面使用relu或softplus激活函数创建相同的网络。首先是relu网络的结果:

model_relu = tf.keras.Sequential(
    [
  ......
                loc=t[:, 0:1], scale=tf.math.softplus(t[:, 1:2])
            )
        ),
    ]
)
m ......
plot_model_results(model_relu, x_train, y_train)

image.png

然后是softplus的结果:

model_softplus = tf.keras.Sequential(
    [
  ......
                loc=t[:, 0:1], scale=tf.math.softplus(t[:, 1:2])
            )
        ),
    ]
)
model_softplus.compile(
 ......
plot_model_results(model_softplus, x_train, y_train)

image.png

我们可以看到,基于sigmoid的神经网络具有最佳性能。

results = pd.DataFrame(index=["Train", "Test"])
models = {
 ......(x_test))
        ).numpy(),
    ]
results.transpose()

image.png

相关文章
|
3天前
|
数据采集 数据可视化 数据挖掘
数据挖掘实战:使用Python进行数据分析与可视化
在大数据时代,Python因其强大库支持和易学性成为数据挖掘的首选语言。本文通过一个电商销售数据案例,演示如何使用Python进行数据预处理(如处理缺失值)、分析(如销售额时间趋势)和可视化(如商品类别销售条形图),揭示数据背后的模式。安装`pandas`, `numpy`, `matplotlib`, `seaborn`后,可以按照提供的代码步骤,从读取CSV到数据探索,体验Python在数据分析中的威力。这只是数据科学的入门,更多高级技术等待发掘。【6月更文挑战第14天】
26 11
|
5天前
|
算法 数据可视化 Python
【KMeans】Python实现KMeans算法及其可视化
【KMeans】Python实现KMeans算法及其可视化
|
9天前
|
SQL 人工智能 数据可视化
教老婆学会用python做可视化 第一篇:你不爱我了
教老婆学会用python做可视化 第一篇:你不爱我了
|
9天前
|
SQL 数据可视化 算法
【python可视化】折线图精粹:重点突出的艺术与技巧
【python可视化】折线图精粹:重点突出的艺术与技巧
|
9天前
|
机器学习/深度学习 数据可视化 数据挖掘
python每日可视化分析:从过去到现代数据分析的演进
python每日可视化分析:从过去到现代数据分析的演进
|
1月前
|
机器学习/深度学习 算法 PyTorch
python手把手搭建图像多分类神经网络-代码教程(手动搭建残差网络、mobileNET)
python手把手搭建图像多分类神经网络-代码教程(手动搭建残差网络、mobileNET)
63 0
|
1月前
|
机器学习/深度学习 自然语言处理 数据可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
|
5天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】28.卷积神经网络之NiN模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】28.卷积神经网络之NiN模型介绍及其Pytorch实现【含完整代码】
|
5天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
|
4天前
|
机器学习/深度学习 自然语言处理 前端开发
深度学习-[数据集+完整代码]基于卷积神经网络的缺陷检测
深度学习-[数据集+完整代码]基于卷积神经网络的缺陷检测

热门文章

最新文章