金融统计学方法:神经网络

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 金融统计学方法:神经网络


1.神经网络

神经网络是模仿人脑神经元工作原理而设计的一种算法模型。在一个基本的神经网络中,存在多个“神经元”或称为“节点”,这些节点被组织成多个层次。每个节点都接收前一层的输入,进行加权求和,并通过一个激活函数产生输出。

神经网络主要由以下几个部分组成:

  1. 输入层:这是神经网络的第一层,用于接收外部数据。
  2. 隐藏层:位于输入层和输出层之间的层,可以有一个或多个。
  3. 输出层:将神经网络的结果输出给外部环境。
  4. 权重与偏置:每个连接都有一个权重,每个节点都有一个偏置。
  5. 激活函数:决定神经元是否应该被“激活”或输出其值。

2.深度神经网络

深度神经网络(DNN)基本上是一个有很多隐藏层的神经网络。这些额外的层使得DNN能够学习和表示更复杂的特征和模式。简而言之,一个“深”的网络意味着它有更多的层次和更多的能力,但同时也意味着它需要更多的数据和计算资源来进行训练。

深度学习的兴起归功于几个关键因素:

  • 大数据:深度网络需要大量的训练数据。
  • 计算能力的增强:如GPU的出现,使得大规模矩阵操作更为高效。
  • 算法进步:如ReLU激活函数、Dropout等技术的引入,帮助解决梯度消失和过拟合问题。

3.案例分析

下面利用神经网络来解决XOR问题。

XOR问题是指异或逻辑运算,对于两个二进制输入,XOR运算的定义如下:

从上面的表格可以看出,只有当两个输入不同时,输出才为1;如果两个输入相同,则输出为0。

XOR问题在神经网络领域的重要性在于:单个感知机(或称为线性单元)不能解决XOR问题,因为XOR函数不是线性可分的。这意味着你不能画一条直线来区分输出为1和输出为0的数据点。但是,使用一个具有至少一个隐藏层的多层神经网络可以解决XOR问题,这证明了引入隐藏层的重要性和多层神经网络的能力。

首先绘制XOR数据点:

import matplotlib.pyplot as plt
# XOR 数据
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])
plt.scatter(X[y[:,0] == 0][:, 0], X[y[:,0] == 0][:, 1], color='blue', label='0')
plt.scatter(X[y[:,0] == 1][:, 0], X[y[:,0] == 1][:, 1], color='red', label='1')
plt.xlabel('Input A')
plt.ylabel('Input B')
plt.legend()
plt.title('XOR Data Points')
plt.show()

结果图;

接下来利用神经网络进行预测:

import numpy as np
import matplotlib.pyplot as plt
# 定义Sigmoid函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))
def sigmoid_derivative(x):
    return x * (1 - x)
# 定义神经网络结构
input_neurons = 2
hidden_neurons = 4
output_neurons = 1
# 初始化权重和偏置
np.random.seed(0)
input_hidden_weights = np.random.rand(input_neurons, hidden_neurons)
hidden_output_weights = np.random.rand(hidden_neurons, output_neurons)
hidden_bias = np.random.rand(1, hidden_neurons)
output_bias = np.random.rand(1, output_neurons)
# 定义训练数据 (XOR problem)
X = np.array([
    [0, 0],
    [0, 1],
    [1, 0],
    [1, 1]
])
y = np.array([
    [0],
    [1],
    [1],
    [0]
])
learning_rate = 0.5
epochs = 10000
errors = []
# 训练神经网络
for epoch in range(epochs):
    # 前向传播
    hidden_layer_input = np.dot(X, input_hidden_weights) + hidden_bias
    hidden_layer_output = sigmoid(hidden_layer_input)
    output_layer_input = np.dot(hidden_layer_output, hidden_output_weights) + output_bias
    predicted_output = sigmoid(output_layer_input)
    # 计算误差
    error = y - predicted_output
    # 记录MSE
    mse = np.mean(np.square(error))
    errors.append(mse)
    # 反向传播
    d_predicted_output = error * sigmoid_derivative(predicted_output)
    error_hidden_layer = d_predicted_output.dot(hidden_output_weights.T)
    d_hidden_layer = error_hidden_layer * sigmoid_derivative(hidden_layer_output)
    # 更新权重和偏置
    hidden_output_weights += hidden_layer_output.T.dot(d_predicted_output) * learning_rate
    output_bias += np.sum(d_predicted_output, axis=0, keepdims=True) * learning_rate
    input_hidden_weights += X.T.dot(d_hidden_layer) * learning_rate
    hidden_bias += np.sum(d_hidden_layer, axis=0, keepdims=True) * learning_rate
print(predicted_output)
# 绘制误差曲线
plt.plot(errors)
plt.title('Error (MSE) over Epochs')
plt.xlabel('Epochs')
plt.ylabel('Mean Squared Error (MSE)')
plt.show()

预测结果:

[[0.01707759]

[0.98487483]

[0.98482722]

[0.01675426]]

误差曲线如下;

可见,随着迭代次数的增加, 均方误差MSE越来越小,最终收敛到0。


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
30天前
|
机器学习/深度学习 计算机视觉
TPAMI 2024:计算机视觉中基于图神经网络和图Transformers的方法和最新进展
【10月更文挑战第3天】近年来,图神经网络(GNNs)和图Transformers在计算机视觉领域取得显著进展,广泛应用于图像识别、目标检测和场景理解等任务。TPAMI 2024上的一篇综述文章全面回顾了它们在2D自然图像、视频、3D数据、视觉与语言结合及医学图像中的应用,并深入分析了其基本原理、优势与挑战。GNNs通过消息传递捕捉非欧式结构,图Transformers则结合Transformer模型提升表达能力。尽管存在图结构构建复杂和计算成本高等挑战,但这些技术仍展现出巨大潜力。论文详细内容见:https://arxiv.org/abs/2209.13232。
41 3
|
3月前
|
存储 缓存 网络协议
网络丢包排查方法
网络丢包排查方法
|
3月前
|
监控 安全 iOS开发
|
3月前
|
域名解析 运维 监控
网络故障排查的常用工具与方法:技术深度解析
【8月更文挑战第20天】网络故障排查是一项复杂而重要的工作,需要网络管理员具备扎实的网络知识、丰富的实践经验和灵活的问题解决能力。通过掌握常用工具和方法,遵循科学的排查流程,可以显著提高故障排查的效率和准确性。希望本文能为读者在网络故障排查方面提供有益的参考和启示。
|
2月前
|
机器学习/深度学习 数据采集 算法
图像处理神经网络数据预处理方法
图像预处理步骤对于图像处理神经网络至关重要。这些步骤不仅保证了数据的一致性和质量,还可以通过数据增强等技术提高模型的泛化能力,从而提升模型的整体性能。每一步骤的选择和应用都基于具体任务和数据集的特性,并在模型训练和测试过程中起到关键作用。
55 0
|
3月前
|
存储 缓存 定位技术
如果遇到网络延迟问题,有哪些方法可以快速解决以保证视频源同步?
如果遇到网络延迟问题,有哪些方法可以快速解决以保证视频源同步?
|
3月前
|
机器学习/深度学习
【机器学习】面试题:LSTM长短期记忆网络的理解?LSTM是怎么解决梯度消失的问题的?还有哪些其它的解决梯度消失或梯度爆炸的方法?
长短时记忆网络(LSTM)的基本概念、解决梯度消失问题的机制,以及介绍了包括梯度裁剪、改变激活函数、残差结构和Batch Normalization在内的其他方法来解决梯度消失或梯度爆炸问题。
93 2
|
3月前
|
存储 监控 安全
确保大型组织网络安全的策略与方法
【8月更文挑战第24天】
93 0
|
3月前
|
网络虚拟化 数据安全/隐私保护
手把手教网络工程师2种方法如何恢复交换机配置
手把手教网络工程师2种方法如何恢复交换机配置
|
3月前
|
安全 网络协议 网络安全
常见网络攻击方式及防御方法
网络安全威胁的不断演变和增长,网络攻击的种类和数量也在不断增加,攻防对抗实战演练在即,让我们一起了解一下常见网络攻击方式及防御方法。
122 0