1.简介
1.1 什么是多层感知器（MLP）？
MLP 是一种监督机器学习 (ML) 算法，属于前馈人工神经网络 [1] 类。该算法本质上是在数据上进行训练以学习函数。给定一组特征和一个目标变量（例如标签），它会学习一个用于分类或回归的非线性函数。在本文中，我们将只关注分类案例。
1.2 MLP和逻辑回归有什么相似之处吗？
有！逻辑回归只有两层，即输入和输出，但是，在 MLP 模型的情况下，唯一的区别是我们可以有额外的中间非线性层。这些被称为隐藏层。除了输入节点（属于输入层的节点）之外，每个节点都是一个使用非线性激活函数的神经元[1]。由于这种非线性性质，MLP 可以学习复杂的非线性函数，从而区分不可线性分离的数据！请参见下面的图 2，了解具有一个隐藏层的 MLP 分类器的可视化表示。
1.3 MLP 是如何训练的？
MLP 使用反向传播进行训练。
1.4 MLP的主要优缺点.
优点：
- 可以学习非线性函数，从而分离不可线性分离的数据 。
缺点：
- 隐藏层的损失函数导致非凸优化问题，因此存在局部最小值。
- 不同的权重初始化可能会导致不同的输出/权重/结果。
- MLP 有一些超参数，例如隐藏神经元的数量，需要调整的层数（时间和功耗）。
- MLP 可能对特征缩放敏感 。
2.使用scikit-learn的Python动手实例
2.1 数据集
对于这个实践示例，我们将使用 MNIST 数据集。 MNIST 数据库是一个著名的手写数字数据库，用于训练多个 ML 模型 。有 10 个不同数字的手写图像，因此类别数为 10 （参见图 3）。
注意：由于我们处理图像，因此这些由二维数组表示，并且数据的初始维度是每个图像的 28 by 28 ( 28x28 pixels )。然后二维图像被展平，因此在最后由矢量表示。每个 2D 图像都被转换为维度为 [1, 28x28] = [1, 784] 的 1D 向量。最后，我们的数据集有 784 个特征/变量/列。
2.2 数据导入与准备
import matplotlib.pyplot as plt from sklearn.datasets import fetch_openml from sklearn.neural_network import MLPClassifier # Load data X, y = fetch_openml("mnist_784", version=1, return_X_y=True) # Normalize intensity of images to make it in the range [0,1] since 255 is the max (white). X = X / 255.0
请记住，每个 2D 图像现在都转换为维度为 [1, 28x28] = [1, 784] 的 1D 矢量。我们现在来验证一下。
print(X.shape)
这将返回： (70000, 784) 。我们有 70k 个扁平图像（样本），每个图像包含 784 个像素（28*28=784）（变量/特征）。
因此，输入层权重矩阵的形状为
784 x #neurons_in_1st_hidden_layer.
输出层权重矩阵的形状为
#neurons_in_3rd_hidden_layer x #number_of_classes
2.3 模型训练
现在让我们构建模型、训练它并执行分类。我们将分别使用 3 个隐藏层和 50,20 and 10 个神经元。此外，我们将设置最大迭代次数 100 ，并将学习率设置为 0.1 。这些是我在简介中提到的超参数。我们不会在这里微调它们。
# Split the data into train/test sets X_train, X_test = X[:60000], X[60000:] y_train, y_test = y[:60000], y[60000:] classifier = MLPClassifier( hidden_layer_sizes=(50,20,10), max_iter=100, alpha=1e-4, solver="sgd", verbose=10, random_state=1, learning_rate_init=0.1, ) # fit the model on the training data classifier.fit(X_train, y_train)
2.4 模型评估
现在，让我们评估模型。我们将估计训练和测试数据和标签的平均准确度。
print("Training set score: %f" % classifier.score(X_train, y_train)) print("Test set score: %f" % classifier.score(X_test, y_test))
训练集分数：
0.998633
测试集分数：
0.970300
2.5 成本函数演变的可视化
训练期间损失减少的速度有多快？让我们制作一个漂亮的图表看一看！
fig, axes = plt.subplots(1, 1) axes.plot(classifier.loss_curve_, 'o-') axes.set_xlabel("number of iteration") axes.set_ylabel("loss") plt.show()
在这里，我们看到损失在训练期间下降得非常快，并且在 40th 迭代后饱和（请记住，我们将最大 100 次迭代定义为超参数）。
2.6 可视化学习到的权重
这里我们首先需要了解权重（每一层的学习模型参数）是如何存储的。
根据文档，属性 classifier.coefs_ 是形状为 (n_layers-1, ) 的权重数组的列表，其中索引 i 处的权重矩阵表示层 i 和层 i+1 之间的权重。在这个例子中，我们定义了 3 个隐藏层，我们还有输入层和输出层。因此，我们希望层间权重有 4 个权重数组（图 5 中的 in-L1, L1-L2, L2-L3 和 L2-out ）。
类似地， classifier.intercepts_ 是偏置向量列表，其中索引 i 处的向量表示添加到层 i+1 的偏置值。
让我们验证一下：
len(classifier.intercepts_) == len(classifier.coefs_) == 4
正确返回 True 。
输入层权重矩阵的形状为
784 x #neurons_in_1st_hidden_layer.
输出层权重矩阵的形状为
#neurons_in_3rd_hidden_layer x #number_of_classes.
2.7 可视化输入层的学习权重
target_layer = 0 #0 is input, 1 is 1st hidden etc fig, axes = plt.subplots(1, 1, figsize=(15,6)) axes.imshow(np.transpose(classifier.coefs_[target_layer]), cmap=plt.get_cmap("gray"), aspect="auto") axes.set_xlabel(f"number of neurons in {target_layer}") axes.set_ylabel("neurons in output layer") plt.show()
将它们重新整形并绘制为 2D 图像。
# choose layer to plot target_layer = 0 #0 is input, 1 is 1st hidden etc fig, axes = plt.subplots(4, 4) vmin, vmax = classifier.coefs_[0].min(), classifier.coefs_[target_layer].max() for coef, ax in zip(classifier.coefs_[0].T, axes.ravel()): ax.matshow(coef.reshape(28, 28), cmap=plt.cm.gray, vmin=0.5 * vmin, vmax=0.5 * vmax) ax.set_xticks(()) ax.set_yticks(()) plt.show()
3.总结
MLP 分类器是一种非常强大的神经网络模型，可以学习复杂数据的非线性函数。该方法使用前向传播来构建权重，然后计算损失。接下来，反向传播用于更新权重，从而减少损失。这是以迭代方式完成的，迭代次数是一个输入超参数，正如我在简介中所解释的那样。其他重要的超参数是每个隐藏层中的神经元数量和隐藏层总数。这些都需要微调。
