# 中心极限定理
# 如果随机变量X（x1, x2, x3……）是独立同分布的，则变量之间的和
# 是服从正态分布的。
# 玩骰子  三粒 取值 3 - 18
import numpy as np
import pandas as pd
result = []
for i in range(10000):
    result.append(np.sum(np.random.randint(1, 7, size=3)))
s = pd.Series(result)
s.plot(kind="kde")

# sklearn 命名惯例：
# 矩阵 使用大写字母
# 向量 使用小写字母
# 所有模型的拟合（训练）方法都叫fit。
# 所有模型的测试方法都叫predict。
import numpy as np
# LinearRegression 线性回归的类，我们可以使用该类实现线性回归。
# 底层就是使用最小二乘公式来进行求解的。
from sklearn.linear_model import LinearRegression
# 该方法可以用来对数据集进行切分，分为训练集与测试集。训练集用于训练模型（求解出模型的参数w与b），
# 测试集用来验证我们建立模型的效果如何。
from sklearn.model_selection import train_test_split
# 设置随机种子。
np.random.seed(0)
x = np.linspace(-10, 10, 1000)
# 将x转换为二维的格式。之所以要将x转换为二维矩阵的格式，是因为稍后的模型fit方法中，第一个
# 参数（X）需要是二维的格式。
x = x.reshape(-1, 1)
# 自行构建一个方程，生成y值。
y = 0.85 * x - 0.72
# 生成正态分布的噪音。
e = np.random.normal(scale=1.5, size=x.shape)
# 令y值加入噪音，这样，更符合现实中数据的情况。（并不是完美的函数映射关系。）
y += e
# 创建线性回归类的对象。
lr = LinearRegression()
# 将样本数据切分为训练集与测试集。
# 该函数接收若干个数组，将每个数组切分为两部分，并返回。
# 相关参数：
# shuffle 是否进行洗牌，默认为True。
# random_state: 洗牌时候所使用的随机种子，相同的随机种子，一定可以产生相同的洗牌序列。
# test_size: 测试集数据所占有的比例。
train_X, test_X, train_y, test_y = train_test_split(x, y, test_size=0.25, random_state=0)
# 拟合数据，即使用训练数据（X与y）去训练模型。实际上，拟合（训练）就是求解模型的参数（w与b）。
lr.fit(train_X, train_y)
# coef_ 返回模型训练好的权重w值。
print(f"权重：{lr.coef_}")
# intercept_ 返回模型训练好的截距（偏置）b。
print(f"截距：{lr.intercept_}")
# 测试方法。模型经过拟合训练后，就可以得到（求解出）w与b。一旦w与b确定，模型就能够进行预测。
# 根据参数传递过来的X，返回预测的结果（目标值）y_hat。
y_hat = lr.predict(test_X)
print(f"实际值：{test_y.ravel()[:10]}")
print(f"预测值：{y_hat.ravel()[:10]}")

import matplotlib as mpl
import matplotlib.pyplot as plt
mpl.rcParams["font.family"] = "SimHei"
mpl.rcParams["axes.unicode_minus"] = False
# 绘制数据集样本。
plt.scatter(x, y, s=2)
# 绘制线性回归的拟合直线。即模型y = w * x + b的那条线。也就是 y = 0.84850287 * x + -0.78380631
plt.plot(x, lr.predict(x), "r-")

# sklearn.metrics 该模块提供很多模型度量（评估）的方法。
# mean_squared_error MSE
# mean_absolute_error MAE
# r2_score 求R ^ 2
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
# y_true 标签的真实值（所有样本）
# y_pred 标签的预测值（所有样本）
mse = mean_squared_error(y_true=test_y, y_pred=y_hat)
print(f"均方误差(MSE)：{mse}")
rmse = np.sqrt(mse)
print(f"均方根误差（RMSE）：{rmse}")
mae = mean_absolute_error(y_true=test_y, y_pred=y_hat)
print(f"平均绝对值误差（MAE）：{mae}")
# 我们也可以自行计算MSE,RMSE,MAE。
# print(np.mean((test_y - y_hat) ** 2))
# 计算模型的评分制。
# 从结果可以看出，通过R^2进行评估，可以比其他几种方式更加直观。
r2 = r2_score(y_true=test_y, y_pred=y_hat)
print(f"R^2的值（测试集）：{r2:.3f}")
# 以上指标（MSE, RMSE, MAE, R^2）也可以在训练集上进行评估。
r2_train = r2_score(y_true=train_y, y_pred=lr.predict(train_X))
print(f"R^2的值（训练集）：{r2_train:.3f}")
# R^ 2求解的另外一种方式，可以使用模型的score方法。
# 总结：R ^ 2可以采用两种方式进行求解。
# 1 r2_score
# 2 模型对象.socre方法。
# 注意：尽管两个方法都能够求解R ^ 2值，但是，两个方法传递的参数意义是不同的。
# 对于r2_score，需要传递的是真实值（标签）与预测值（标签）。
# 对于lr.score，需要传递的是样本数据（X）与对应的真实标签。
train_score = lr.score(train_X, train_y)
test_score = lr.score(test_X, test_y)
print(f"测试集R^2：{test_score:.3f}")
print(f"训练集R^2：{train_score:.3f}")

make_regression(n_samples=5, n_features=2, coef=False, bias=5.5, random_state=0, noise=10)
• 1

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
# 可以生成用于回归分析的样本数据与对应的标签。
from sklearn.datasets import make_regression
# 参数说明：
# n_samples：生成的样本数量。
# n_features：生成的特征数量。（有几个x）
# coef：是否返回方程的权重（w）。如果该值为True，则返回X，y与coef。
# 如果该值为False，仅返回X与y。默认为False。
# bias：偏置值（截距），也就是方程中的b。
# random_state：设置随机种子。
# noise：噪声的值。该值会影响数据的波动情况。值越大，波动性越大。
X, y, coef = make_regression(n_samples=1000, n_features=2, coef=True, bias=5.5, random_state=0, noise=10)
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=0.25, random_state=0)
print(f"实际权重：{coef}")
lr = LinearRegression()
lr.fit(train_X, train_y)
print(f"权重：{lr.coef_}")
print(f"截距：{lr.intercept_}")
y_hat = lr.predict(test_X)
print(f"均方误差：{mean_squared_error(test_y, y_hat)}")
print(f"训练集R^2：{lr.score(train_X, train_y)}")
print(f"测试集R^2：{lr.score(test_X, test_y)}")

# meshgrid的演示
x1 = np.array([2, 3, 4])
x2 = np.array([2, 3, 4, 5])
X1, X2 = np.meshgrid(x1, x2)
display(X1)
display(X2)

import matplotlib as mpl
import matplotlib.pyplot as plt
mpl.rcParams["font.family"] = "SimHei"
mpl.rcParams["axes.unicode_minus"] = False
#Axes3D 用来绘制3D图形的类。
from mpl_toolkits.mplot3d import Axes3D
# 设置绘图后，以弹出框的形式显示。因为嵌入显示（默认）的形式，图像为一张图片，
# 无法进行拖动而转换角度。这在三维图中不利于观察。
%matplotlib qt
# 分别返回x1与x2两个特征的最大值。
max1, max2 = np.max(X, axis=0)
# 分别返回x1与x2两个特征的最小值。
min1, min2 = np.min(X, axis=0)
# 在x1轴的区间上取若干点。
x1 = np.linspace(min1, max1, 30)
# 在x2轴的区间上取若干点。
x2 = np.linspace(min2, max2, 30)
# 接收两个一维数组。进行网格扩展。过程：将x1沿着行进行扩展，扩展的行数与x2含有的元素
# 个数相同。将x2沿着列进行扩展，扩展的列数与x1含有的元素个数相同。返回扩展之后的X1与X2（并非
# 就地修改）。X1与X2的形状（shape）是相同的。
# 扩展的目的：依次对位取出X1与X2中的每个元素，就能够形成x1与x2（原始的一维数组x1与x2）中任意
# 两个元素的组合，进而就能够形成网格的结构。
X1, X2 = np.meshgrid(x1, x2)
# 创建一个画布对象，用于绘制图像。
fig = plt.figure()
# 创建Axes3D对象，用于绘制3D图。参数指定画布对象，表示要在哪个
# 画布上进行绘制。（要绘制图像，就不能离开画布对象的支持。）
ax = Axes3D(fig)
# 绘制3D散点图。
ax.scatter(X[:, 0], X[:, 1], y, color="b")
# 绘制3D空间平面（曲面）。预测的y_hat值需要与X1或X2的形状相同。
# rstride 在行（row）的方向上前进的距离。
# cstride 在列（column）的方向上前进的距离。
# 距离越大，网格越宽。
# cmap colormap，指定绘制的风格。可以通过plt.cm.颜色图对象进行指定。
# alpha 指定透明度。
surf = ax.plot_surface(X1, X2, lr.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
        rstride=5, cstride=5, cmap=plt.cm.rainbow, alpha=0.5)
# 显示颜色条。可以观察到每种颜色所对应的值。参数指定为那个图像对象所设定。
fig.colorbar(surf)
plt.show()