1 分类
人在思考的过程中，往往不会产生精确的数值估计，而常做的事情是分类。
但是这种阶跃函数就不能拟合出一条回归的直线了，这么画都感觉误差很大
这样时是不是好多了
那么怎么表示这样的关系呢？机制如你，想到分段函数：
远的不说，这个大括号看着就很头疼，看着就是个不好处理的家伙。
我们接下来，看一种更为优雅的Logistic函数：
不过我们一般会采用标准的Logistic函数，L=1，k=1，y0=0
可以看出来这个函数的计算结果始终在0到1之间，他的名字也暗示了这一点：很适合做逻辑判断，即分类。
知识补充：
此时这里函数关系为：
2 函数求导进行求解出最小代价函数
接下来，我们按照之前的方法，分别e对w、b求偏导，然后合成：
补充Logistic函数的求导：
理解复合函数求导中从外到内的这一过程，这有助于我们后续理解神经网络的精髓：
3 代码实现
豆豆数据集模拟：dataset.py
import numpy as np def get_beans(counts): xs = np.random.rand(counts) xs = np.sort(xs) ys = np.zeros(counts) for i in range(counts): x = xs[i] yi = 0.7*x+(0.5-np.random.rand())/50+0.5 if yi > 0.8: ys[i] = 1 return xs,ys
豆豆毒性分布如下：
加入激活函数后的梯度随机下降算法：activation.py
import dataset import matplotlib.pyplot as plt import numpy as np # 豆豆数量m m = 100 xs, ys = dataset.get_beans(m) # 配置图像 plt.title("Size-Toxicity Function", fontsize=12) plt.xlabel("Bean Size") plt.ylabel("Toxicity") plt.scatter(xs, ys) w = 0.1 b = 0.1 z = w * xs + b a = 1 / (1 + np.exp(-z)) # 加入激活函数 plt.plot(xs, a) plt.show() # alpha为学习率 alpha = 0.01 # 训练5000次 for _ in range(5000): for i in range(100): x = xs[i] y = ys[i] # 三个函数 z = w * x + b a = 1 / (1 + np.exp(-z)) e = (y - a) ** 2 # 对w和b求偏导 deda = -2 * (y - a) dadz = a * (1 - a) dzdw = x dzdb = 1 dedw = deda * dadz * dzdw dedb = deda * dadz * dzdb w = w - alpha * dedw b = b - alpha * dedb if _ % 100 == 0: # 绘制动态 plt.clf() ## 清空窗口 plt.scatter(xs, ys) z = w * xs + b a = 1 / (1 + np.exp(-z)) # 加入激活函数 plt.xlim(0, 1) plt.ylim(0, 1.2) plt.plot(xs, a) plt.pause(0.01) # 暂停0.01秒
![[深度学习入门]什么是神经网络？[神经网络的架构、工作、激活函数]](https://ucc.alicdn.com/pic/developer-ecology/u4n2puyxrj26a_391330b2e3e64307a81bd65a90b63e99.png?x-oss-process=image/resize,h_160,m_lfit)