函数表达式:
y = x⋅sigmoid(βx)
代码实现及可视化
import numpy as np def sigmoid(x): a = np.exp(x) ans = a / ( a + 1) return ans def swish(x,B): return x * sigmoid(B * x) import matplotlib.pyplot as plt c = ['k','r','b','m','g','c'] X = np.linspace(-5, 5, 20) B_li = [0,0.1,0.5,1,50,100] plt.figure() for i in range(6): Y = list() for k in X: Y.append(swish(k,B_li[i])) plt.plot(X,Y,c[i]) plt.title('Swish_Image') plt.xlabel('x') plt.ylabel('y') plt.legend(B_li) plt.show()
当β取不同的值时，函数图像如上图所示
当β = 0时，Swish激活函数变为线性函数 f(x) = x/2,
当β = ∞时，Swish激活函数变为0或x，相当于Relu，
Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
(它的求导我有一些看不懂……)
函数特性
1.Swish函数有下界，无上界，sigmoid函数取值位于[0,1]之间
2.Swish函数是一个非单调函数
3.Swish函数和其一阶导数都具有平滑特性
